2.3 Машинное обучение
Машинное обучение (machine learning, ML) — это совокупность методов искусственного интеллекта, с помощью которых можно создавать самообучающиеся компьютерные системы (в частности, нейросети). Для таких систем разработчики не прописывают конкретные алгоритмы решения задач, а предоставляют подготовленные данные и описывают критерии успешного решения, по которым учатся нейросети.
В традиционном программировании для решения некой задачи разработчику необходимо определить алгоритм и «объяснить» его компьютеру с помощью кода на языке программирования. У специалистов по машинному обучению другой подход: они пытаются научить машину «думать», подобно человеку, и самой находить решения.
ML применяется для создания беспилотных автомобилей и рекомендательных систем, в генерации изображений по текстовому описанию, распознавании речи и других областях науки. Вы наверняка слышали о ChatGPT, Bard или YaGPT, а может, и пользовались ими. Всё это — результат машинного обучения.
Важно не путать термины «машинное обучение» и «искусственный интеллект». Искусственный интеллект ― это более общий термин. Можно сказать, что это способность компьютера обучаться, принимать решения и выполнять действия, свойственные человеческому интеллекту. Машинное обучение — это направление искусственного интеллекта, реализующее его с помощью алгоритмов.
Задачи машинного обучения.
Глобальная задача машинного обучения ― создать искусственный интеллект, который по своим аналитическим способностям будет равен или даже превосходить человеческий. Это очень сложная задача, которую тем не менее наука вполне может решить в ближайшие 5–10 лет.
ИИ, который способен соперничать с человеком и решать задачи разного типа, называют сильным, или общим (artificial general intelligence).
Что касается более узких задач машинного обучения, то их можно разделить на четыре группы: классификация, регрессия, кластеризация и уменьшение размерности. Разберём каждую из них.
Классификация
Используется для решения тех задач, где на основании признаков объектов требуется распределить их по заданным категориям. Например, на производстве могут отделять детали с браком от хороших с помощью компьютерного зрения.
Регрессия
Регрессия в теории вероятностей и математической статистике ― это зависимость среднего значения какой-либо величины от некоторой другой величины или от нескольких величин. Компьютеры могут анализировать огромные массивы данных и делать предсказания на их основе. Например, можно загрузить в компьютер данные о движении курса акций за последние 10 лет и попросить предсказать их цену в текущем году.
Кластеризация
Кластеризация ― это распределение объектов по категориям, когда неизвестно, сколько категорий получится в итоге. Распределение происходит по заданному критерию. Например, компания может использовать кластеризацию для определения типов клиентов по паттернам их покупок и делать на основании этого персонализированные предложения товаров.
Уменьшение размерности
Уменьшение размерности помогает сократить количество признаков в данных без потери информации. Это упрощает их обработку и ускоряет алгоритмы машинного обучения, так как количество данных, с которыми им предстоит работать, уменьшается.
При распознавании изображений снижение размерности позволяет не анализировать каждый пиксель, а использовать только важные признаки. Например, чтобы распознать зебру среди животных, главное — научиться видеть белые и чёрные полосы.
Типы машинного обучения.
Чтобы обучить искусственный интеллект, можно использовать разные методы. Они отличаются друг от друга степенью вовлечённости человека в процесс.
Обучение с учителем (supervised learning)
Компьютер может учиться под присмотром учителя, то есть дата-сайентиста или аналитика данных, который предоставляет ему размеченные данные.
Специалист показывает программе разные примеры и объясняет: вот кот, а вот собака. После обучения предлагает ей по тому же принципу проанализировать незнакомые данные. Если модель ошибается, то учитель исправляет её. Так программа учится, пока не достигнет нужной точности ответов.
Этот тип обучения подходит для решения задач классификации и регрессии. Примеры алгоритмов: наивный Байес, метод опорных векторов, дерево решений, k-ближайшие соседи, логистическая регрессия и линейная и полиномиальная регрессия.
Используется для фильтрации спама, компьютерного зрения, поиска и классификации документов.
Обучение без учителя (unsupervised learning)
Здесь программа не получает от специалиста никаких подсказок. Есть большой массив данных, и модели машинного обучения нужно самой найти закономерности.
Часто обучение без учителя используется для глубокого анализа больших данных, когда информации так много, что классифицировать всё вручную для обучения алгоритмов невозможно. Также этот тип обучения применяется в тех случаях, когда дата-сайентист не знает, что он может найти, но предполагает, что какие-то паттерны в данных присутствуют.
С помощью обучения без учителя тренируют алгоритмы по кластеризации данных и выявлению аномалий. Примеры алгоритмов: метод k-средних, DBSCAN, сингулярное разложение (SVD), анализ главных компонент (PCA) и латентное размещение Дирихле (LDA).
Метод используется для сегментации данных, обнаружения аномалий, составления рекомендаций, управления рисками и обнаружения фейковых изображений.
Обучение с частичным участием учителя (semi-supervised learning)
Как понятно из названия, этот метод обучения что-то среднее между полностью самостоятельным обучением и обучением с учителем. Например, специалист может разметить только небольшую часть данных, чтобы повысить точность предсказаний модели на старте её обучения.
Такой способ используется в тех сферах, где требуется работать с большим количеством однотипных по форме, но разнообразных по содержанию данных. Например, при распознавании изображений и речи.
Обучение с подкреплением (reinforcement learning)
Некоторым навыкам можно обучиться только на практике: ходить, танцевать, плавать или водить машину. Людям не нужен постоянный контроль, чтобы эффективно учиться. Получая в ответ на свои действия положительные либо отрицательные сигналы, мы учимся очень эффективно. Например, ребёнок учится избегать острых углов стола, если хотя бы раз о них ударился.
Компьютер тоже способен учиться в динамичной среде: игровом или реальном мире. Например, с помощью обучения с подкреплением обучают беспилотные автомобили. Описать абсолютно все ситуации на дороге в виде правил нереально. Нельзя предсказать, в какой момент на дорогу выбежит ребёнок или как ориентироваться на дороге в густом тумане. Поэтому беспилотные автомобили учатся водить при помощи симуляции реальной среды.
Примеры алгоритмов: Q-обучение, генетический алгоритм, SARSA, DQN и DDPG.
Используется для обучения беспилотных автомобилей и роботов.