5.5 ВВЕДЕНИЕ В МАШИННОЕ ОБУЧЕНИЕ

В предыдущих разделах были рассмотрены:

· загрузка данных;

· очистка;

· табличный анализ;

· визуализация результатов.

Следующим этапом аналитического процесса является построение моделей машинного обучения. Машинное обучение рассматривается как продолжение анализа данных, поскольку модели строятся не вручную, а на основе закономерностей, обнаруженных в данных. Качество работы алгоритма напрямую зависит от:

· корректности подготовки данных;

· выбора признаков;

· отсутствия ошибок и пропусков;

· объёма выборки.

Поэтому этапы загрузки, очистки, табличного анализа и визуализации являются обязательной подготовкой к построению моделей машинного обучения.

Что такое машинное обучение? Машинное обучение (Machine Learning, ML) – это направление анализа данных, в котором алгоритмы:

· выявляют закономерности;

· обучаются на примерах;

· делают прогнозы;

· принимают решения на основе данных.

Главная идея ML: не задавать правила вручную, а извлекать их из данных.

В традиционном программировании разработчик заранее задаёт правила обработки информации. В машинном обучении алгоритм самостоятельно выявляет зависимости на основе примеров. Именно поэтому ML особенно эффективно применяется в задачах, где:

· закономерности слишком сложны для ручного описания;

· объём данных слишком велик;

· структура зависимостей изменяется со временем.

Почему машинное обучение связано с анализом данных? Любая модель машинного обучения работает только на данных. Поэтому перед построением модели необходимо:

✔ загрузить данные

✔ очистить данные

✔ выполнить численную обработку

✔ сформировать таблицу признаков

✔ выполнить визуальный анализ

Именно поэтому машинное обучение является продолжением аналитического процесса.

Важно понимать, что алгоритм машинного обучения не «понимает» смысл данных так, как человек. Модель анализирует только числовые зависимости между признаками. Поэтому:

· ошибки подготовки данных;

· неверный выбор признаков;

· некорректные значения

могут приводить к ошибочным прогнозам даже при использовании сложных алгоритмов.

Где используется машинное обучение? Методы ML применяются:

· в рекомендательных системах;

· прогнозировании;

· медицинской диагностике;

· финансовой аналитике;

· обработке изображений;

· анализе текстов;

· системах распознавания.

Таблица 5.5.1 – Области применения машинного обучения

Область	Пример
Музыкальные сервисы	рекомендации треков
Банковские системы	прогноз риска
Интернет-магазины	персональные предложения
Социальные сети	анализ интересов

Основные типы задач машинного обучения. В задачах анализа данных обычно выделяют регрессию, классификацию, кластеризацию (таблица 5.5.2).

Таблица 5.5.2 – Основные типы задач машинного обучения

Тип задачи	Пример
Регрессия	Прогноз популярности трека
Классификация	Популярный / непопулярный трек
Кластеризация	Группы похожих треков

В задачах анализа данных обычно выделяют три основных типа задач: регрессию, классификацию и кластеризацию. Каждый тип задачи требует:

различной подготовки данных;
собственного подхода к обучению;
специальных методов оценки качества модели.

Поэтому перед построением модели аналитик должен определить:

· какой тип результата требуется получить;

· являются ли данные размеченными;

· необходимо ли прогнозирование или поиск скрытой структуры данных.

1. Подготовка данных для построения модели

Перед обучением модели необходимо выделить:

матрицу признаков (X) – набор характеристик объектов;
целевую переменную (y) – показатель, который требуется прогнозировать.

Например, при прогнозировании популярности трека можно использовать:

X = energy, danceability, tempo

y = views

Матрица признаков используется для обучения модели, а целевая переменная – для оценки качества прогнозирования.

Что такое матрица признаков? Матрица признаков X содержит характеристики объектов, используемые моделью для анализа.

Таблица 5.5.3 – Примеры признаков объекта

energy	danceability	tempo
0.82	0.76	120
0.64	0.58	95

Каждый столбец представляет отдельный признак объекта.

Что такое целевая переменная? Целевая переменная y – это показатель, который модель должна прогнозировать.

Например:

количество просмотров;
стоимость;
вероятность популярности;
принадлежность к классу.

Почему выбор признаков важен? Выбор признаков является одним из ключевых этапов машинного обучения. Признаки должны:

содержать полезную информацию;
быть связаны с прогнозируемой величиной;
иметь корректный числовой формат.

Избыточные или нерелевантные признаки могут ухудшать качество модели и увеличивать сложность вычислений.

2. Разделение обучающей и тестовой выборки

Для оценки качества модели данные обычно разделяются на две части:

обучающую выборку – используется для обучения модели;
тестовую выборку – используется для проверки результатов.

В библиотеке Scikit-learn для этого используется функция:

train_test_split()

Такой подход позволяет проверить, насколько хорошо модель работает на новых данных.

Почему разделение данных обязательно? Если проверять модель на тех же данных, на которых она обучалась, результат может оказаться искусственно завышенным. В этом случае модель способна «запомнить» обучающие примеры вместо выявления общих закономерностей.

Такое явление называется: переобучением (overfitting).

Разделение данных на обучающую и тестовую выборки позволяет оценить способность модели к обобщению результатов.

3. Линейная регрессия

Линейная регрессия используется для прогнозирования числовых значений на основе линейной зависимости между признаками.

Модель линейной регрессии имеет вид: ,

где – признаки, – коэффициенты модели.

В Python линейная регрессия реализуется с помощью класса: LinearRegression

Что показывают коэффициенты модели? Коэффициенты модели показывают, насколько сильно отдельные признаки влияют на прогнозируемое значение. Например:

положительный коэффициент означает рост результата при увеличении признака;
отрицательный коэффициент показывает обратную зависимость.

Таким образом, линейная регрессия позволяет не только выполнять прогнозирование, но и анализировать влияние признаков на результат.

4. Классификация

Классификация применяется в тех случаях, когда требуется определить принадлежность объекта к определённой категории. Например, можно определить:

популярный трек;
непопулярный трек.

Для решения таких задач часто используется логистическая регрессия.

Несмотря на название, логистическая регрессия относится к методам классификации, поскольку прогнозирует вероятность принадлежности объекта к определённому классу.

5. Кластеризация

Кластеризация позволяет разделить объекты на группы на основе сходства признаков.

Один из наиболее распространённых алгоритмов – k-means.

Алгоритм:

выбирает заданное число кластеров;
распределяет объекты по группам;
минимизирует расстояние между объектами внутри кластера.

Идея алгоритма k-means. Цель алгоритма состоит в том, чтобы:

объекты внутри одного кластера были максимально похожи;
объекты разных кластеров максимально различались.

Кластеризация широко используется:

в рекомендательных системах;
сегментации клиентов;
анализе поведения пользователей;
исследовательском анализе данных.

6. Оценка качества модели

Для оценки качества модели используются различные метрики.

Для задач регрессии обычно применяются:

MSE – средняя квадратичная ошибка;
R² – коэффициент детерминации.

Для задач классификации используется:

accuracy – доля правильно классифицированных объектов.

Что показывают метрики качества? Метрики качества позволяют количественно оценить эффективность модели. Например:

MSE показывает величину ошибки прогнозирования;
коэффициент детерминации R² показывает, насколько хорошо модель объясняет зависимость в данных.

Для задач классификации accuracy показывает долю объектов, для которых модель правильно определила класс.

7. Использование внешних наборов данных

Методы ML не зависят от конкретного датасета. Поэтому аналитик должен уметь:

применять модели к новым данным;
загружать внешние датасеты;
адаптировать признаки;
переносить методы анализа.

Связь ML с предыдущими модулями. Машинное обучение объединяет:

NumPy;
Pandas;
визуализацию;
статистический анализ.

Цикл аналитики данных

Загрузка данных
↓
Очистка
↓
Численный анализ
↓
Табличный анализ
↓
Визуализация
↓
Машинное обучение

Методический акцент. Важно понимать:

ML не заменяет анализ данных;
модель зависит от качества данных;
визуализация помогает интерпретировать результаты;
алгоритм не понимает смысл данных автоматически.

Поэтому машинное обучение – часть аналитического процесса, а не «магия алгоритмов».

Итоги темы. В разделе рассмотрены:

понятие машинного обучения;
регрессия;
классификация;
кластеризация;
матрица признаков X;
целевая переменная y;
train_test_split();
линейная регрессия;
k-means;
оценка качества моделей.

Машинное обучение позволяет строить модели, выявляющие закономерности в данных и выполняющие прогнозирование. Однако качество моделей напрямую зависит от корректности подготовки данных и аналитической интерпретации результатов.