4.4 АГРЕГИРОВАНИЕ ДАННЫХ

Агрегирование – это вычисление обобщающих характеристик по столбцу данных. При агрегировании множество значений сводится к одному показателю.

Почему агрегирование важно в аналитике? После загрузки, очистки и фильтрации данных аналитик обычно переходит к получению итоговых характеристик таблицы.

Например:

• среднего значения;
• максимума;
• минимума;
• количества наблюдений.

Именно такие операции позволяют:

• оценить общую тенденцию;
• сравнить группы данных;
• выявить особенности выборки;
• подготовить данные к статистическому анализу.

Главная идея агрегирования – агрегирование преобразует: множество наблюдений в один аналитический показатель (таблица 4.4.1).

Таблица 4.4.1 – Пример агрегирования

Значения	Результат
70, 80, 90	среднее = 80
12, 15, 18	максимум = 18
1000 строк	количество = 1000

Таким образом, агрегирование позволяет получить краткое описание большого массива данных (таблица 4.4.2.).

Таблица 4.4.2 – Основные агрегирующие функции

Функция	Пример	Что вычисляет	Тип результата
Среднее	df["score"].mean()	Среднее арифметическое	Число
Максимум	df["score"].max()	Наибольшее значение	Число
Минимум	df["score"].min()	Наименьшее значение	Число
Подсчёт	df["score"].count()	Количество непустых значений	Число

Вычисление среднего значения. Среднее значение является одной из наиболее важных статистических характеристик.

Пример

df["score"].mean()

Среднее значение позволяет:

• оценить общий уровень показателя;
• сравнивать группы данных;
• анализировать тенденции;
• выполнять статистические расчёты.

Например: можно вычислить:

• средний балл студентов;
• средний доход клиентов;
• среднее количество просмотров видео.

Максимум и минимум

Функции max() и min() позволяют определить границы изменения данных.

Пример

df["score"].max()

df["score"].min()

Эти показатели помогают:

• обнаруживать экстремальные значения;
• анализировать диапазон данных;
• выявлять аномалии;
• контролировать корректность значений.

Например: если возраст клиента равен 500, это может указывать на ошибку данных.

Подсчёт количества значений. Функция count() вычисляет количество непустых значений в столбце.

Пример

df["score"].count()

Метод используется для:

• оценки полноты данных;
• обнаружения пропусков;
• анализа объёма выборки.

Количество наблюдений является важной характеристикой любого аналитического набора данных.

Агрегирование как переход к статистике

До этого этапа аналитик работал:

• с отдельными строками;
• признаками;
• выборками данных.

Теперь данные начинают рассматриваться: как статистическая совокупность.

Именно поэтому: агрегирование является первым шагом статистического анализа.

Метод describe(). Для получения общей статистики DataFrame используется метод:

df.describe()

Метод describe() автоматически вычисляет:

• количество наблюдений (count);
• среднее значение (mean);
• стандартное отклонение (std);
• минимальное значение (min);
• максимальное значение (max);
• квартили 25%, 50%, 75%.

Что такое квартили? Квартили позволяют оценить распределение данных (таблица 4.4.3).

Таблица 4.4.3 – Пример квартиль

Квартиль	Смысл
25%	четверть значений ниже уровня
50%	медиана выборки
75%	большая часть данных ниже уровня

Квартили используются:

• в статистике;
• визуализации;
• анализе распределений;
• поиске выбросов.

Стандартное отклонение. Показатель std характеризует разброс данных относительно среднего значения.

Если std большое: данные сильно отличаются друг от друга.

Если std маленькое: значения расположены близко к среднему.

Поэтому: стандартное отклонение помогает оценивать устойчивость и однородность выборки.

Почему describe() важен для аналитики? Если таблица содержит:

• сотни;
• тысячи;
• миллионы строк,

то анализировать каждую строку отдельно невозможно.

Метод describe() позволяет быстро:

✔ получить общую характеристику данных

✔ оценить распределение признаков

✔ обнаружить аномалии

✔ подготовить данные к визуализации

✔ выполнить первичную статистическую диагностику

Методический акцент. Если выборка содержит десятки или тысячи строк, анализ каждой строки по отдельности невозможен. Агрегирование позволяет:

• оценить общую тенденцию;
• выявить разброс данных;
• обнаружить экстремальные значения;
• подготовить данные к визуализации.

Таким образом, агрегирование – это первый шаг к статистическому анализу.

Агрегирование и аналитическое мышление. Главная задача аналитика —
не просмотр отдельных строк, а получение закономерностей и выводов.

Например:

аналитика интересует:

• средний доход;
• максимальная прибыль;
• общее количество клиентов;
• распределение оценок.

Именно поэтому: агрегирование является одной из ключевых операций анализа данных.

Роль агрегирования в Data Science. Агрегирование используется:

• в бизнес-аналитике;
• статистике;
• машинном обучении;
• визуализации данных;
• исследовательском анализе данных.

Практически любой аналитический отчёт содержит:

• средние значения;
• максимумы;
• минимумы;
• сводные статистики.

Pandas и статистический анализ. Pandas позволяет выполнять статистические вычисления:

• быстро;
• автоматически;
• без ручных циклов;
• непосредственно над таблицами данных.

Именно поэтому: Pandas является одним из основных инструментов прикладной аналитики данных.

Итоги темы

В теме были рассмотрены:

• агрегирование данных;
• функции mean(), max(), min(), count();
• метод describe();
• квартили и стандартное отклонение;
• роль агрегирования в аналитике данных.

Агрегирование позволяет преобразовывать большие массивы наблюдений в компактные статистические характеристики, что делает возможным анализ закономерностей, оценку распределений и подготовку данных к дальнейшему исследованию.