1.1 ЭКОСИСТЕМА PYTHON В АНАЛИЗЕ ДАННЫХ

1.1.1 Понятие экосистемы языка программирования

Экосистема языка программирования – это совокупность программных инструментов, библиотек, фреймворков, стандартов, сообществ и методологий, которые обеспечивают применение языка в различных предметных областях. В контексте анализа данных экосистема Python включает:

· интерпретатор языка;

· стандартную библиотеку;

· сторонние библиотеки для научных вычислений;

· инструменты визуализации;

· средства работы с данными;

· инструменты машинного обучения;

· средства обработки естественного языка;

· системы управления проектами;

· инструменты воспроизводимости исследований.

1) Интерпретатор

Интерпретатор – это программная система, которая выполняет исходный код программы без предварительной компиляции в машинный код, преобразуя его в исполняемые инструкции в процессе выполнения. В случае Python стандартной реализацией интерпретатора является CPython, который:

· преобразует исходный код в байт-код;

· выполняет байт-код с помощью виртуальной машины Python (Python Virtual Machine, PVM).

Особенности интерпретируемых языков:

• Интерактивность – возможность выполнять команды и получать результат сразу после ввода, без предварительной сборки всей программы. Это позволяет работать в режиме диалога с системой, что особенно важно при обучении и анализе данных.

• Переносимость – способность программ работать на разных операционных системах без изменения исходного кода. Программы на Python могут выполняться на Windows, Linux или macOS при наличии установленного интерпретатора.

• Динамическая типизация – механизм, при котором тип переменной определяется во время выполнения программы, а не задаётся заранее. Это упрощает разработку и делает язык более гибким при решении исследовательских задач.

• Возможность выполнения кода по частям – свойство, позволяющее запускать отдельные фрагменты программы независимо друг от друга. Это удобно при работе в средах типа Jupyter Notebook, где можно проверять отдельные этапы обработки данных.

2) Стандартная библиотека Python

Стандартная библиотека языка программирования – это совокупность модулей и пакетов, которые поставляются вместе с языком и обеспечивают базовую функциональность без установки дополнительных компонентов. После установки Python пользователь получает набор инструментов, позволяющих:

· работать с файлами;

· выполнять математические расчёты;

· обрабатывать текст;

· взаимодействовать с операционной системой;

· передавать данные по сети;

· организовывать параллельные вычисления.

Благодаря этому Python можно использовать для решения базовых задач даже без подключения сторонних библиотек (таблица 1.1).

Таблица 1.1 – Основные модули стандартной библиотеки Python

Область применения	Модули	Краткая характеристика
Работа с файлами и ОС	os, pathlib	Управление файлами и каталогами, работа с путями, получение информации о системе
Дата и время	datetime	Работа с датами, временем, интервалами времени
Сериализация данных	json, pickle	Преобразование объектов Python в форматы для хранения или передачи
Математические вычисления	math, statistics	Базовые математические функции и статистические расчёты
Регулярные выражения	re	Поиск и обработка текстовых шаблонов
Сетевое взаимодействие	socket, http	Создание сетевых соединений и передача данных
Параллельные вычисления	threading, multiprocessing	Организация потоков и процессов для одновременного выполнения задач

Рассмотрим пример использования модуля statistics для вычисления среднего значения.

# Подключаем модуль statistics из стандартной библиотеки

import statistics

# Создаем список чисел

numbers = [10, 20, 30, 40]

# Вычисляем среднее арифметическое значение списка

mean_value = statistics.mean(numbers)

# Выводим результат на экран

print("Среднее значение:", mean_value)

Пояснение к коду

import statistics – подключается модуль statistics, который входит в стандартную библиотеку Python и предназначен для выполнения статистических вычислений.

numbers = [10, 20, 30, 40] – создаётся список чисел, структура данных типа list.

statistics.mean(numbers) – функция mean() возвращает среднее чение элементов списка.

Среднее значение получается как сумма всех чисел, делённая на их количество.

print() – выводит результат на экран.

Результат выполнения программы: Среднее значение: 25

Для выполнения подобных вычислений не требуется установка дополнительных библиотек, так как модуль statistics уже входит в стандартную библиотеку Python. Это демонстрирует одно из преимуществ стандартной библиотеки: она предоставляет достаточный набор инструментов для решения базовых задач анализа данных.

• использование сторонних библиотек становится необходимым при решении более сложных задач;

• дальнейшее рассмотрение архитектуры выполнения программ представлено в разделе 1.2.

3) Сторонние библиотеки для научных вычислений

Сторонняя библиотека – это программный модуль или пакет, который не входит в стандартную библиотеку языка и устанавливается дополнительно с использованием менеджера пакетов (например, pip). Если стандартная библиотека обеспечивает базовые возможности работы с файлами, строками и числами, то сторонние библиотеки расширяют функциональность Python и позволяют применять его для решения задач научных и инженерных вычислений.

В анализе данных важную роль играет библиотека NumPy. NumPy – это библиотека для работы с многомерными массивами и выполнения численных вычислений. Её основные возможности представлены в таблице 1.2.

Таблица 1.2 – Основные возможности библиотеки NumPy

Возможность	Краткая характеристика
Структура данных ndarray	Многомерный массив фиксированного размера, используемый для хранения и обработки числовых данных
Инструменты линейной алгебры	Набор функций для работы с матрицами: вычисление определителя, обратной матрицы, собственных значений, решение систем линейных уравнений
Генерация случайных чисел	Средства создания случайных выборок с различными распределениями, применяемых в задачах моделирования и статистики
Операции над массивами целиком	Возможность выполнять арифметические и логические операции одновременно над всеми элементами массива (векторизация)

Основная идея NumPy состоит в том, что операции применяются не к отдельным элементам поочерёдно, а ко всему массиву сразу. Такой подход называется векторизацией и обеспечивает высокую скорость вычислений. Рассмотрим пример.

# Подключаем библиотеку NumPy
import numpy as np
 
# Создаем матрицу (двумерный массив)
matrix = np.array([[1, 2], [3, 4]])
 
# Считаем определитель матрицы
determinant = np.linalg.det(matrix)
 
# Вывод результата
print("Определитель:", determinant)

Пояснение к коду

import numpy as np – подключение библиотеки NumPy (обычно используется сокращение np).

np.array([[1, 2], [3, 4]]) – создаётся двумерный массив, который можно рассматривать как матрицу.

np.linalg.det(matrix) – вычисляется определитель матрицы с использованием модуля линейной алгебры.

print() – выводит результата на экран.

Результат выполнения программы: Определитель: -2.0

Без использования NumPy реализация подобных вычислений потребовала бы разработки собственных алгоритмов, что делает код более сложным и менее наглядным. Помимо NumPy, в научных вычислениях применяются и другие библиотеки. Например, SciPy используется для решения задач численного анализа (интегрирование, оптимизация, обработка сигналов), а SymPy предназначена для символьных вычислений, когда требуется работать не только с числовыми значениями, но и с математическими выражениями.

В рамках данного пособия NumPy рассматривается как базовый инструмент, на котором в дальнейшем строится работа с табличными данными, методами машинного обучения и обработкой текста. Цель данного раздела заключается в том, чтобы показать роль сторонних библиотек в экосистеме Python и объяснить причины их использования при решении задач анализа данных.

4) Инструменты визулизации

Визуализация данных – это способ представления информации в графической форме для анализа структуры данных, выявления закономерностей и интерпретации результатов вычислений. В анализе данных визуализация играет важную роль, так как позволяет наглядно оценить характеристики данных. Графики помогают быстрее определить характер распределения, наличие выбросов, тенденций и взаимосвязей между переменными. В экосистеме Python для визуализации используются специализированные библиотеки (таблица 1.3).

Таблица 1.3 – Основные библиотеки визуализации в экосистеме Python

Библиотека	Назначение
Matplotlib	Базовый инструмент построения графиков и диаграмм
Seaborn	Статистическая визуализация с более удобными средствами оформления
Plotly	Построение интерактивных графиков

В рамках данного пособия в качестве базового инструмента рассматривается библиотека Matplotlib, поскольку она используется как основа для многих других средств визуализации.

Пример построения линейного графика

# Подключаем модуль pyplot из библиотеки matplotlib
import matplotlib.pyplot as plt
 
# Создаем данные для построения графика
x = [1, 2, 3, 4]        # Значения по оси X
y = [10, 20, 25, 30]    # Значения по оси Y
 
# Строим линейный график
plt.plot(x, y)
 
# Добавляем заголовок графика
plt.title("Линейный график")
 
# Подписываем оси
plt.xlabel("X")
plt.ylabel("Y")
 
# Показываем график на экране
plt.show()

Пояснение к коду

import matplotlib.pyplot as plt – подключается модуль pyplot, который используется для построения графиков (обычно используется сокращение plt.).

x и y – создаются два списка чисел: первый задаёт значения по оси X, второй – по оси Y.

plt.plot(x, y) – строит линейный график, соединяя заданные  точки (x, y).

plt.title() – добавляет заголовок графика.

plt.xlabel() и plt.ylabel() – используются для подписи осей координат.

plt.show() – отображает построенный график. В обычном скрипте без этой команды окно с графиком не появится.

При работе с графиками важно учитывать не только сам факт построения, но и оформление. Например, подписи осей, заголовок и масштаб должны соответствовать данным. Иначе график может быть интерпретирован некорректно.

В дальнейшем визуализация используется как один из этапов анализа данных и помогает оценить полученные результаты.

5) Средства работы с данными

Средства работы с данными – это программные инструменты, которые используются для хранения, структурирования, отбора, группировки и преобразования данных в процессе их анализа.

В задачах анализа данных исходная информация, как правило, представлена в табличной форме: строки соответствуют наблюдениям, столбцы – признакам. Для эффективной работы с такими структурами в Python используется библиотека Pandas. Pandas расширяет возможности языка, предоставляя специальные структуры данных (таблица 1.4).

Таблица 1.4 – Основные структуры данных библиотеки Pandas

Структура	Характеристика
Series	Одномерная структура данных с индексом, используемая для хранения для хранения последовательности значений
DataFrame	Двумерная табличная структура данных с именованными столбцами и индексами строк

Структура Series может рассматриваться как аналог одного столбца таблицы, тогда как DataFrame соответствует полной табличной структуре.

Пример работы с Pandas

Рассмотрим типичную ситуацию: требуется загрузить данные из файла и отобрать записи по заданному условию.

# Подключение pandas
import pandas as pd
 
# Загрузка данных из CSV-файла в объект DataFrame
data = pd.read_csv("data.csv")
 
# Отбор строки, в которых значение столбца "age" больше 25
filtered = data[data["age"] > 25]
 
# Вывод первых пяти строк отфильтрованной таблицы
print(filtered.head())

Пояснение к коду

import pandas as pd – подключается библиотека Pandas (обычно используется сокращение pd).

pd.read_csv("data.csv") – считывает данные из файла формата CSV и создаёт объект DataFrame.

data["age"] – обращение к столбцу таблицы по его имени.

data[data["age"] > 25] – задаётся условие отбора строк, в результате формируется новая таблица, содержащая записи, где значение столбца "age" больше 25.

filtered.head() – метод head() выводит первые пять строк таблицы , что удобно для предварительного просмотра данных.

Операции фильтрации и преобразования выполняются без явного использования циклов: задаётся условие, которое применяется ко всей таблице. Такой подход упрощает запись кода и делает его более наглядным при анализе данных. В дальнейшем библиотека Pandas используется при подготовке текстовых данных к обработке, формировании обучающих выборок и анализе результатов моделей.

6) Инструменты машинного обучения

Машинное обучение (Machine Learning) – это направление искусственного интеллекта, в котором разрабатываются методы построения моделей, способных выявлять закономерности в данных и использовать их для прогнозирования или классификации. В анализе данных машинное обучение применяется при решении следующих задач:

- Классификация объектов – отнесение объекта к одному из заданных классов на основе его признаков (например, определение, является ли письмо спамом или нет).

- Прогнозирование числовых значений – оценка предполагаемого количественного показателя на основе имеющихся данных (например, прогнозирование стоимости жилья или объёма продаж).

- Выявление аномалий – обнаружение наблюдений, которые существенно отличающихся от основной совокупности данных (например, поиск подозрительных банковских операций).

- Кластеризация – объединение объектов в группы по степени их сходства без заранее заданных классов (например, сегментация клиентов по поведенческим характеристикам).

- Построение рекомендательных систем – создание моделей, предлагающих пользователю товары или контент на основе анализа его предпочтений и поведения других пользователей.

В экосистеме Python используется множество библиотек, предназначенных для построения и обучения моделей (таблица 1.5).

Таблица 1.5 – Основные библиотеки машинного обучения в Python

Библиотека	Назначение
scikit-learn	Реализация классических алгоритмов машинного обучения (регрессия, классификация, кластеризация)
TensorFlow	Платформа для построения и обучения нейронных сетей
PyTorch	Гибкая библиотека для глубокого обучения и экспериментальных моделей

В рамках данного пособия в качестве базового инструмента рассматривается библиотека scikit-learn, поскольку она позволяет изучить основные принципы построения моделей без избыточной сложности. Перед рассмотрением примера введём два термина.

Модель классификации – это алгоритм, который на основе обучающих данных позволяет относить объекты к определённым категориям. Например, определить, является ли сообщение спамом (класс 1) или нет (класс 0).

Логистическая регрессия – это один из наиболее простых и распространённых алгоритмов классификации. Несмотря на слово «регрессия», в данном случае метод используется для отнесения объекта к одному из классов.

Рассмотрим минимальный пример создания такой модели.

# Подключаем класс LogisticRegression из библиотеки scikit-learn
from sklearn.linear_model import LogisticRegression
 
# Создаем объект модели
model = LogisticRegression()

Пояснение к коду

from sklearn.linear_model import LogisticRegression – импортируется класс логистической регрессии из модуля линейных моделей библиотеки scikit-learn.

model = LogisticRegression() – создаётся экземпляр модели. На данном этапе модель только определена, но обучение ещё не выполнено.

Чтобы модель могла использоваться на практике, выполняются три основных шага:

1) Подготовка обучающей выборки – формируется набор данных, включающий входные признаки и соответствующие им метки, на основе которых происходит обучение модели.

2) Обучение модели с помощью метода fit() – модели передаются обучающие данные, на основе которых она выявляет закономерности и настраивает внутренние параметры.

3) Применение модели с помощью метода predict() – обученная модель используется для получения прогнозов на новых данных..

Рассмотрим полный пример.

# обучающие данные
X = [[1], [2], [3], [4]]
y = [0, 0, 1, 1]
 
# обучение модели
model.fit(X, y)
 
# прогноз для нового значения
prediction = model.predict([[2.5]])
 
print("Прогноз:", prediction)

Пояснение к коду

X – входные данные (признаки).

y – правильные ответы (классы).

model.fit(X, y) – выполняется обучение модели на подготовленных данных.

model.predict([[2.5]]) – получение прогноза для нового значения.

При работе с моделями важно учитывать, что библиотека машинного обучения не заменяет этап анализа данных. Перед обучением требуется подготовка данных, включая:

· очистку данных,

· приведение их к требуемому формату,

· проверки корректности признаков.

Поэтому инструменты машинного обучения тесно связаны с библиотеками NumPy и Pandas, которые применяются для подготовки данных. В дальнейшем методы машинного обучения используются как для числовых данных, так и для текстов, что позволяет рассматривать анализ данных и обработку естественного языка в рамках единого подхода

7) Средства обработки естественного языка

Обработка естественного языка (Natural Language Processing, NLP) – это направление информатики, связанное с автоматической обработкой текстов на естественных языках, то есть языках, используемых человеком в повседневной коммуникации.

В отличие от числовых данных, текстовая информация не имеет заранее заданной структуры. Перед анализом её необходимо преобразовать: выделить слова, удалить лишние символы, привести слова к нормальной форме, а также определить их смысловую роль. Эти задачи решаются с использованием методов NLP. В экосистеме Python используется ряд инструментов для обработки текста (таблица 1.6).

Таблица 1.6 – Основные библиотеки для обработки текста в Python

Библиотека	Назначение
NLTK	Базовые инструменты обработки текста и обучения основам NLP
spaCy	Быстрая библиотека для практической обработки текста и разработки прикладных решений
transformers	Работа с современными языковыми моделями на основе архитектуры Transformer

Библиотека NLTK чаще применяется в учебных задачах, поскольку позволяет поэтапно изучить основные операции обработки текста: токенизацию, удаление стоп-слов, стемминг и лемматизацию.

Библиотека spaCy ориентирована на практическое использование. Она обеспечивает высокую скорость обработки текста и используется при построении прикладных систем.

Библиотека transformers предоставляет предоставляет инструменты для работы с современными языковыми моделями, которые могут выполнять сложные задачи: классификацию текстов, извлечение информации, ответы на вопросы и генерацию текста.

В рамках данного пособия методы NLP рассматриваются совместно с анализом данных. Текстовые данные преобразуются в числовую форму, после чего к ним применяются методы машинного обучения.

8) Системы управления проектами

Система управления проектами разработки программного обеспечения – это совокупность инструментов и правил организации работы, которые обеспечивают сохранность кода, управление версиями, контроль зависимостей и воспроизводимость проекта.

В анализе данных проект обычно не ограничивается одним файлом и включает несколько компонентов:

· исходные данные;

· программные модули;

· ноутбуки;

· результаты вычислений;

· зависимости библиотек.

Для того чтобы работа оставалась структурированной и могла быть воспроизведена другим пользователем, применяются специальные инструменты (таблица 1.7).

Таблица 1.7 – Основные инструменты управления проектами в Python

Инструмент	Назначение
Git	Контроль версий и отслеживание изменений кода
Pip	Установка и обновление библиотек
Poetry	Управление зависимостями проекта и фиксация их версий
venv / virtualenv	Создание изолированных виртуальных окружений

Git позволяет сохранять историю изменений и при необходимости возвращаться к предыдущим версиям кода. Это особенно важно при коллективной работе или экспериментировании с моделями. Для установки сторонних библиотек используется pip. Например,

pip install pandas

Создание отдельной среды с собственным набором библиотек возможно с использованием venv или virtualenv, что предотвращает конфликты версий между различными проектами.

Poetry объединяет управление зависимостями и окружением, автоматически фиксируя версии библиотек, используемых в проекте.

В рамках данного пособия эти инструменты рассматриваются как основа организации работы аналитика. Их использование обеспечивает воспроизводимость результатов и упорядоченную структуру проекта.

9) Инструменты воспроизводимости исследований

Воспроизводимость исследования – это свойство научной работы, при котором другой специалист может получить те же результаты при использовании тех же данных и методов обработки. В анализе данных воспроизводимость имеет ключевое значение, так как результаты вычислений должны быть проверяемыми. Если при повторном запуске кода получаются иные результаты, это может указывать на изменение среды выполнения или зависимостей проекта. В экосистеме Python воспроизводимость поддерживается рядом инструментов (таблица 1.8).

Таблица 1.8 – Средства обеспечения воспроизводимости в Python

Инструмент	Назначение
Jupyter Notebook	Сохранение кода, комментариев и результатов вычислений в едином документе
Фиксация версий библиотек	Обеспечение использования одинаковых версий зависимостей
requirements.txt	Текстовый файл со списком используемых библиотек и их версий
Системы контроля версий (Git)	Сохранение истории изменений проекта
Конфигурация среды	Фиксация параметров окружения и структуры проекта

Jupyter Notebook позволяет сохранять не только код, но и пояснения к нему, что особенно важно в образовательной и исследовательской работе. Файл requirements.txt содержит список используемых библиотек с указанием их версий, что позволяет другому пользователю воспроизвести аналогичную программную среду. Пример строки в таком файле:

pandas==2.0.3

numpy==1.24.2

Системы контроля версий фиксируют изменения кода и позволяют при необходимости восстановить состояние проекта на определённый момент времени. Таким образом, воспроизводимость рассматривается как условие корректности получаемых результатов и организации работы с данными, а не только как формальное требование.

1.1.2. Уровни экосистемы Python в анализе данных

Экосистему Python в задачах анализа данных можно представить в виде многоуровневой структуры. Такое представление помогает понять, как различные инструменты связаны между собой и как формируется полный аналитический цикл. Условно выделяют четыре уровня.

Первый уровень – базовый язык и стандартная библиотека. Этот уровень включает:

· синтаксис языка;

· встроенные типы данных;

· стандартную библиотеку.

На этом уровне решаются задачи базовой обработки информации, такие как работа с файлами, строками, датами и структурами данных, а также сериализация информации. Здесь формируется основа программирования.

Второй уровень – численные вычисления. На данном этапе используются специализированные библиотеки, в первую очередь NumPy. Здесь выполняются:

· работа с массивами;

· выполнение математических операций;

· подготовка числовых данных к анализу.

Этот уровень служит основой для последующей статистической обработки и применения методов машинного обучения.

Третий уровень – работа с табличными данными. Здесь применяется библиотека Pandas, которая позволяет:

· структурировать данные в виде таблиц;

· выполнять фильтрацию и группировку;

· объединять данные из разных источников;

· подготавливать данные к моделированию.

Именно здесь происходит основной этап подготовки данных.

Четвёртый уровень – моделирование и обработка текста. Данный уровень включает:

· методы машинного обучения;

· инструменты обработки естественного языка.

На данном уровне строятся модели классификации и прогнозирования, а также выполняется анализ текстовой информации.

1.1.3 Значение целостного понимания экосистемы

Начинающий обучающийся часто воспринимает Python как инструмент написания отдельных программ. Однако в задачах анализа данных Python выступает не как отдельный инструмент, а как среда, объединяющая:

· программирование,

· вычисления;

· обработку данных;

· построение моделей;

· оформление результатов.

Понимание уровневой структуры экосистемы позволяет более осознанно подходить к выбору инструментов и организации работы:

· осознанно выбирать инструменты;

· видеть место каждой библиотеки в общем процессе анализа;

· избегать фрагментарного подхода к решению задач.

Итоги подраздела

Python при этом используется не только как язык программирования, но и как среда, в которой объединяются средства численных вычислений, работы с таблицами, построения моделей, обработки текстовой информации, управления проектами и обеспечения воспроизводимости результатов. Такой подход позволяет рассматривать анализ данных как целостный процесс, где каждый инструмент выполняет свою функцию – от подготовки информации до построения моделей и представления результатов.

Дальнейшее изучение языка Python в рамках пособия ориентировано на его применение в задачах анализа данных и обработки естественного языка, а не ограничивается только программированием.