4.2 Загрузка данных из CSV

В аналитической практике табличные данные чаще всего хранятся в формате CSV. Библиотека Pandas позволяет автоматически преобразовать такой файл в аналитическую таблицу.

# Подключение библиотеки pandas
import pandas as pd
 
# Загрузка CSV-файла в объект DataFrame
df = pd.read_csv("students.csv")
 
# Вывод таблицы
print(df)

Что такое CSV?  CSV (Comma-Separated Values) – это текстовый формат хранения табличных данных, в котором значения разделяются специальным символом-разделителем.

Чаще всего в качестве разделителя используются:

·  запятая;

·  точка с запятой;

·  символ табуляции.

Каждая строка CSV-файла обычно соответствует отдельному объекту наблюдения, а значения внутри строки представляют признаки этого объекта (таблица 4.2.1).

Пример CSV-файла

name,age,score

Анна,21,88

Иван,22,75

Мария,20,92

 

Таблица 4.2.1 –  Аналитический смысл

Строка

Аналитический смысл

Анна,21,88

отдельное наблюдение

age

признак объекта

score

результат измерения

 

CSV является одним из наиболее распространённых форматов аналитики данных благодаря:

·  простоте хранения;

·  совместимости с различными программами;

·  удобству обмена данными;

·  компактности текстового представления.

Именно поэтому CSV широко используется:

·  в аналитике данных;

·  статистике;

·  машинном обучении;

·  бизнес-аналитике;

·  системах хранения информации.

Что делает функция read_csv()? Функция pd.read_csv() выполняет последовательность операций:

·       открывает файл;

·       определяет разделитель (по умолчанию – запятая);

·       считывает строку заголовков;

·       разделяет строки на значения;

·       формирует объект типа DataFrame;

·       автоматически пытается распознать типы данных столбцов.

В результате создаётся табличная структура, готовая к анализу.

Как Pandas интерпретирует CSV? При загрузке файла Pandas анализирует структуру таблицы и пытается автоматически определить назначение данных.

Например:

name,age,score

Анна,21,88

Что определяет Pandas представлено в таблице 4.2.2.

 

Таблица 4.2.2 – Интерпретация элементов

Элемент

Интерпретация

name

имя столбца

age

числовой признак

score

числовой признак

Анна

строковое значение

21

целое число

Таким образом, библиотека не просто считывает текст, а формирует аналитическую модель данных.

Автоматическое определение типов данных. Одной из важных особенностей Pandas является автоматическое распознавание типов столбцов (таблица 4.2.3).

 

Таблице 4.2.3 ­ Пример автоматического определения типов данных

Столбец

Возможный тип

age

int64

score

float64

name

object

 

Это позволяет сразу выполнять:

DataFrame как результат загрузки CSV. После выполнения pd.read_csv() создаётся объект типа: DataFrame.

DataFrame представляет собой аналитическую таблицу, состоящую:

Например

print(df)

Результат

    name  age  score

0   Анна   21     88

1   Иван   22     75

2  Мария   20     92

Компоненты аналитической таблицы представлены в таблице 4.2.4.

 

Таблица 4.2.4 –  Компоненты аналитической таблицы

Компонент

Аналитический смысл

Строка

объект наблюдения

Столбец

измеряемый признак

Индекс

идентификатор строки

Значение

результат измерения

 

Таким образом, CSV-файл преобразуется в полноценную аналитическую таблицу.

Методический акцент. В модуле 2 аналогичная обработка выполнялась вручную:

·       открытие файла,

·       разделение строк,

·       преобразование типов.

Использование pd.read_csv() автоматизирует этот процесс
и позволяет сразу получить структурированные данные. Таким образом, происходит переход: от текстового представления таблицы → к аналитической модели данных.

Например:

with open("students.csv") as f:

    lines = f.readlines()

После этого необходимо было:

Такой подход:

Почему Pandas упрощает анализ данных?  Использование pd.read_csv() автоматизирует этот процесс и позволяет сразу получить структурированные данные.

Pandas автоматически:

✔ формирует таблицу

✔ создаёт DataFrame

✔ определяет типы данных

✔ создаёт индексы строк

✔ подготавливает данные к анализу

Именно поэтому Pandas стал одним из основных инструментов современной аналитики данных.

Переход от текста к аналитической модели. Главный методический смысл использования Pandas заключается в переходе:

текстовый CSV-файл

↓

структурированная таблица DataFrame

↓

аналитическая обработка данных

 

CSV-файл сам по себе является только способом хранения информации.

После загрузки в Pandas данные становятся:

 

Первичная проверка таблицы. После загрузки CSV аналитик обычно выполняет первичную диагностику таблицы.

Например:

print(df.head())

print(df.info())

Это позволяет:

Типичные проблемы при загрузке CSV. При работе с CSV-файлами могут возникать:

Поэтому: аналитик должен всегда проверять корректность загрузки данных перед началом анализа.

Роль Pandas в аналитическом процессе. В современной аналитике данные редко создаются вручную.

Обычно аналитик:

Именно поэтому загрузка CSV является одной из базовых операций прикладного анализа данных.

Итоги темы. В теме были рассмотрены:

Pandas позволяет автоматически преобразовывать текстовые таблицы в аналитические структуры данных, готовые к фильтрации, статистике и дальнейшему анализу.