Вводная
Телекоммуникации, СМИ и технологии.
Такие высококонкурентные отрасли, как телекоммуникации, СМИ и технологии, используют интеллектуальный анализ данных для улучшения обслуживания клиентов путем выявления закономерностей в их поведении. Например, компании могут анализировать модели использования пропускной способности и предоставлять индивидуальные улучшенные услуги или рекомендации.
Банковское дело и страхование.
Финансовые службы могут использовать приложения для интеллектуального анализа данных, чтобы решать сложные проблемы, связанные с мошенничеством, соблюдением нормативных требований, управлением рисками и потерей клиентов. Например, страховые компании могут определять оптимальную стоимость товаров, сравнивая прошлые показатели их эффективности с ценами конкурентов.
Сфера образования.
Образовательные учреждения могут использовать алгоритмы интеллектуального анализа данных для проверки знаний учащихся, персонализации уроков и игрофицирования обучения. Единое представление успеваемости учащихся на основе данных может помочь преподавателям лучше понимать потребности учащихся и оказывать им более качественную поддержку.
Обрабатывающая промышленность.
Производственные службы могут использовать методы интеллектуального анализа данных для предоставления прогнозной аналитики в режиме реального времени, чтобы повышать общую эффективность оборудования, уровни обслуживания, качество продукции и эффективность цепочки поставок. Например, производители могут использовать архивные данные для прогнозирования износа производственного оборудования и планирования технического обслуживания. В результате они могут оптимизировать производственные графики и сократить время простоя.
Розничная торговля.
Розничные компании имеют большие клиентские базы данных с необработанными данными о поведении покупателей. С помощью интеллектуального анализа данных можно обрабатывать эти данные для получения соответствующей информации для маркетинговых кампаний и прогнозов продаж. Благодаря более точным моделям данных розничные компании могут оптимизировать продажи и логистику, что позволит повысить удовлетворенность клиентов. Например, с помощью интеллектуального анализа данных можно выявить популярные сезонные товары, которыми можно запастись заранее, чтобы избежать дефицита.
Каков принцип работы интеллектуального анализа данных?
Межотраслевой стандартный процесс интеллектуального анализа данных (Cross-Industry Standard Process for Data Mining, CRISP-DM) является отличным руководством для начала процесса интеллектуального анализа данных. CRISP-DM – это методология и модель процессов, не зависящая от отрасли, инструментов и приложений.
· В качестве методологии CRISP-DM описывает типичные этапы проектов интеллектуального анализа данных, обозначает задачи, выполняемые на каждом из этапов, и объясняет взаимосвязи между ними.
· В качестве модели процессов CRISP-DM предоставляет обзор жизненного цикла интеллектуального анализа данных.
Каковы шесть этапов процесса интеллектуального анализа данных?
Последовательность этапов CRISP-DM строго не определена, поэтому команды по работе с данными могут по необходимости перемещаться вперед и назад между этапами. Кроме того, программные технологии могут выполнять некоторые из этих задач или поддерживать их.
1. Понимание бизнеса
Сначала специалисты по обработке и анализу данных определяют цель и объем проекта. Они сотрудничают с заинтересованными сторонами бизнеса, чтобы получить определенную информацию, например:
· проблемы, которые требуют решения;
· ограничения проекта;
· воздействие потенциальных решений на бизнес.
Затем они используют эту информацию, чтобы определить цели интеллектуального анализа данных и ресурсы, необходимые для обнаружения знаний.
2. Понимание данных
Определив бизнес-проблему, специалисты по работе с данными приступают к предварительному анализу данных. Они собирают наборы данных из различных источников, получают права доступа и готовят отчет с описанием данных. В отчете содержится информация о типах и количестве данных, требованиях к аппаратному и программному обеспечению для обработки данных. После утверждения плана компанией они приступают к исследованию и проверке данных. Они обрабатывают данные, используя базовые статистические методы, оценивают качество данных и выбирают итоговый набор данных для следующего этапа.
3. Подготовка данных
Специалисты по анализу данных тратят больше всего времени на этот этап, поскольку ПО для интеллектуального анализа данных требует высококачественных данных. В бизнес-процессах данные собираются и хранятся по причинам, отличным от интеллектуального анализа, поэтому специалисты по анализу должны подготовить данные, прежде чем использовать их для моделирования.
Подготовка данных состоит из указанных ниже процессов.
Очистка данных
Например, обработка отсутствующих данных, ошибок и стандартных значений, а также корректировка данных.
Интеграция данных
Например, объединение двух разных наборов данных для получения итогового целевого набора.
Форматирование данных
Например, преобразование типов данных или настройка данных для конкретной используемой технологии интеллектуального анализа.
4. Моделирование данных
Специалисты по анализу данных вводят подготовленные данные в ПО для интеллектуального анализа данных и изучают результаты. Для этого они могут использовать один из множества методов и инструментов интеллектуального анализа данных. Они также должны написать тесты для оценки качества результатов интеллектуального анализа данных. Для моделирования данных специалисты по работе с данными могут:
· обучать модели машинного обучения на небольших наборах данных с известными результатами;
· использовать модели для дальнейшего анализа неизвестных наборов данных;
· настраивать или перенастраивать ПО для интеллектуального анализа данных, чтобы получать удовлетворительные результаты.
5. Оценка
После создания моделей специалисты по анализу данных начинают сопоставлять их с первоначальными бизнес-целями. Они делятся результатами с бизнес-аналитиками и собирают обратную связь. Модель может предоставить ответ на первоначальный вопрос или показать новые и ранее неизвестные закономерности. Специалисты по анализу данных могут изменить модель, скорректировать бизнес-цель или пересмотреть данные, полагаясь на обратную связь компании. Непрерывная оценка, обратная связь и внесение изменений являются частью процесса обнаружения знаний.
6. Развертывание
Во время развертывания другие заинтересованные стороны используют рабочую модель для получения бизнес-аналитики. Специалисты по работе с данными планируют процесс развертывания, который включает в себя обучение других функциям модели, постоянный мониторинг и поддержку приложения интеллектуального анализа данных. Бизнес-аналитики используют приложение для создания отчетов для руководства, обмена результатами с клиентами и улучшения бизнес-процессов.
Каковы методы интеллектуального анализа данных?
Методы интеллектуального анализа данных основаны на различных пересекающихся областях знаний, включая статистический анализ, машинное обучение и математику. Далее приведены некоторые примеры.
Анализ ассоциативных правил.
Анализ ассоциативных правил – это процесс поиска взаимосвязей между двумя разными, казалось бы, несвязанными между собой наборами данных. Утверждения «если, то» демонстрируют вероятность наличия связи между двумя точками данных. Специалисты по работе с данными измеряют точность результатов, используя критерии поддержки и доверия. Поддержка – это показатель того, насколько часто связанные элементы обнаруживаются в наборе данных, а доверие – показатель того, насколько часто утверждение «если, то» оказывается верным.
Например, если покупатель покупает какой-то товар, он вероятнее всего купит второй товар, связанный с первым. Розничные продавцы могут использовать ассоциативный анализ данных о прошлых покупках для определения товаров, которые могут заинтересовать новых клиентов. С помощью результатов интеллектуального анализа данных они могут заполнять рекомендуемые разделы в интернет-магазине.
Классификация.
Классификация – это сложный метод интеллектуального анализа данных, который обучает алгоритмы машинного обучения сортировать данные по отдельным категориям. В классификации для определения категории используются такие статистические методы, как деревья решений и метод ближайшего соседа. Во всех этих методах алгоритм предварительно запрограммирован с использованием известных классификаций данных для определения типа нового элемента данных.
Например, аналитики могут обучать программное обеспечение для интеллектуального анализа данных, используя помеченные изображения яблок и манго. Затем ПО может с некоторой точностью предсказать, что будет изображено на новых картинках: яблоко, манго или другой фрукт.
Кластеризация.
Кластеризация – это объединение нескольких точек данных в группы на основе их сходства. Кластеризация отличается от классификации тем, что не может различать данные по определенным категориям, но может находить закономерности в их сходстве. Результатом интеллектуального анализа данных является набор кластеров, в котором каждая коллекция отличается от других групп, но между объектами в каждом кластере существует некоторое сходство.
Например, анализ кластеров может помочь в исследовании рынка при работе с многомерными данными опросов. Исследователи рынка используют анализ кластеров для разделения потребителей на сегменты рынка и получения полного представления о взаимосвязях между различными группами.
Анализ последовательностей и путей
Программное обеспечение для интеллектуального анализа данных также может искать закономерности, в которых определенный набор событий или значений приводит к следующим. ПО может распознавать изменения в данных, происходящие через регулярные промежутки времени или изменения в точках данных, которые происходят с течением времени.
Например, с помощью анализа путей компании могут обнаружить рост продаж определенных товаров непосредственно перед праздниками или определить, что теплая погода привлекает большее количество людей на их веб-сайты.