10 мая 2021

📊 Что такое BI-системы и зачем они нужны?

Miroslav Kungurov

Пишу об IT и на Python. kungurov.net

Поговорим о людях, склонных вечно детализировать, упорно искать и находить новые выгодные перспективы, выдвигать гипотезы и приумножать капитал. Речь об аналитиках Business Intelligence и используемых ими инструментах.

Business Intelligence (BI) – технологии сбора, анализа и визуализации данных, которые выявляют новые стратегические возможности для бизнеса.

Чем занимается BI-аналитик?

BI-аналитик оперирует двумя источниками информации: получаемыми с рынка внешними данными и внутренними данными компании, в которой он работает.

Порции информации из внутренних и внешних источников поступают регулярно, то есть они находятся в постоянном движении на своеобразных линиях ускользания от BI-аналитика. По аналогии с диджеем, сводящим дорожки, BI-аналитик выстраивает ускользающие линии информации и затем фиксирует их таким образом, чтобы создать картину, конфигурацию, пригодную для интерпретации, бизнес-анализа и принятия решений. В итоге цель BI-аналитика – открыть выгодные для бизнеса перспективы.

В обязанности BI-аналитика входит:

сбор, хранение и распределение данных;
подготовка аналитических отчетов;
автоматизация рутинных операций при подготовке отчетов;
визуализация данных на дашбордах;
построение и проверка гипотез;
сбор и анализ требований заказчиков.

Инструменты BI-аналитика

SQL-запросы

Бизнес-процессы описываются тысячами показателей. Например, для анализа продаж детской игрушки понадобятся сведения о географическом положении магазина, с какими товарами и в какой день недели покупалась игрушка, на какой полке располагалась игрушка, как производилась оплата – по кредитной, дебетовой карте или наличными – и так далее. Детализация приводит к образованию больших массивов данных, которые нужно правильно структурировать для дальнейшего анализа. Обычно данные хранятся в базах данных, поэтому BI-аналитик должен уметь писать SQL-запросы на разных диалектах.

Технология OLAP

Для создания сложных многотабличных запросов и быстрого получения результата – по сравнению с простой двумерной таблицей – применяют OLAP (англ. online analytical processing, интерактивная аналитическая обработка), в котором массив данных структурируется в виде многомерной таблицы, OLAP-куба (рис. 1). Оси такого куба – анализируемые показатели, а на пересечении осей – данные.

Метод ETL

Хорошо, если в таблицах нет пропущенных значений, дубликатов, аномалий и сам массив данных самодостаточен – по нему можно решить задачу анализа без обогащения массива данными из внутренних или внешних источников. Так бывает не всегда. Поэтому для подготовки данных к анализу BI-аналитики применяют шаг Transform (очистка данных) из метода предобработки ETL (англ. Extract, Transform, Load – «извлечение, преобразование, загрузка»):

получение данных;
преобразование, очистка данных;
и загрузка их в хранилище или аналитическое приложение.

Языки Python и R

Из языков программирования приоритет отдается Python и R. Язык R изначально разработан для анализа и статистической обработки данных. В Python для работы с данными используют библиотеку pandas, а для визуализации множество других библиотек: matplotlib, plotly, seaborn, bokeh, altair, ipyleaflet, folium.

Подробнее о работе с Pandas и визуализации данных читайте в наших статьях:

Отображение результатов в визуальном формате – графики, диаграммы или на карте – дает представление о наиболее важных показателях, которые не всплывают в контексте таблицы. Информации много, поэтому вручную писать код для каждого графика занимает много времени. Чтобы клепать отчеты в промышленных масштабах BI-аналитик пользуется платформами с функциями хранилища данных, автоматизированной отчетности и построения дашбордов.

Что такое дашборд

Дашборд – приборная панель с интерактивными графиками и диаграммами (рис. 2).

Рис. 2. Приборная панель Microsoft Power BI

Один из главных инструментов аналитика – специальные BI-платформы.

Популярные BI-платформы

На некоторых платформах удобнее рисовать графики, на других сводить данные, а у третьих крутая кривая обучения, чтобы полностью использовать их возможности. Учитывая, что платформы в 9/10 случаев платные, нужно определиться, какой функционал нужен. В вакансиях на Хедхантере чаще всего фигурируют Tableau и Power BI.

Microsoft Power BI

powerbi.microsoft.com | Цена: Power Desktop распространяется бесплатно, Pro-версия стоит от 625 ₽/мес.

Power BI Desktop – часть набора продуктов Power BI. Desktop-версия устанавливается на локальный компьютер и позволяет подключать, преобразовывать и визуализировать данные. Power BI Pro – продвинутая версия с большим функционалом.

Функциональность Pro-версии:

отчеты в реальном времени;
предсказательная аналитика;
расширенная аналитика на основе искусственного интеллекта (ИИ);
создание моделей машинного обучения;
очистка данных с помощью Azure Data Lake;
больше инструментов интеграции данных по сравнению с платформой Tableau;
интерактивные отчеты;
бесшовная интеграция с технологиями Microsoft Office.

Tableau

tableau.com | Цена: от 70 $/мес.

C 2003 г. Tableau помогает не техническим специалистам создавать визуальную аналитику и интерактивные графики. Система имеет интуитивный и не загроможденный пользовательский интерфейс.

Функциональность:

анализ в режиме реального времени;
drag-and-drop конструктор в дашбордах;
единый синтаксис для всех задач;
обработка естественного языка (NLP);
удобная работа с геоданным по сравнению с Power BI.

Qlik

qlik.com | Цена: 30 $/мес.

Qlik – дает доступ к облачной аналитике с низким порогом вхождения и прозрачной ценовой политикой в отличие от Tableau (pdf, англ., шестая страница).

Функциональность:

дашборды;
геоаналитика;
аналитика, основанная на поиске и языковых запросах;
заказная разработка и встраиваемая аналитика;
мобильная аналитика;
автоматизация хранилищ данных;
экспорт данных в Tableau, Power BI и другие аналитические системы.

Oracle Analytics Cloud

oracle.com/business-analytics | Цена: от 16 $/мес.

Oracle Analytics Cloud предлагает комплексную бизнес-аналитику, формирование отчетности, машинное обучение из коробки и возможности визуализации данных.

Функциональность:

расширенная аналитика за счет средств ИИ и машинного обучения;
обработка естественного языка (NLP);
аналитические панели, дашборды;
мобильные решения;
предсказательная аналитика;
бесплатно: две базы данных, хранилище на 100 Гб, две виртуальные машины с 1 Гб ОЗУ.

Metabase

metabase.com | Цена: бесплатно на своем хостинге или от 85 $/мес. за облако.

Metabase – инструмент бизнес-аналитики с открытым исходным кодом. Он не требует знания SQL и имеет приятный интерфейс, позволяющий создавать аналитические графики всего несколькими щелчками мыши.

Функциональность:

установка за 5 минут;
создание запросов без знания SQL;
отправление данных по расписанию на электронную почту или в Slack
просмотр данных с помощью бота MetaBot в Slack;
работа с геоданными;
оповещение об изменениях.

Литература

Визуализируйте это: Руководство FlowingData по дизайну, визуализации и статистике – Натан Яу (англ.);
Визуализация данных (практическое руководство) – Киран Хили (англ.);
Основы визуализации данных: руководство по созданию информативных и убедительных диаграмм – Клаус О. Вильке (англ.);
Super Graphic. Вселенная комиксов сквозь схемы и диаграммы – Леонг Тим;
Искусство цвета – Йоханнес Иттен;
Наглядная математическая статистика. Учебное пособие – Лагутин М. Б.

Интернет-ресурсы и YouTube-каналы

Каталог Визуализации Данных – сборник диаграмм и графиков;
Vitamin Business Intelligence – BI для начинающих: управление, анализ и визуализация данных (англ.);
Business Intelligence, Big Data и человеческое чутье – на канале рассказывают о видах BI, технологических средствах реализации и подводных камнях;
Создание дашборда в Power BI – полное руководство по созданию дашборда;
Tableau. Основы. Создаем дашборд – инструкция по сборке простого дашборда;
Вебинары и уроки по Qlik – 42 видео, плейлист регулярно обновляется: первое видео датируется 2016 г., последнее – 2021 г.;
Канал Oracle Analytics – официальный канал Oracle Analytics, в котором рассказывают о новых возможностях системы и показывают как ими пользоваться (англ.);
Туториал по Metabase – здесь вы узнаете, как установить систему и как с ней работать.

Резюме начинающего BI-аналитика

Зарплата: от 60 тыс. руб. (актуально на момент публикации статьи в г. Москва).

Требования:

навык работы с базами данных и написания SQL-запросов средней сложности;
знание аналитической системы Power BI / Tableau;
умение разрабатывать ETL-скрипты для очистки, обработки и выгрузки данных;
знание программ MS Office на уровне уверенного пользователя;
аналитический склад ума;
английский язык на уровне чтения документации.

Если вас вдохновляет Big Data, срезание, сведение и перемещение блоков информации, механизмы селекции бизнес-процессов или просто капитализм, то, возможно, профессия BI-аналитика – ваше призвание.

***

Хочу научиться программировать с нуля, но не знаю, с чего начать. Что делать?

Можно учиться самостоятельно (долго) или пойти на курсы с преподавателями (быстро). Плюс нужно учитывать, что джунов много, конкуренция выше и работодатели повышают порог вхождения при найме на работу. Чтобы получить актуальные знания, мы в proglib.academy запустили курсы:

Основы программирования на Python.
Профессия Python-разработчик.
Алгоритмы и структуры данных.
Математика для Data Science.
Профессия Data Science.
Frontend Basic: принцип работы современного веба.
Профессия Фронтенд-разработчик.
Обработка естественного языка. Полный курс.

На подходе еще больше 10 курсов для взрослых и детей.

Интересно, хочу попробовать

📊 Что такое BI-системы и зачем они нужны?

Miroslav Kungurov

Чем занимается BI-аналитик?