Как мы меняли в компании BI-систему и что из этого вышло

Как было с Tableau

Мы в OKKAM использовали Tableau четыре года. BI-решение помогало нам строить отчёты по конкурентному анализу, визуализировать результаты исследований, создавать дашборды с метриками наших продуктов и дашборды для менеджеров бизнес-подразделений, например финансистов.

Что мы ценим в Tableau:

• возможность подключать разные источники данных и объединять их
• экспорт данных в Excel
• безопасная встройка дашбордов в наш сайт
• гибкое управление правами доступа к данным и визуальным объектам для пользователей системы
• обновление из источников по расписанию или триггеру
• возможность развертывания на собственной инфраструктуре (некоторые наши дашборды содержат финансовые или персональные данные).

Именно этот функционал позже лёг в основу критериев для поиска альтернативной BI-системы. Осенью 2022 года мы решили отказаться от дальнейшего использования сервиса Tableau, потому что обход ограничений нёс за собой потенциальные риски:

• инсталляция ПО обходным путём может не получиться по разным причинам
• вендор может внедрить механизмы, делающие работоспособность даже установленного ПО на территории России невозможным.

Поиск альтернативы: что есть на рынке

На российском рынке мы обнаружили значительно больше BI-решений, чем ожидали. Правда при детальном изучении увидели ограничения: это и не всегда понятная схема ценообразования, и недостаточная зрелость продукта.

Мы опирались на множество источников информации. Нам очень помогло исследование BI-круг Громова, а также множество статей, телеграм-каналов и ютуб-видео от экспертов по BI. Мы сопоставили наши критерии с той информацией о решениях, которую удалось найти в открытых источниках, и собрали лонг-лист из систем, присутствующих на рынке.

Лонг-лист BI-систем

• Tableau
• Qlik Sense
• Power BI
• Apache Superset
• Metabase
• Visiology
• Polymatica
• Триафлай
• Навигатор (Сбербанк)
• Форсайт/ FlyBI
• Alfa BI
• Yandex Datalens
• FineBI
• Дельта
• Redash
• Dash / Plotly
• Google Data Studio
• Mode
• Cluvio
• Holistic
• Chartio
• Periscope
• DeltaDNA
• Klipfolio
• Count.co
• SAP Analytics Cloud
• Looker
• Alteryx
• Modus BI
• Luxms BI
• Криста BI
• PolyAnalyst
• N3.Аналитика
• Analytic Workspace
• Almaz BI
• Cubisio
• Vizary BI
• 1C: Аналитика
• Пульс дела / Пульс региона
• Dataplan
• Storm

Среди BI-систем есть большое количество open-source решений, например Apache Superset или Redash. Однако создание релевантных дашбордов в них, по нашим оценкам, требует в два-три раза больше ресурсов разработчиков по сравнению с Tableau, поэтому от этого варианта сразу пришлось отказаться. Затем мы обратились к коммерческим системам. Рассматривали как российские варианты, так и доступные иностранные, опираясь на разработанные ранее критерии выбора.

Из российских особенно присматривались к DataLens от Яндекса и Viziology.

• Яндекс DataLens — относительно новый инструмент. Хотя его функционал пока отстаёт от лидеров рынка (не кастомизируемые визы, нет параметров, нет on-premises решения, только облако), у DataLens есть потенциал для развития и масштабные планы. Что важно, на момент нашего тестирования инструмент был бесплатным.
• Viziology обладает мощным языком вычислений. Это минимизирует предрасчёты, можно также использовать Python для расчетов и визуализаций.

Из зарубежных систем тщательно тестировали Pyramid Analytics (она же Дельта в российском исполнении) и Fine BI.

• Pyramid Analytics: хороший встроенный ETL, довольно развитый инструмент с параметрами, LOD (level of detail) вычислениями, Row  Level  Security.
• Fine BI схож с Tableau как концептуально, так и с точки зрения интерфейса. Есть обширный маркетплейс плагинов, которыми можно реализовать то, что инструмент пока не умеет внутренними средствами из коробки. Отзывчивый саппорт.

Эти четыре решения вошли в наш шорт-лист, их мы и проверили на реальных задачах.

Пилоты с отобранными системами

Пилоты провели на триал-версиях: разработали типичные дашборды, оценили плюсы и минусы систем. Нам было важно при проведении пилотов протестировать следующие сценарии:

• работа с несколькими источниками данных
• смена грануляции дат
• смена детализации визов (смена используемых полей)
• смена вида вычислений в визах (сумма или доля по выбору пользователя)
• возможность переходить по сторонним ссылкам из дашборда, либо проигрывать ролики прямо в инструменте
• кастомизация визов
• взаимодействие с визами
• использование LOD вычислений.

По результатов пилотов мы поняли, что такого же классного решения, как привычный нам Tableau, на рынке сейчас нет. К сожалению, каждому из протестированных решений не хватало чего-то из следующего функционала:

• возможность подключиться к большему количеству вариантов источников данных из коробки
• наличие нескольких типов соединения данных (join, blending, relationship)
• возможность мониторить обновление источников данных (запущенные скрипты, ошибки и т.д.)
• широкий выбор типов графиков и других элементов
• наличие функции изменения уровня детализации вычислений (LOD) как при типе подключении Live, так и Extract
• разнообразие функций изменения типов данных
• фильтры разного уровня действия
• большой выбор групп и условий в работе с табличными вычислениями «на лету»
• разделение функционала администрирования и разработки (Server и Desktop)
• скорость работы как в режиме live подключения, так и с использованием встроенных in-memory движков
• наличие мобильного формата дашбордов.

Тем не менее, Fine BI оказался наиболее близкой заменой Tableau. Остальные решения меньше всего подходили для решения наших задач.

Почему выбрали Fine BI

У Fine BI оказалось много преимуществ, которые показались нам важными.

• Давно на рынке: развивают экосистему с 2004 года.
• Большое портфолио клиентов, конечно, в основном в Азии.
• Помимо поддержки есть большое комьюнити, в том числе уже и русскоговорящее.
• UI схожий с Tableau.
• Нормально работает с ClickHouse.
• Функционал позволяет решать большинство наших задач.
• Конкурентное ценообразование.

Fine BI — достойная альтернатива ушедшим с рынка решениям. Подойдет компаниям, которым нужен инструмент для создания визуальных отчетов в аналитике и принятии управленческих решений. При этом не имеет значение, внутренний ли или внешний заказчик.

Сложности переезда с Tableau на Fine BI

Переезд на новую систему оказался труднее, чем мы предполагали. У нас возникли сложности при интеграции Fine BI с нашим продуктом D1 (сервис «единого окна» для отчётности для наших клиентов), а также при синхронизации с AD (Active Directory). Ещё в Fine BI немного другая архитектура: например, нельзя скопировать дашборды как рабочую книгу Tableau и объединять данные из разных источников на уровне Fine BI при direct connection.

Много и других особенностей Fine BI, с которыми мы столкнулись и которые важно учитывать:

• по-другому происходят LOD вычисления, что не позволяет, например, без ряда доработок переносить дашборд с Tableau на Fine BI
• своя логика работы с параметрами и фильтрами при создании визуальных объектов
• Fine BI потребляет больше процессорной мощности, что может сказаться на скорости тяжелых вычислений и работе с большими объемами данных.

Для решения наших более узких задач (например, настройки дашбордов для контроля и оптимизации всех проектов и рекламных кампаний в одном окне) на рынке есть готовые решения с необходимым функционалом. Поиском и работой с подобными стартапами у нас в OKKAM занимается акселератор Garden.

Коллеги из Garden нашли стартап Good BI, который предоставляет готовые дашборды по рекламным кампаниям для своих клиентов. У них большая база коннекторов к рекламным системам (Я.Директ, Я.Маркет, Дзен, VK, MyTraget), CRM (Bitrix-24. AmoCRM), системам коллтрекинга (Calltouch, CoMagic, Callibri), системам аналитики (GA, Я.Метрика, системам мобильной аналитики) и другим системам. Это помогает вести отчетность в риал-тайме и делать мультиканальную аналитику.

В ходе переезда мы накопили технический опыт, знания по фичам и приколам Fine BI, которые не поместились в эту статью. Готовы делиться этими знаниями, общаться и помогать пишите — Ivan.Sukhoveev@okkam.ru