Вначале нам помогла аптека
В 1995 году несколько единомышленников основали компанию BaseGroup Labs. Мы разрабатывали программное обеспечение на заказ, на наши услуги был спрос. Но хотелось создать что-то новое, полезное не для одного заказчика, а для всех, как бы пафосно это ни звучало сейчас. Оставалось найти, куда направить свои усилия. И тут жизнь дала нам подсказку.
Для одного из клиентов мы разрабатывали систему управления аптечным складом с модулем отчетности. Для создания каждого отчета надо было написать SQL-запрос, потому что базы данных включали сотни таблиц, но аптечные кладовщики не хотели осваивать программирование. Зря. Не знали они тогда о будущем росте IT-отрасли.
Чтобы заказчик не нанимал аутсорсера для работы с SQL, мы искали способ упростить создание запросов. Наткнулись на OLAP-технологию и сделали прототип OLAP-куба. В нем можно было проставить галочки в мастере и получить любой отчет за несколько секунд. Никакого кодирования и SQL — любой пользователь этому обучался за 10 минут. Еще OLAP-куб позволял рассматривать данные под любым углом, в любой проекции. Это помогало анализировать их более глубоко и широко.
Аптекарям понравилась новая функциональность в продукте, а нам показалось интересным и перспективным направление автоматизации анализа данных. С 1999 года наша компания сконцентрировала ресурсы на разработке систем для бизнес-аналитиков.
Первые приложения мы выпустили в 2000 году:
- Cube — многомерный анализ данных при помощи OLAP-кубов. Его применяют для обработки многомерных массивов данных, построения гипотез, выявления причинно-следственных связей между разными параметрами, для моделирования поведения системы при изменениях.
- Neural Network Wizard — эмулятор многослойной нейронной сети. В основном его используют, чтобы создавать модели искусственных многослойных нейронных сетей прямого распространения, анализировать информацию и прогнозировать.
Через год мы начали отходить от заказной разработки и занялись продуктами для анализа данных.
Новые инструменты мы собрали в пакет
Разработки предыдущих лет мы собрали в первый релиз пакета прикладных программ Deductor. Со временем в состав пакета вошли приложения:
- Cube Analyzer — многомерный анализ на основе OLAP-технологий.
- Neural Analyzer — анализ данных на основе многослойных нейросетей и RBF-сетей. Применяется для численного прогнозирования, классификации, кластеризации.
- Tree Analyzer — классификация данных на основе деревьев решений. Применяется в медицине для диагностики заболеваний, в банках для оценки кредитоспособности клиентов, в промышленности для контроля качества продукции.
- SOMap Analyzer — кластеризация при помощи самоорганизующихся карт Кохонена. Применяется для разведочного анализа данных, прогнозирования поведения клиента, обнаружения аномалий.
Программы пакета были интегрированы между собой и позволяли передавать результаты обработки из одного приложения в другое. Не забывали мы и о зарубежных пользователях — добавили многоязычный интерфейс.
В том же 2001 году мы выполнили первые проекты по внедрению системы продвинутой аналитики Deductor в российские и зарубежные компании. В процессе стало понятно, что основная проблема в реальном бизнесе связана не с алгоритмами построения моделей, а с отсутствием части необходимых данных. А в имевшихся данных всегда обнаруживались недостатки: они были неактуальные, несвязанные, противоречивые, содержали информацию, введенную задним числом, с пропусками, опечатками.
Например, для анализа в розничном бизнесе надо знать параметры, влияющие на лояльность клиентов: какие коммуникации с ними были, что они заказывали, что из этого им поставили, какие цены были у конкурентов на момент покупки, проводились ли рекламные кампании. Однако на практике в наличии были только данные о товародвижении.
Чтобы повысить качество данных, мы создали модуль для очистки и предобработки данных RawData Analyzer — он появился в пакете Deductor в 2002 году. Он позволил улучшить качество данных с помощью операций трансформации: заполнения пустых значений, табличной замены, квантования или дискретизации, трансформации к скользящему среднему, преобразования типов, очистки от дубликатов или противоречий.
Например, часто бывало так, что в столбце некоторые данные отсутствуют в силу каких-либо причин — они неизвестны, либо их забыли внести. Из-за этого приходилось убирать из обработки все строки, которые содержат пропущенные данные. Чтобы этого не делать, в программе RawData Analyzer предусмотрено два способа заполнения пропущенных данных:
- Аппроксимация — недостающие данные заменяются близкими к ним значениями.
- Максимальное правдоподобие — алгоритм подставляет наиболее вероятные значения вместо пропущенных данных.
Повышать качество данных было нужно и важно, но также надо было подумать и о том, как облегчить работу аналитика. Чаще всего аналитик выполнял одну и ту же последовательность действий над разными наборами данных.
Мы решили создать модель, которая бы выполняла заданную пользователем логику. Она получала на вход новый набор данных, обрабатывала его и передавала полученный массив на вход следующему алгоритму.
В результате в 2004 году на свет появился Deductor 4 — платформа, позволяющая без программирования создавать произвольные сценарии обработки из готовых элементов. С его помощью на базе единой архитектуры можно пройти все этапы построения аналитической системы: от создания хранилища данных до автоматического подбора моделей и визуализации полученных результатов.
Мы решили научить студентов анализировать
За первые три года Deductor стал популярным. В 2007 году мы запустили партнерскую программу для компаний-заказчиков и сделали свой образовательный портал. В том же 2007 году вышел Deductor 5, где появились новые алгоритмы, визуализаторы, хранилища данных.
Мы пришли к выводу, что стоит также развивать партнерскую программу для высших учебных заведений, и выпустили бесплатную версию Deductor Academic для обучения студентов-аналитиков.
С нашим продуктом работали РЭУ им. Г. В. Плеханова, НИУ «Высшая школа экономики», Санкт-Петербургский государственный университет, МИРЭА, университет «Синергия» и другие. Надеемся, что с таким инструментом студентам легко дался экзамен по «Аналитике данных».
Мы сделали платформу более доступной для пользователей
К 2012 году с помощью Deductor мы выполнили более 50 крупных проектов. Он преподавался в 100+ учебных заведениях, в частности, через систему дистанционного обучения анализу данных. Постепенно стало понятно, что рынок анализа данных меняется слишком быстро: взрывной рост количества данных, новые алгоритмы анализа, популяризация веб-сервисов, распространение смартфонов и планшетов. Deductor перестал удовлетворять потребности пользователей.
Нужно было сделать так, чтобы бизнес-эксперт мог самостоятельно, без привлечения разработчиков, превратить свои знания и данные в компоненты, которыми мог пользоваться он сам и его коллеги. И для этого ему не надо было становиться программистом, учиться писать код и носить толстый свитер круглый год.
Для прорыва требовалась современная платформа с веб-интерфейсом, способная обрабатывать большие объемы данных, с новыми возможностями проектирования, удобной публикацией веб-сервисов. Повторное использование аналитических моделей должно было стать очень простым, чтобы пользователям не приходилось разбираться, как устроены компоненты и алгоритмы.
В 2017 году мы завершили создание платформы, отвечающей этим требованиям. Платформа Deductor превратилась в Loginom, а компания BaseGroup Labs сменила название на Loginom Company.
На платформе Loginom можно проектировать прямо в браузере, использовать готовые компоненты или создавать собственные, обрабатывать большие объемы данных, превращать любой узел сценария в веб-сервис. Это одна из самых быстрых low-code-платформ для продвинутой аналитики, доступная пользователям без знаний языков программирования.
Продолжаем делиться опытом
В 2022 году Loginom внесли в Единый реестр отечественного ПО. Сейчас Loginom используется в финтехе, телекоме, нефтегазе, промышленности, маркетинге, FMCG, медицине. На сегодняшний день у нас более 40 партнеров, около 100 вузов, где преподается Loginom, развитая экосистема.
Мы стали активно обучать пользователей на нашем сайте через курсы, демопримеры, демонстрации.
Ежегодно проводим Loginom Day — мероприятие, посвященное продвинутой аналитике, с участием наших партнеров и клиентов. В 2022 году главной темой мероприятия была безболезненная миграция на Loginom и перестройка ИТ-архитектуры в условиях импортозамещения. Следующее мероприятие пройдет в ноябре 2023 года.
