Сегодня у Банка Freedom более 6 млн клиентов и все они могут получить данные о своих счетах за пару кликов в приложении. Технологической основой для всего этого движения информации является Freedom Data Warehouse – единое хранилище данных банка. О том, как его создавали, как оно пережило рост клиентов банка в 2 раза за один месяц и как это изменило работу сервисов, рассказывают директор департамента сбора и управления данными Ертай Мақанов и его заместитель Далер Хабибов.
Зачем финтеху строить свое хранилище данных
До 2023 года система работы с данными во Freedom строилась по классической для финтеха схеме. По ней вся АБС (автоматизированная банковская система – прим. Digital Business) покупается у одного поставщика и заточена на непосредственно банковскую деятельность – транзакционные операции. А отчетность и аналитика работают просто как дополнительные опции.
Как вспоминает Ертай Мақанов, с ростом количества клиентов и быстрым появлением новых продуктов нагрузка на АБС существенно возросла. Стало понятно, что отчетность и аналитику нужно отделять от системы, которая отвечает за ежедневные банковские операции, и создавать для них собственное корпоративное хранилище данных — Data Warehouse (DWH).
Директор департамента сбора и управления данными Ертай Мақанов
Первым из тех, кто поддерживал этот проект внутри банка, был управляющий директор – член правления Данияр Тажеденов. По его инициативе, рассказывает Ертай Мақанов, было решено собрать сильную команду и задать направление работы. Для создания DWH дата-офис усилили специалистами в области баз данных, разработки и сопровождения информационных систем.
Далер Хабибов, заместитель директора департамента сбора и управления данными, поясняет необходимость отдельного хранилища: «Главная задача АБС – обеспечивать текущую жизнедеятельность банка, то есть обрабатывать операции здесь и сейчас. Это как кратковременная память человека: легко вспомнить то, что случилось недавно. А события за большой период – это уже задача долгосрочной памяти, т.е. АБС под нее не заточена. В это же время финансисты, дата-аналитики и исследователи строят прогнозы и стратегии как раз на основе информации, собранной за многие годы. Специальным инструментом для этого является отдельное хранилище, первостепенная задача которого как раз и заключается в том, чтобы накапливать данные из всех источников, включая саму АБС, и “вытягивать” огромные отчеты за большие периоды».
«Запустили MVP хранилища за 2 месяца»
Учитывая опыт обновленной команды на похожих проектах, первый MVP нового хранилища удалось запустить за 2 месяца. DWH построили на бесплатной open-source версии системы Greenplum.
Заместитель директора департамента сбора и управления данными Далер Хабибов
Помимо проектирования нового решения, появилась параллельная задача – научить сотрудников банка им пользоваться и перестроить внутренние бизнес-процессы:
«Чтобы было проще продвигать наш проект среди всех работников, решил позиционировать его не просто как хранилище, а как полноценный внутренний продукт. Мы придумали название – Freedom DWH или FDWH, разработали собственный логотип, и даже начали ставить его в подписи писем. Так, постепенно, контактируя с нашей командой, коллеги узнавали продукт, погружались в него и привыкали использовать его в повседневной работе», — объясняет Далер Хабибов.
«FDWH быстро стало главным источником данных для всех подразделений банка»
Сначала FDWH консолидировало в себе работу с бухгалтерскими отчетами. Следующим шагом стало подключение бизнес-аналитики и визуализации, которая позволила бы продолжить «экспансию» на C-левел-сотрудников и на другие подразделения, которым требуются визуализированные данные для работы.
«В тот момент департаменты финансового блока активно использовали инструмент для бизнес-аналитики – Power BI. Но существовала сложность с консолидированием источников данных. Чтобы получился один дашборд, сотрудники вручную собирали информацию от АБС, процессинга и внешних подрядчиков.
FDWH предложил им универсальную “таблетку” – один источник и единый формат запросов. Теперь можно было заниматься именно аналитикой, а не добычей информации. При этом вместо технических терминов АБС данные адаптировались под язык бизнеса: клиент, депозит, кредит и прочее», – рассказывают специалисты.
Идея прижилась и за следующие несколько месяцев развитие хранилища прошло второй этап – от базовой отчетности к управленческой и продуктовой аналитике.
Таким образом FDWH стало единым корпоративным хранилищем банка, к которому подключаются все подразделения через сервисы, BI-инструменты и отчетность. По словам Далера Хабибова, ни одна продуктовая презентация и ни одно бизнес-решение не проходит без обращения к данным из хранилища.
«Рост клиентской базы почти в 2,5 раза потребовал нового технологического подхода»
Помимо снятия с АБС нагрузки по запросам аналитических данных, офису данных предстояло еще снизить количество обращений к онлайн-данным. На этом этапе дата-команда подключила сервис, позволяющий максимально быстро передавать данные между системами. Но у него было ограничение: чтобы настроить выполнение новой задачи, приходилось останавливать сотню уже взятых в работу.
«Например, клиенту нужно получить выписку по счету из Freedom SuperApp. Приложение может обратиться за информацией к АБС или формировать этот отчет автономно. Совершенные транзакции измениться не могут, поэтому спрашивать про них каждый раз у АБС нет смысла – мы можем ее тут разгрузить. Но, чтобы научить приложение делать выписку автономно нужно провести технические работы. Чтобы минимизировать неудобства пользователей, приходилось внедрять нововведения в часы минимальной клиентской активности – с 2 до 5 утра», — объясняет Далер Хабибов.
Тем временем в банке начался взрывной рост клиентской базы в связи с запуском новых продуктов: количество пользователей Freedom SuperApp увеличилось с 530 тыс в конце 2024 года до 1,3 млн к концу января 2025-го.
«С учетом специфики наших продуктов – а это мультивалютные карты с депозитным вознаграждением – каждый клиент генерировал минимум 16 счетов. Количество данных множилось радикально», — поясняют эксперты из офиса данных.
При такой нагрузке новые решения в части данных получалось внедрять медленнее, чем требовал бизнес. Сценарий работы «останавливать все, чтобы подключить одно» был очевидно неподходящим. «Мы поняли, что надо искать другие технологические возможности для онлайн-работы с данными», — рассказали спикеры.
«Работа с данными помогла запустить кешбэки Freedom»
Для перехода на потоковую передачу данных команда рассматривала четырех поставщиков. В итоге выбрали инструмент, который имел объективные преимущества по сравнению с другими, а у команды был опыт в его использовании для решения похожих задач.
«Qlik Replicate тогда назывался Attunity. Использовали его для автоматической репликации данных в реальном времени. Остался доволен и технической реализацией, и понятным UI», — рассказывает Далер Хабибов.
Следующим этапом стало формирования доверия у коллег из банка к решению, выбранному техническим блоком. В этот раз помогло, что поставщик – компания Datanomix.pro – предложил поработать с инструментом в режиме пилота и предоставил дистрибутив.
«Мы провели демонстрацию внутри департамента, чтобы стало понятно, как инструмент работает на практике. Обучение не понадобилось – Qlik максимально понятен на интуитивном уровне. Пилотный режим длился около двух месяцев, за которые приложение опробовали по всем направлениям работы и получили подтверждение, что сервис закрывает весь объем задач и точно “приживется”. Само внедрение после полноценной покупки заняло всего около недели»,— вспоминает Далер.
В результате интеграции Qlik Replicate стало возможно внедрять нововведения без технических простоев. Дополнительно снизилась нагрузка на АБС.
Кроме того, мониторинг всех CDC-процессов (Change Data Capture, технология передачи обновлений данных между системами в режиме около реального времени – прим. Digital Business) начал работать “из коробки”, то есть без необходимости ставить для этого отдельный инструмент, как в open-source решениях.
Отдельным эффектом от перехода на Qlik Replicate стала дополнительная “гибкость” системы лояльности банка Теперь она может оперативно реагировать на изменения в любых данных. «Проценты по кешбэку стало возможно пересчитывать в моменте – без привлечения “хардовых” Java/C#-разработчиков под каждое изменение логики», — рассказывает Далер Хабибов.
«Вместо двух недель собираем дашборд за 1-2 дня»
Весь цикл построения единого хранилища FDWH занял 6 месяцев. Сегодня хранилище соединено со всеми продуктами экосистемы Freedom.
Ертай Мақанов особенно подчеркивает значимость того, что сделать это получилось своими силами, хотя подавляющее количество компаний по всему миру заказывают разработку таких решений у специализированных поставщиков. «Это позволило накопить внутри организации критически важную экспертизу по управлению данными, сократить зависимость от внешних подрядчиков и обеспечить возможность оперативного развития хранилища в соответствии с изменениями бизнес-требований».
Одним из главных улучшений для аналитиков стала скорость подготовки отчетов: если раньше требовалось минимум 2 недели, то сейчас, по словам спикеров, можно собрать глубокий и емкий дэшборд за 1-2 дня.
«Сегодня под управлением FDWH более 4 тысяч объектов CDC обновляются в реальном времени», — рассказывает Далер Хабибов.
Что нужно знать CDO о создании своего хранилища данных
Digital Business попросил Далера Хабибова выделить критические моменты, на которые надо обратить внимание CDO при строительстве своего хранилища данных:
«Главное – заранее решить, для чего именно нужно хранилище, и на этапе проектирования расставить приоритеты, определить роли и уровни доступа будущих пользователей. Любой департамент будет утверждать, что его задачи самые важные, но если один будет слишком грузить систему, другие будут ждать данные слишком долго.
Для финансовых организаций самое главное это регуляторная отчетность – корректность данных в ней имеет исключительный приоритет. Остальные направления встраиваются в архитектуру уже по уровню критичности для бизнеса.
Второе – не бояться разделять хранилище. Одна часть закрывает отчеты, другая аналитику и так далее. Например, последние работают с гипотезами, 95% которых не пойдут в работу. Тратить на это общий критически важный ресурс, который влияет на банковскую деятельность, нецелесообразно. Поэтому лучше под них выделить изолированные “песочницы”, которые не влияют на основные бизнес-процессы».
| Детали трансформации работы с данными можно обсудить с Ертаем Мақановым и Далером Хабибовым в рамках The CDO Club. Это закрытое сообщество для экспертов в управлении корпоративными данными и их монетизации. Клуб появился в конце 2023 года в Алматы, встречи проходят в Алматы и Астане, а в 2026 году клуб впервые собрался в Ташкенте. Формат — практические кейсы участников и дискуссия, без записи. Вступление — по заявке на сайте и после интервью. Участие бесплатное, генеральный спонсор клуба — Datanomix.pro. |