Архитектура, дисциплина, ИИ: как в Halyk управляют большими данными

23 октября в Алматы прошел четвертый митап серии Halyk Tech Sprints, посвященный базам данных.

Ведущие специалисты банка рассказали, как строится архитектура хранения данных в крупных финансовых системах, что помогает выдерживать нагрузку в пиковые часы и оптимизировать процессы без бесконечного докупания «железа».

С чего начинается любая операция в цифровом банкинге?

Оптимизация, отказоустойчивость и грамотная архитектура базы данных (БД) — не просто вопрос технологий, а ключевой фактор конкурентоспособности. Потому что в цифровом банкинге любая операция, будь то проверка баланса, перевод или расчет лимита, начинается с запроса к БД. Если она тормозит или падает, страдает весь сервис, и банк теряет доверие.

Нурлан Терликбаев

«У нас высоконагруженные базы данных, один только процессинг весит почти 160 терабайт. Наши специалисты добились определенных успехов в работе с базами данных. К примеру, раньше операционное закрытие дня в АБС доходило до 12 часов. Когда базы данных обрабатывали сотни тысяч операций по всем счетам, почти все сервисы, кроме клиентских транзакций, были временно недоступны. После четырех месяцев работ мы вышли на показатель в 5 часов, и наша АБС выдерживает 500 комплексных операций в секунду», – отметил управляющий директор Halyk Нурлан Терликбаев.

Далее выступил директор департамента ИТ-инфраструктуры Halyk Александр Филатов. По словам эксперта, банк использует 800 баз данных нескольких типов, в зависимости от задач:

• Реляционные — таблицы с жесткой структурой. Используются для транзакций и данных, где важна точность: АБС, счета, клиенты.
• Документальные (NoSQL) — хранят данные в виде JSON-документов и подходят для гибких сервисов и быстро меняющихся продуктов.
• In-Memory — информация хранится в оперативной памяти. Такие БД нужны там, где критична скорость: скоринг, антифрод, кэш.
• Big Data — используются для хранения и анализа больших массивов данных, например, в ML, аналитике и прогнозировании.

Александр Филатов

«Поддерживать стабильную работу всех БД помогают разные подходы и инструменты. Например, мы равномерно распределяем нагрузку на систему, особенно, в пиковые часы и дни, как перед Новым Годом или на 8 марта. Для отказоустойчивости держим запас мощности от х3 до х10 от стандартной нагрузки. Оперативно проводим функциональное нагрузочное тестирование в изолированных тестовых средах и там же обкатываем новый функционал, чтобы не уронить рабочую версию. Вообще базист – как драгоценный камень. Со временем не тускнеет, а становится только дороже», – отметил Александр Филатов.

Стабильность требует дисциплины

Учитывая рост клиентской базы, операций и нагрузки, в работе высоконагруженных сервисов иногда случаются ошибки. Медленные запросы, блокировки и даже перегрузка серверов – для большинства проблем у банка уже есть решения. К ним относятся различные мониторинговые системы и AI-решения для подготовки отчетов.

Еще одно важное требование к безопасности данных – бэкапы, без которых восстановление данных в случае их потери невозможно. Хранятся они в разных дата-центрах, что повышает их сохранность.

Игорь Пехотский

«Все крупные компании работают по формализованным процедурам, и это не бюрократия, а основа управляемости. Когда я начинал, необходимость документировать собственную работу казалась лишней. Со временем пришло понимание: фиксируя решения и архитектурные изменения, команда не только снижает риски, но и делает продукт более осмысленным. Документация помогает переосмыслить подход, избежать ошибок и ускорить развитие. Мы поддерживаем полную карту систем и зависимостей в CMDB, регулярно обновляем документацию и проходим аудиты. В долгосрочной перспективе именно такие практики обеспечивают предсказуемость, устойчивость и безопасность цифровых сервисов», – считает начальник управления администрирования баз данных Halyk Игорь Пехотский.

«Тюнинг ради тюнинга смысла не имеет»

В финтехе высокие нагрузки и рост клиентских операций не всегда означают необходимость наращивать «железо». Часто проблемы кроются не в мощности серверов, а в архитектуре, структуре данных и логике запросов. Чтобы ускорить работу баз данных, в банке применяют различные подходы.

В частности, партиционирование, когда данные разбивают на логические блоки, и вместо полного массива система обрабатывает только нужные сегменты. Этот метод особенно востребован для мобильного банкинга, где пользователи массово обращаются к истории операций.

Олег Ивакин

Дополнительный эффект дает хаускипинг — редко используемые записи переносятся в архив, что снижает нагрузку на оперативную часть БД и делает запросы быстрее. Также задействуются резервные дата-центры: часть вычислительной нагрузки переносится на стендбай-инфраструктуру (используется для обеспечения непрерывности работы в случае отказа основного оборудования). Так ресурсы не простаивают и не нужно постоянно докупать «железо».

«У каждой оптимизации должна быть понятная бизнес-логика. Только в таком случае база работает быстрее, а система — стабильно. Мы рассматриваем производительность как стратегическую задачу: ставим конкретные цели, ищем узкие места и оптимизируем их точечно. Также анализируем состояние баз данных с помощью AI-моделей. На одну БД уходит до 5 минут, а полученные отчеты подсказывают, где могут возникнуть проблемы», – отметил заместитель директора департамента ИТ-инфраструктуры Halyk Олег Ивакин.

От локальных адаптаций к технологическому суверенитету

Завершил программу митапа приглашенный спикер — представитель китайского разработчика высокопроизводительных баз данных YashanDB. Архитектор ИT-решений Zhang Limin, который проработал более 20 лет в IBM China, рассказал, как в Китае создавали альтернативу западным СУБД и к чему пришли за 8 лет внедрений.

Переход к собственной базе данных был обусловлен несколькими факторами: политикой технологической независимости, высокой стоимостью лицензий и поддержкой зарубежных вендоров, а также необходимостью быстрее адаптировать платформу под локальные сценарии. На протяжении шести лет YashanDB разрабатывала команда из более чем 200 senior-инженеров, после чего систему запустили в промышленную эксплуатацию.

Zhang Limin

«Построить зрелую базу данных — это длинная дистанция. Сегодня по транзакционным сценариям наша платформа показывает результаты, сравнимые или превосходящие передовые международные базы, при этом оставаясь совместимой с их инструментами. Мы коммерческая компания, поэтому для нас важно не просто создать технологию, но обеспечить ее поддержку и развитие — так формируется долгосрочная технологическая независимость», – поделился Zhang Limin.

В завершение встречи Нурлан Терликбаев поблагодарил участников митапа и подчеркнул, что сильная инженерная школа рождается только там, где есть масштаб и передовые решения.

«Когда система обслуживает миллионы пользователей одновременно, ни один учебник не подскажет, как работать с такими нагрузками. Этот опыт можно получить только в боевых условиях — и мы открыты к сотрудничеству и обмену знаниями. Halyk использует передовые технологии и большие кластеры данных — именно такая среда формирует сильных специалистов и зрелые инженерные команды», – резюмировал Нурлан Терликбаев.