Высоконагруженные системы (HighLoad) способны выдерживать большие объемы пользовательских запросов и данных. При этом задача ИТ-команды – обеспечить высокую скорость обработки и отказоустойчивость. Digital Business поговорил о HighLoad в финтехе и запасе прочности супераппа с представителями Halyk.
Заместитель директора департамента Halyk Super App Николай Сулимов и заместитель директора департамента Onlinebank Вадим Ли рассказали, как экосистема финтеха работает в режиме нон-стоп.
«2,8 млн активных пользователей в день – операции проходят ежесекундно»
— Расскажите, как вы попали в финтех?
Николай: Окончил Energo University (бывший АУЭС) по специальности «Инженер по радиотехнике и связи». С 2012 года работаю в различных банках. С прошлого года присоединился к команде Halyk SuperApp.
Вадим: Я выпускник Satpaev University (бывший КазНТУ) по специальности «Вычислительная техника и программное обеспечение». Работал на фрилансе, но задачи довольно быстро стали однотипными. Чтобы задать себе челлендж, решил устроиться в крупный финтех и в 2019 году присоединился к команде Halyk.
— Как сейчас строится работа ваших подразделений?
Николай: Наш департамент отвечает за развитие и стабильность Halyk SuperApp, чтобы все сервисы экосистемы работали корректно и без сбоев. В супераппе представлены все услуги: банковские, инвестиционные, страховые и государственные. И все в одном приложении, которое изначально настроено на высокую нагрузку.
Вадим: Onlinebank устроен аналогично, но ориентирован на юридических лиц. Мы создаем для бизнеса удобный и безопасный доступ к банковским услугам: от классических операций – платежей, переводов и валютного контроля – до расширенных сервисов для крупных компаний и предпринимателей. В Onlinebank можно в несколько кликов управлять счетами, оформлять гарантии и аккредитивы, контролировать движение средств. Постоянно развиваем платформу, внедряем новые функции и автоматизацию, чтобы предприниматели могли сосредоточиться на развитии своего дела, а не на операционных процессах.
— С какими сложностями вы сталкиваетесь в HighLoad-проектах?
Николай: В Halyk SuperApp ежедневно заходят 2,8 млн активных пользователей, а за месяц приложением пользуются 8 млн человек. Ежесекундно проходят многочисленные операции – проверки счетов, платежи, переводы, депозиты, кредиты и прочие транзакции. Основная задача – сохранить стабильность при такой нагрузке. Сбой в одном месте может остановить сервисы для всех клиентов, поэтому система должна работать бесшовно 24/7.
Вадим: Onlinebank обслуживает более 313 тысяч активных пользователей в месяц и более 107 тысяч ежедневно, обеспечивая бесперебойную работу при высокой нагрузке. В периоды выплаты зарплат или пенсий нагрузка возрастает, но мы к этому готовы: заранее выявляем и устраняем возможные узкие места. Даже неожиданные всплески трафика команда отрабатывает спокойно.
«Для ускорения внедрили искусственный интеллект»
— Какие процессы удалось оптимизировать за последний год?
Николай: Мы постоянно в процессе улучшений. Сейчас оптимизируем платежи, переводы и авторизацию, чтобы клиенту не приходилось вводить пароль в каждом сервисе. Развиваем культуру тестирования: юнит-тесты и автоматизацию, чтобы процесс был эффективным и естественным.
AI ускоряет поиск источников сбоев при пиковых нагрузках. Но цель не заменить специалистов, а освободить им время. Даже когда код проходит через ревью коллеги, искусственный интеллект предлагает варианты, дописывает фрагменты. То, что раньше занимало день, теперь делаем за минуты.
Вадим: Добавлю, что и в разработку, и в “боевую среду” интегрирована команда кибербезопасности: она тестирует продукты и мониторит угрозы. В пиковые периоды защиту усиливаем комплексно.
— Есть ли примеры неожиданных нагрузок?
Николай: Один из свежих кейсов — продажа билетов на концерт Backstreet Boys через платформу kino.kz. За сутки пользователи приобрели более 20 000 билетов. Мы заранее просчитали риски, и благодаря грамотно выстроенной системе очередей удалось избежать перегрузки: нагрузка выросла в разы, но система полностью выдержала.
Вадим: В такие моменты изолируем сервис, чтобы остальные работали стабильно. Если масштабирование не помогает, включается аварийная группа и тонко настраивает систему. Иногда перераспределяем нагрузку: менее популярные сервисы работают чуть медленнее, чтобы критические оставались стабильными.
«Запас прочности предусмотрен архитектурой»
— Есть ли у Halyk собственные решения, которые помогают в пиковые моменты?
Николай: Да, вся архитектура и ключевые IT-решения разработаны внутри банка. От сторонних вендоров используем лишь базовую механику, а все остальное проектируем, развертываем и моделируем самостоятельно. Команды по AI сами развивают и обучают модели, которые затем внедряются в разные процессы. Наш код и разработки остаются внутри банка – наружу ничего не уходит.
Во время code review и деплоя используем AI для оценки продукта. Для защиты от перегрузок применяем rate limiter: он регулирует нагрузку и при необходимости уведомляет пользователя о небольшой паузе (5-10 минут). Это дает системе запас прочности и время команде на устранение возможных проблем.
«Этот опыт в другом месте не получишь»
— Давайте поговорим о людях, которые строят и поддерживают высоконагруженные системы. В чем особенность работы ваших департаментов?
Вадим: Мы накапливаем опыт, который не получишь при работе с продуктами меньшего масштаба. Ведь наши специалисты работают с системами мирового уровня и высоконагруженными архитектурами и имеют квалификации по разным ИТ-направлениям. К примеру, для решения HighLoad-задачи можно собрать группу из архитекторов, программистов, аналитиков и т. д. Это помогает развиваться каждому из них, и каждый привносит свой опыт.
Еще один плюс – возможность работать с LLM-моделями и применять их в реальных задачах.
— Как развивается команда, в каких специалистах нуждаетесь?
Николай: Скажу сразу, что мы всегда в поисках талантливых специалистов. В департаменте супераппа больше 100 сотрудников, разделенных на продуктовые команды. Каждая из них кроссфункциональна и решает широкий спектр задач в рамках своего продукта.
Вадим: Что касается расширения команды Onlinebank, то скажу, что и мы постоянно в поиске новых специалистов. Когда я пришел в департамент, над банкингом работало 25 человек. Сейчас в команде уже 140 специалистов: аналитики, тестировщики, backend и frontend-разработчики, команды по мобильному и web приложению, а также DevOps.
— Принимаете только опытных специалистов, или можно прийти новичкам и прокачаться в этой сфере?
Вадим: Сотрудник традиционно проходит классические этапы: Junior, Middle, Senior, Lead. За 6 лет работы в Halyk я видел немало примеров, когда люди за два года вырастали до уровня Senior или Lead.
Николай: В Halyk все процессы способствуют росту специалиста. Те же HighLoad-режимы повышают экспертизу сразу по нескольким параметрам. Замедление процессов в приложении даже на 20 миллисекунд уже заметно отражается на других сервисах. Такое снижение скорости специалист должен заметить и исправить, а еще лучше – предположить, где это может случиться в следующий раз.
— Как получается справляться со стрессовыми ситуациями?
Николай: Да, стрессовые ситуации случаются. И тут лично мне помогает чувство завершенности задачи. Понимание того, что мы нашли проблему, разгадали ее тайну и устранили. Чаще всего все HighLoad-режимы у нас предсказанные и контролируемые.
Порой бывает непросто, когда твоя часть кода не работает, и понимаешь, что сейчас тысячи людей, в том числе твои близкие, которые тоже пользуются приложением, не могут получить доступ к услугам. Эта моральная составляющая может мешать. Но для этого у нас в помощниках самые передовые ИТ-технологии.
HR-директор Halyk Индира Аширова подчеркнула роль команды, которая стоит за высоконагруженными системами банка.
«Сегодня в банке особое внимание уделяется отказоустойчивости и стабильности высоконагруженных систем – это зашито в KPI команд. Мы ищем таланты, которые способны находить нестандартные решения и усиливать нашу экспертизу в этой области. Со своей стороны банк создает все условия для профессионального развития и реализации потенциала специалистов. Подтверждение этому – международный статус Top Employer, которым Halyk заслуженно отмечен», — подчеркнула Индира Аширова.