Какая инфраструктура нужна для ИИ: о ЦОДах, энергетике и надежности

Рынок дата-центров в Казахстане выходит на новый этап развития. Растет спрос на облачную инфраструктуру, появляются масштабные проекты, повышаются требования к энергетике, связи, охлаждению и отказоустойчивости. О перспективах отрасли и ключевых инфраструктурных вызовах рассказал заместитель председателя правления АО «Казтелепорт» Валерий Маркин.

«Казахстан может стать инфраструктурной площадкой для связи разных регионов»

— Как вы оцениваете текущее состояние ИТ-инфраструктуры Казахстана? Можно ли говорить о переходе страны на новый этап развития облачной инфраструктуры и дата-центров?

— Мы наблюдаем растущий интерес государства к развитию облачной инфраструктуры, в том числе с привлечением крупных международных компаний к таким проектам. Многие уже слышали о начале строительства долины ЦОДов в Экибастузе. Этот шаг - стремление страны стать технологической точкой роста.

Такие проекты необходимо рассматривать комплексно. Для полноценного функционирования дата-центра недостаточно построить здание и установить оборудование. Нужны соответствующие каналы связи, гарантированное энергоснабжение, инженерная инфраструктура, транспортная доступность, квалифицированный инженерный состав, отлаженные операционные процессы и регламентированные процедуры эксплуатации. Именно совокупность этих факторов обеспечивает операционную устойчивость дата-центра, оценка которой проводится в рамках сертификации по стандарту TCOS (Tier Certification of Operational Sustainability) международного института Uptime Institute.

— Какие основные инфраструктурные вызовы сегодня стоят перед Казахстаном? В чем особенности казахстанского рынка по сравнению с российским и американским?

— США обладают огромным внутренним рынком и высокой концентрацией технологической инфраструктуры. Россия также имеет масштабный рынок и развитую внутреннюю инфраструктуру. Казахстанский рынок значительно меньше, но мы находимся в центре Евразии и можем выступать связующим звеном между европейским и азиатским регионами.

Обсуждали с одним из международных партнеров, почему Казахстан сегодня для них интересен. В первую очередь они отметили уровень доверия к стране и отсутствие ряда обстоятельств, создающих дополнительные риски для международного бизнеса.

Второй фактор - расположение. Казахстан потенциально может стать не только рынком потребления цифровых услуг, но и инфраструктурной площадкой для связи разных регионов.

При этом главный вызов связан уже не столько с созданием самих ЦОД, сколько с телекоммуникационной инфраструктурой - значительная часть международной связности Казахстана сформировалась достаточно давно. Сегодня реализуются новые проекты, которые должны увеличить пропускную способность и обеспечить дополнительные маршруты, однако создание такой инфраструктуры требует времени.

И здесь речь идет не только про объем доступной полосы пропускания, но и про наличие независимых маршрутов, резервирования и возможности выбирать оптимальную архитектуру прохождения трафика.

Если представить, что в Казахстан приходит крупный международный технологический игрок - условный Amazon - наличие современного ЦОДа само по себе не решит всех его задач. Ему потребуется гарантированная высокоскоростная связь с другими регионами, несколько независимых маршрутов и возможность управлять тем, как и через какие юрисдикции проходит трафик.

Поэтому развитие цифровой инфраструктуры должно идти комплексно: необходимо создавать не только современные ЦОД, но и независимую телекоммуникационную сеть, международные маршруты передачи данных и резервные каналы.

«К 2030 году в мире рассматриваются нагрузки вплоть до 600 кВт на стойку»

— Насколько сильно искусственный интеллект уже повлиял на развитие инфраструктуры в стране? Какие новые требования он формирует для дата-центров?

— Искусственный интеллект уже задает новый вектор развития инфраструктуры и одновременно подсвечивает проблемы, которые раньше не были настолько очевидны.

Прежде всего это энергетика. Для современных AI-нагрузок требования к мощности на одну стойку существенно выше, чем в традиционных дата-центрах. Если говорить о перспективных конфигурациях, к 2030 году в мире рассматриваются нагрузки вплоть до 600 кВт на стойку. Это другой масштаб потребления энергии и, соответственно, другие требования к электроснабжению, охлаждению и резервированию.

Поэтому развитие AI-инфраструктуры становится фактором, влияющим на развитие энергетики страны в ближайшие 10–15 лет. Потребуется модернизировать сети, создавать новые генерирующие мощности, развивать подстанционную инфраструктуру и повышать надежность энергоснабжения.

Здесь тоже важно соблюдать баланс. Инвестиции в новые энергетические и цифровые мощности - позитивный фактор для экономики, но параллельно необходимо повышать надежность уже существующей инфраструктуры. Если у бизнеса или населения возникают регулярные перебои с электроснабжением, создание новых мощностей исключительно под AI не решает системную проблему.

Есть и второй важный вопрос - что именно мы будем создавать на этой инфраструктуре. Недостаточно построить дата-центры, установить GPU и обеспечить необходимое энергоснабжение. Должен формироваться собственный спрос на AI-решения и продукты на базе искусственного интеллекта и машинного обучения.

Считаю нефтегазовую и горнодобывающую отрасли перспективными пользователями AI-инфраструктуры. Здесь она может применяться для решения конкретных производственных задач − от анализа больших массивов данных и прогнозирования до оптимизации технологических процессов и повышения эффективности оборудования.

Не менее перспективные направления - медицина, где искусственный интеллект может использоваться для обработки и анализа больших массивов медицинских данных, а также промышленность - прежде всего для создания и применения цифровых двойников производственных объектов и процессов.

Реальный технологический суверенитет возникает, когда у страны есть одновременно три составляющие: инфраструктура, собственные компетенции и внутренний спрос на технологии. Поэтому задача Казахстана, на мой взгляд, не просто создать мощности для AI, а сформировать полноценную экосистему: от энергетики и дата-центров до разработки собственных решений и их применения в ключевых отраслях экономики.

— Насколько важна готовность всей сопутствующей инфраструктуры при реализации крупных проектов строительства дата-центров?

— Это критически важный вопрос. При реализации крупного проекта ЦОД нельзя оценивать готовность только земельного участка или здания. Необходимо смотреть на всю инфраструктурную экосистему вокруг объекта.

Например, есть участок и проект будущего дата-центра. Но дальше возникают практические вопросы: будет ли подъездная дорога, канализация, водоснабжение, необходимые электрические мощности, телекоммуникационные каналы? Насколько окружающая инфраструктура готова к работе объекта с высокой нагрузкой?

Если какой-то элемент был создан несколько лет назад и все это время фактически не эксплуатировался, перед запуском его необходимо обследовать, протестировать и, возможно, восстановить. Нельзя предполагать, что система автоматически готова к работе только потому, что физически находится на площадке.

Именно поэтому такие проекты невозможно реализовать по принципу «построили ЦОД и завтра он заработал». Между строительством объекта и вводом в эксплуатацию существует большой комплекс подготовительных работ.

При планировании крупных дата-центров необходимо заранее оценивать энергетическую, инженерную, телекоммуникационную сеть, логистику, безопасность, кадровые и социальные вопросы. Чем масштабнее проект, тем важнее этот подход: узким местом может оказаться не сам дата-центр, а любой элемент инфраструктуры вокруг него.

«Важно понимать, для каких задач нужны 10 дата-центров»

— Говорят о масштабных планах строительства нескольких дата-центров и тысяч стоек. Насколько важно заранее понимать, под какие задачи и нагрузки создается конкретный ЦОД?

— Когда говорят о строительстве десяти дата-центров или четырех тысяч стоек, важно понимать, для каких задач и каких клиентов создается эта инфраструктура.

Сегодня уже можно выделить несколько типов ЦОД: для гиперскейлеров, AI-нагрузок, колокейшн, корпоративных решений. У каждого из них свои требования к мощности, плотности размещения, охлаждению, резервированию и инженерной инфраструктуре. Поэтому один универсальный подход здесь невозможен.

У нас, например, был случай с крупным клиентом, которому было не принципиально, какой Tier у объекта и какие серверы будут установлены. Ему требовалось помещение с определенной температурой и гарантированным электропитанием. Все остальное - собственные стойки и специализированное оборудование - у него было свое.

Поэтому дата-центр нельзя рассматривать как универсальный продукт. Сначала необходимо понимать задачу, характер нагрузки и требования конкретного клиента, а уже исходя из этого определять параметры и архитектуру объекта. В противном случае есть риск построить мощности, которые не будут соответствовать реальному спросу.

«Инфраструктуру необходимо строить под конкретный спрос и задачи клиентов»

— Какие технологические инициативы реализуются сейчас? На каких направлениях вы планируете сосредоточиться с учетом изменения спроса на рынке?

— Главная задача - ориентироваться на рынок и развиваться через призму реальных потребностей клиентов. Именно поэтому нам близок подход «строительство под производительность» (Build-to-Performance): сначала определить реальные задачи и нагрузки, а уже под них формировать инфраструктуру. Об этом подходе очень хорошо рассказал один из спикеров 2-го Международного форума «Data Center Design & Engineering Central Asia Kazakhstan» в этом году. Он созвучен с нашей инфраструктурной стратегией - развивать мощности не ради самого увеличения инфраструктуры, а под конкретный спрос и задачи клиентов.

Если говорить об искусственном интеллекте, то для нас в первую очередь интересен инференс - практическое применение уже обученных моделей. И это, на мой взгляд, одно из наиболее перспективных направлений: по оценкам Uptime Institute, по мере распространения AI именно инференс-нагрузки будут занимать все большую долю инфраструктурных ресурсов. Это означает, что спрос будет расти не только на обучение моделей, но и на инфраструктуру, которая позволит бизнесу использовать AI в реальных задачах. Обучение моделей под локальные задачи клиентов мы тоже рассматриваем, но здесь уже есть сильные специализированные игроки.

— Какое соотношение автоматизированных процессов и ручного управления необходимо для стабильной работы дата-центра? Как меняется роль персонала?

— Сейчас мы работаем над совершенствованием процесса непрерывной эксплуатации дата-центров, стабильной работы всех процессов и, соответственно, спокойствия наших клиентов. Компания готовится к прохождению аудита Uptime Institute по операционной устойчивости - Tier Certification of Operational Sustainability (TCOS). Для нас это возможность системно проверить зрелость наших эксплуатационных процессов и понять, где их еще необходимо усилить.

По характеру работы мы ближе к производственному сектору - фактически предоставляем холод и питание для серверов, сами серверы и облачные технологии, которые на них работают. Чтобы все это функционировало непрерывно, необходимо обеспечивать работу компрессоров холодильных машин, дизель-генераторных установок, различных двигателей и другого инженерного оборудования.

Обязательный шаг - использование чек-листов. Раньше подобные документы - формуляры - существовали в советской инженерии: в них указывалось, когда оборудование произведено, когда введено в эксплуатацию, когда заканчивается срок службы и так далее. В дальнейшем это превращается в автоматизированную систему, которая будет собирать и контролировать всю эту информацию.

Кроме того, совершенствуем процессы и внедряем инструменты предиктивного контроля. Если возникает потенциально опасная ситуация, мы должны иметь возможность заранее ее выявить и предотвратить ее развитие.

— Возникали ли уже нестандартные ситуации, которые потребовали оперативного реагирования и пересмотра подходов к безопасности инфраструктуры?

— Да, был один показательный случай, связанный с внешней ситуацией на прилегающей территории. Недавно завершился ремонт в нашем офисе, расположенном рядом с ЦОД. На соседней территории произошло возгорание автомобиля, и в какой-то момент огонь затронул кровлю офисного здания.

Дежурная смена оперативно зафиксировала ситуацию и передала информацию ответственным службам. Вызвали пожарных, использовали имеющиеся средства пожаротушения.

При этом работа дата-центра и его технологической инфраструктуры не была затронута. Для нас этот случай дополнительно подтвердил, насколько важно учитывать не только внутренние риски, но и внешние факторы. По итогам усилили ряд превентивных мер - в том числе обновили камеры, датчики, освещение и другие элементы системы безопасности.

«Нужны 2–3 отказоустойчивые площадки в каждом городе»

— Какие приоритетные задачи сегодня стоят перед вами в части дальнейшего развития инфраструктуры? Насколько важна возможность миграции сервисов между площадками?

— В перспективе нескольких лет облачные сервисы будут востребованы больше, чем классическая продажа колокейшн. Поэтому необходимо заранее построить отказоустойчивую инфраструктуру: 2-3 площадки в каждом городе, между которыми можно будет мигрировать виртуальные машины и сервисы в случае нештатных ситуаций на одной из площадок.

У нас есть планы обеспечения восстановления и непрерывности деятельности компании. Ежегодно проводим масштабные учения с привлечением всех причастных сотрудников, а каждое подразделение регулярно проводит собственные тренировки исходя из возможных сценариев. Наша задача - заранее понимать, что произойдет, например, если один дата-центр выйдет из строя, и каким образом мы сможем быстро восстановить работоспособность сервисов.

Отдельно хочу отметить опыт блэкаута в Алматы в августе 2026 года. Мы этот период прошли штатно, без критического влияния на работу дата-центров и сервисов клиентов. Но такие ситуации дают очень важный практический опыт - причем не только внутри самого объекта, но и во внешней инфраструктуре. В этот раз мы столкнулись с ограничениями по доступности топлива для дизель-генераторных установок: приобрести его можно было только в определенное время, что создает риски даже при наличии резерва на территории дата-центра. Это показало, что даже при полностью готовой резервной энергетике необходимо заранее продумывать всю цепочку обеспечения - от наличия топлива до логистики его доставки.

Получается, чем дольше эксплуатируется дата-центр, тем больше неявных потенциальных точек отказа выявляем и тем лучше понимаем, что именно необходимо предусмотреть заранее.

— Как вы оцениваете дальнейшее развитие инженерной инфраструктуры? Насколько актуальными становятся жидкостное охлаждение и инфраструктура для высокоплотных нагрузок?

— Дальше будем смотреть на то, как развивается рынок и какие требования формируют наши облачные сервисы и клиенты. Предстоит понять, насколько большое количество площадей с жидкостным охлаждением действительно потребуется.

Сегодня в Казахстане уже используются и предлагаются серверы с графическими процессорами NVIDIA H100, B200 и B300. Такие конфигурации могут работать на воздушном охлаждении. При этом жидкостное охлаждение пока не стало массовой технологией для действующих ЦОД в Казахстане - рынок таких решений только формируется. Но когда мы говорим о нагрузках порядка 600 кВт на одну стойку, это уже совершенно другой класс. Такие системы требуют жидкостного охлаждения и другой инженерной системы - более мощного электроснабжения, системы отвода тепла и специального оборудования для распределения жидкости. Соответственно, это и другой уровень инвестиций.

Поэтому не считаю правильным строить такие решения «на опережение», пока мы не понимаем реального спроса. Наша задача - следить за развитием технологий и потребностями клиентов и развивать мощности именно под те нагрузки, которые нам действительно предстоит размещать.

«Поставку сетевого оборудования можно ждать до 1 года»

— Как изменения на мировом рынке и геополитическая ситуация влияют на закупку оборудования и развитие инфраструктуры?

— Возникают новые риски. Например, GPU-серверы за короткий период могли подорожать в несколько раз, а сроки поставок поначалу было невозможно спрогнозировать.

Видел коммерческие предложения на поставку сетевого оборудования со сроком ожидания порядка 365 дней. Представьте: вам необходимо развивать сеть, а поставщик говорит, что оборудование будет только через год в лучшем случае. Такая же ситуация возникала с системами хранения: были проблемы с приобретением дисков, затем менялась их стоимость. Аналогичные вопросы возникают по системам охлаждения и другому инженерному оборудованию.

Даже сейчас, пока мы с вами разговариваем, рынок меняется. Сегодня приходится искать новых поставщиков оборудования, которые не только смогут его поставить, но и будет поддерживать его в течение всего срока эксплуатации.

— С какими дополнительными сложностями приходится сталкиваться при закупке инженерного оборудования?

— Ряд международных вендоров инфраструктуры охлаждения ушли с российского рынка и их присутствие в Казахстане минимально. Если раньше Россия была для них большим рынком и там существовала соответствующая инженерная поддержка, то теперь приходится переориентироваться на других производителей, которые готовы обеспечивать в Казахстане необходимый уровень поддержки оборудования.

Такая же ситуация с дизель-генераторными установками. Во-первых, нужно ориентироваться на сроки поставки. Во-вторых, возникают вопросы с маршрутами транспортировки. Сталкивались с ситуациями, когда оборудование приходилось доставлять по достаточно сложным маршрутам.

Геополитика и сбои в логистике требуют от компаний гораздо точнее рассчитывать сроки и закупать критически важное оборудование заранее.

— Насколько сертификация влияет на сроки проектирования и строительства дата-центра? Какие этапы необходимо учитывать заранее?

— Требования Uptime Institute нужно учитывать уже на этапе проектирования. Сначала проводится сертификация проектной документации (Tier Certification of Design Documents, TCDD), которая занимает до шести месяцев, а после строительства - сертификация построенного объекта (Tier Certification of Constructed Facility, TCCF), которая длится до четырех месяцев. При этом в процессе могут выявляться несоответствия, которые необходимо устранить, и это тоже влияет на сроки. И возникает вполне практический вопрос: как построить дата-центр за год, если значительная часть этого времени может уйти на проектирование, закупку оборудования и сертификацию?

Поэтому стратегический подход, о котором я говорил выше - Build-to-Performance - полностью себя оправдывает и позволяет оптимально выстроить все процессы создания инфраструктурной площадки в оптимальные сроки: еще в начале проекта понимаем, какие нагрузки нам предстоит размещать, какой уровень надежности потребуется, и сразу закладываем это в проект, закупки и последующую сертификацию.

Помимо этого, этот подход позволяет избежать «ловушки времени», когда строительство уже началось, а какие-то решения приходится менять или согласовывать заново. Для нас важно не просто построить дата-центр быстрее, а с самого начала правильно спроектировать его под будущий спрос.