В мире ИИ в последние пару дней обсуждается сенсационное заявление китайской компании DeepSeek, которая обучила свою модель R1 за сумму, меньше $6 млн. Это стало настоящим потрясением для отрасли, учитывая, что обычно на создание и обучение мощных ИИ-моделей тратятся сотни миллионов долларов. Основатель стартапа Higgsfield AI и эксперт в области ИИ Ерзат Дулат рассказал в беседе c digitalbusiness.kz, что стоит за этим достижением и как оно может повлиять на будущее индустрии.
Как DeepSeek уложились в $6 млн?
Когда зашла речь о том, как DeepSeek удалось достичь такой экономии на обучении своей модели, Ерзат объяснил это двумя ключевыми факторами. DeepSeek использует модель open-source — это означает, что ее архитектура и методы обучения доступны всем.
—DeepSeek — это open-source модель, то есть все имеют доступ к ее архитектуре, и у них есть пейпер, где расписано, как они ее натренировали. То есть это полностью открытая разработка, — пояснил Ерзат.
В отличие от закрытых решений, таких как OpenAI, где точные параметры модели и методы обучения остаются в секрете, open-source модели позволяют множеству людей по всему миру работать с исходными данными и улучшать технологии.
— OpenAI работает по модели closed-source, то есть мы не знаем, не то что весов (параметры, которые алгоритм регулирует в процессе обучения, чтобы минимизировать ошибки и улучшить производительность — прим. Digital Business) модели ChatGPT, мы не знаем точно ее размеры, как они ее тренировали и так далее. И, как правило, в технологиях open-source всегда побеждает. К примеру, Linux против Microsoft. Linux победил, весь интернет работает на Linux, а Microsoft — это только корпоративный сектор, — отмечает Дулат.
Вторая причина успеха DeepSeek — это доступ к уже существующим исследованиям. Ерзат поясняет, что компания использовала результаты разработок, сделанных другими крупными игроками в open-source сфере.
— DeepSeek стоит на плечах других open-source гигантов. Например, Meta потратила сотни миллионов долларов на open-source research. LLaMa — это модель от Meta, где веса открыты, и есть пейпер, где расписано, как ее тренировали. После Meta большое количество китайских компаний также начали разрабатывать свои open-source модели, такие как Alibaba и Tencent, — рассказал наш собеседник.
Таким образом, DeepSeek использовал уже существующие знания и ресурсы, что позволило сэкономить время и деньги.
— DeepSeek на основе этих исследований, используя большое количество инноваций, которые уже были найдены в open-source, и добавив свои, смогли создать модель за 6 миллионов долларов, — поясняет Дулат.
Могла бы DeepSeek потратить больше?
Дулат уверен, утверждение о том, что DeepSeek потратил только 6 миллионов долларов — упрощенная версия. Он напомнил, что обучение нейронной сети — это не только дорогостоящие эксперименты, но и зачастую многократные попытки.
— Тренировка нейронной сети — дорогие эксперименты, и большинство из них неудачные. Они зарепортили, что один эксперимент, который стал DeepSeek R1, стоил 6 миллионов долларов. Но на самом деле они могли потратить на эксперименты гораздо больше, например, 60 миллионов долларов. Это научные эксперименты, которые ставятся много раз, и лишь один из них может быть успешным, — пояснил он.
Влияние хедж-фонда и доступ к вычислительным мощностям
Значительный вклад в успех компании внесла ее структура как хедж-фонда, который активно использует вычислительные мощности для других целей.
— DeepSeek — это хедж-фонд, у которого очень много своих GPU(Graphics Processing Unit). Они используются для трейдинга, и каждый день генерируют новые предсказания для рынка. Такие хедж-фонды, как DeepSeek, имеют гораздо больше GPU, чем крупные компании вроде Meta, — рассказал Ерзат.
— DeepSeek — это хедж-фонд, у которого очень много своих GPU(Graphics Processing Unit). Они используются для трейдинга, и каждый день генерируют новые предсказания для рынка. Аналогичные фонды как DeepSeek, такие как XTX , имели больше GPU, чем Meta до AI-хайпа, — рассказал Ерзат.
Этот факт становится особенно важным, учитывая, что DeepSeek использует свои ресурсы, а не арендует их, что позволяет сэкономить значительные средства.
— DeepSeek не может говорить про NVIDIA GPU, потому что есть таможенные ограничения, но 99% вероятности, что они использовали именно NVIDIA H100 GPU, — добавил он.
Почему OpenAI тратит сотни миллионов?
Дулат подчеркивает, что для создания ChatGPT OpenAI потратил огромные суммы не столько на одну модель, сколько на множество экспериментов.
— OpenAI вложила сотни миллионов долларов не на один ChatGPT, а на сотни экспериментов, каждый из которых стоил десятки миллионов долларов. Это сотни миллионов на десятки экспериментов, чтобы в итоге получить успешный результат, который стал ChatGPT. Тренировка нейронных сетей — научные эксперименты, которые, как и любые эксперименты, не всегда дают успешный результат с первого раза, — добавил Дулат.
Это повлияет на будущее ИИ и рынок?
Несмотря на успешное создание модели DeepSeek R1, Ерзат считает, что ChatGPT пока остается лидером благодаря массовому применению.
— Для более продвинутых разработчиков и компаний, которые могут поднять модель на локальном уровне, R1 от DeepSeek может стать серьезной угрозой. Но ChatGPT имеет массовое распространение, и он стал незаменимым инструментом для обычных пользователей. Например, бабушки и дедушки уже пользуются ChatGPT, — отметил Ерзат.
Тем не менее, модель DeepSeek будет влиять на рынок и постепенно снижать стоимость услуг.
— На данный момент подписка на ChatGPT Pro стоит 200 долларов в месяц, что весьма дорого. Но с развитием технологий и появлениям более доступных моделей, таких как DeepSeek, можно ожидать, что цены сильно упадут, — предсказывает он.
RL-модели и будущее ИИ
Особое внимание Ерзат уделяет развитию парадигмы Reinforcement Learning (RL) — ключевого подхода для ИИ будущего. Он поясняет, что DeepSeek стал одним из первых, кто внедрил RL в open-source.
— RL — новая парадигма обучения нейронных сетей, которая требует огромных вычислительных мощностей и экспертизы. И здесь DeepSeek стал одним из первых, кто продемонстрировал успешное применение RL в open-source. В RL нейронка не просто обучается на готовых данных, а генерирует собственные данные, которые затем оцениваются и за лучшие данные ей даются награды. Это позволяет нейросети самоулучшаться, как человек, который учится на собственных ошибках, — объяснил он.
Дулат добавляет, что с развитием RL мы увидим значительные прорывы в ИИ.
— Этот подход откроет новые горизонты в развитии ИИ. В частности, он будет способствовать созданию систем, которые могут улучшать сами себя, что является важным шагом на пути к созданию искусственного общего интеллекта (AGI), — заключил собеседник.
Самообучение и автономные агенты
Технологии RL откроют новые возможности для создания автономных агентов, считает Дулат.
— С помощью RL можно обучать нейронную сеть, чтобы она становилась более любопытной, точной в математических рассуждениях, а также могла бы искать ошибки в собственных гипотезах и совершенствоваться. Это называется self-play, — подчеркнул наш собеседник.
Этот подход позволит создавать агентов, которые будут выполнять задачи с высокой вероятностью успеха.
— С помощью RL можно будет создать автономных агентов, которые способны выполнять реальные задачи, такие как бронирование билетов или создание сайтов. Эти агенты будут намного более эффективными и надежными, чем те, что существуют сегодня. Это, безусловно, важный сдвиг, потому что многие методы, которые мы, ученые, разработали для RL, до сих пор не были полноценно использованы для тренировки больших языковых моделей (LLM). Причина в том, что те, кто финансирует разработки в области ИИ, часто не имеют глубоких знаний в этой сфере, что приводило к недофинансированию RL в прошлом. Но теперь ситуация меняется. С развитием технологий и увеличением финансирования для RL, мы увидим значительные шаги в направлении более продвинутых ИИ-систем, что приблизит нас к созданию искусственного общего интеллекта (AGI), — говорит Дулат.
RL позволяет нейронной сети развивать любопытство. Это как в случае с ребенком, который интересуется окружающим миром и хочет исследовать все вокруг. В случае ИИ нейронная сеть может получать награду за то, что она становится более любопытной, исследует более сложные идеи или решает задачи более математически точно.
— Self-play — когда ИИ сам с собой взаимодействует, находит контур-аргументы и продолжает совершенствоваться на основе того, что сам же и генерирует. Такой подход позволит значительно улучшить качество и способности нейросетей, ведь в этом процессе сеть не просто повторяет известные данные, а развивается, учится на опыте и продолжает работать над собой. Именно поэтому для будущего ИИ крайне важно, чтобы на развитие RL выделялось больше средств. Это станет основой для прорывных технологий, таких как автономные агенты, которые смогут выполнять задачи, требующие принятия решений в реальном времени, — говорит Дулат.
Эволюция агентов и их будущее
На фоне этих изменений стоит еще один важный момент — концепция агентов. Агентами называют ИИ-системы, которые могут взаимодействовать с внешним миром и выполнять задачи, такие как бронирование билетов, создание приложений или обработка заказов. Однако до сих пор такие агенты, построенные на основе LLM, не показывали должной эффективности. На самом деле они часто не выполняли поставленные задачи должным образом. Эти ИИ-системы скорее служили фоном для хайпа, чем реально выполняли полезную работу.
— Да, процесс обучения таких агентов займет время. Это потребует месяц дополнительных тренировок, но конечный результат — полноценные автономные ИИ-системы, которые смогут работать самостоятельно, без постоянного контроля. Это может стать значительным шагом в развитии ИИ, так как такие агенты смогут выполнять задачи, которые сегодня кажутся слишком сложными или трудоемкими для машин, — пояснил наш собеседник.
Влияние на фондовый рынок
С точки зрения финансов, внедрение таких технологий может изменить картину на рынке. Однако стоит отметить, что большинство крупных компаний, работающих в сфере ИИ, пока являются частными. Они поднимают средства в рамках венчурных фондов, что делает их менее доступными для розничных инвесторов. Для последних выбор инвестиционных инструментов в области ИИ на публичном рынке довольно ограничен. В частности, когда обычные инвесторы хотят вложиться в AI, они, как правило, ориентируются на такие компании, как Nvidia, Google и Meta.
Nvidia и ее роль на рынке
Интересно, что Nvidia, как лидер рынка графических процессоров, может оказаться в похожей ситуации, как и Cisco в период .com-бум.
— В те времена все верили в интернет и активно инвестировали в инфраструктурные компании, такие как Cisco, полагая, что они будут в центре революции. Однако в какой-то момент ожидания не оправдались, и несмотря на рост бизнеса Cisco ее акции так и не восстановились, потому что рынок оказался перегретым. С Nvidia ситуация может развиваться по схожему сценарию. Она уже занимает доминирующую позицию на рынке GPU, что делает ее монополистом. Но всегда существует риск, что с течением времени рынок может изменить свои предпочтения, и более высокие уровни абстракции будут приносить больше прибыли, чем инфраструктурные компании. Хотя Nvidia пока выглядит как лидер, не стоит забывать, что на рынках может случиться коррекция, и прогнозы на будущее всегда подвержены изменениям. В любом случае, как бы ни развивался рынок, очевидно, что роль Nvidia в AI-системах остается критически важной, и ее позиции на данный момент укрепляются. Все это лишь подчеркивает, как важно внимательно следить за развитием технологий и их влиянием на финансовые рынки, — заключил Ерзат Дулат.
В тему:
Кремниевая долина восхищается DeepSeek. Вот что нужно знать о самом серьезом конкуренте ChatGPT
Бывший CEO Intel заявил, что отказался от OpenAI в пользу DeepSeek. И вот почему