Как DeepSeek изменит мир? Спросили у эксперта по искусственному интеллекту
Digital Business продолжает изучать феномен китайской языковой модели R1, которую компания DeepSeek обучила меньше чем за $6 млн. Как за такую относительно небольшую сумму можно создать и обучить LLM? Станет ли DeepSeek популярнее OpenAI? Задали эти и другие вопросы основателю стартапа Black Ice AI и эксперту в области ИИ Элисару Нурмагамбету.
$6 млн на создание и обучение ИИ-модели. Это возможно?
Учитывая стоимость инженеров (до $1 млн в год) и вычислительных мощностей, казалось, что обучить модель за $6 млн нереально. Однако, по мнению нашего собеседника, есть вероятность, что китайские специалисты могли это сделать:
– Во-первых, китайские инженеры стоят гораздо дешевле. Во-вторых, у китайских компаний нет доступа к продуктам NVIDIA, например, чипам В100. Поэтому они научились обходиться без этих и других дорогостоящих технологий. Но здесь важно сделать поправку: один эксперимент действительно мог стоить $6 млн, но мы не знаем их количества. Может, их было 10. При этом, как отмечал CEO Antrophic Дарио Амадей, Deep Seek не сделал за $6 млн то, что американские компании делают за миллиарды. Anthropic Claude 3.5 Sonnet стоил несколько десятков млн долларов и достиг похожих показателей за 7-10 месяцев до Deep Seek, – отмечает Элисар.
DeepSeek может навредить?
Главное отличие DeepSeek от других моделей в том, как она натренирована. По словам эксперта, большинство LM используют process reward modeling – модель, при которой вознаграждается процесс, а каждый шаг к решению задачи проверяется с точки зрения этики и безопасности. Это облегчает alignment (выравнивание) модели, но значительно увеличивает вычислительные затраты. DeepSeek работает по-другому.
– DeepSeek самостоятельно приходит к какой-то мысли, обрабатывает ее, исправляет и получает результат. Далее применяется RLHF или Reinforcement Learning Human Feedback (метод машинного обучения, при котором большая языковая модель дообучается с помощью обратной связи от людей – прим. Digital Business) в конкретных доменах и получается R1. Другими словами, награждение здесь происходит за правильный результат, а не за мыслительный процесс, который к нему приводит. Модель сама решает, какие стратегии использовать, и может тратить больше времени на исправления и размышления над сложными задачами, – делится Нурмагамбет.
Фото: Катерина Малама
Однако при использовании такого метода есть определенные риски.
– Если модель награждается только за правильный итоговый ответ, то есть риск, что она будет поступать неэтично и небезопасно, лишь бы получить нужный результат. В теории это может привести к тому, что модель намеренно обманет или причинит вред, а затем скажет, что не делала этого.
Как DeepSeek повлияет на рынок ИИ?
По мнению Нурмагамбета, появление DeepSeek устанавливает высокие стандарты в мире языковых моделей:
– DeepSeek – почти open-source модель. Говорю «почти», так как они не опубликовали тренировочные данные. Однако DeepSeek установил бенчмарк. Теперь рынок будет ждать от западных LLM больше за меньшие деньги, а уровень Deep Seek станет минимальным бенчмарком, ведь каждый может скопировать то, что они сделали. Цены при этом станут ниже.
Элисар предполагает, что в скором времени мир увидит западный ответ на релиз DeepSeek. Китайские разработчики тоже не будут останавливаться на достигнутом и относительно быстро выпустят более продвинутую модель, чем R1.
– Rewards based modeling, который использует R1, – это еще один шаг к разработке искусственного общего интеллекта (AGI). Сейчас бенчмарк AGI – это не только умение доказывать существующие гипотезы, но и создавать новые. Многие эксперты предсказывают, что первый AGI появится в ближайшие 5 лет или даже быстрее.
Как это изменит мир?
Статистика показывает, что уже сейчас ИИ открывает все больше новых возможностей для роста.
– В одном из подкастов Y Сombinator рассказали, что в течение последних 10 лет только один стартап из потока рос со скоростью 10% в неделю. Сегодня, благодаря ИИ, 10% недельного роста — средний показатель почти для всех участников.
Появление мощных моделей типа R1 заставляет как экспертов сферы, так и обычных людей задуматься о том, каким будет наше будущее.
– Когда-то создатель Gmail поделил общество на две части: тех, кто выше или ниже так называемой «API line». Говоря проще, на тех, кто разрабатывает Uber и тех, кто работает там таксистом. Сегодня вместо «API line» у нас появилась «AI line» — черта, которая отделяет тех, кто умеет использовать искусственный интеллект, от тех, кто в этом не разбирается. С каждым днем у первых появляется все больше преимуществ. Однако при благоприятном сценарии даже те, кто окажется «ниже» AI line, смогут жить лучше, чем сегодня живут многие люди, считающие себя вполне обеспеченными. Ведь медицина, энергетика, сельское хозяйство и другие сферы будут меняться очень быстро, становясь эффективнее и доступнее, – завершает Нурмагамбет.
