Лаборатория Itô Labs заявила о том, что обучила языковую модель Theia с нуля: по словам создателей, они придумали собственную архитектуру, собрали словарь и не брали за основу чужие модели. Theia, сообщили в компании, уже встроена в создаваемую платформу Opkit и отвечает там на запросы пользователей: создает задачи, составляет договоры, готовит отчеты.
Что известно о Theia
Как объясняют в компании, Itô Labs позиционирует себя как Deep Technology Company, а Theia — семейство моделей Itô Labs для бизнеса, названное в честь греческой богини света. Первая модель, Eos, уточнили в компании, компактная и сделана для рабочих задач внутри Opkit. В ней 1,22 млрд параметров, обучена она на 70 млрд токенов очищенных данных на казахском, русском и английском, а также на коде и математике, объясняют создатели.
«Мы выбрали обучение с нуля по трем причинам. Во-первых, это юридическая независимость: модель и ее веса на 100% принадлежат Itô Labs, а для B2B и госсектора это критично. Во-вторых, мировые модели разбивают казахское слово на 4–5 частей и сервер замедляется. Наш токенизатор сжимает казахский до 1,6 токена на слово, а встроить его в готовую модель нельзя. В-третьих, обучение с нуля позволило внедрить собственную архитектуру Clocked HRM с тактируемым модулем памяти», — комментирует ML engineer Itô Labs Иса Ержигит
«Сила не в размере, а в том, что вся технология своя»
В Itô Labs говорят, что не стали дообучать готовую западную или китайскую модель: архитектуру, словарь и обучение команда сделала сама. Theia компактная, и ее сила не в размере, а в том, что вся технология своя, заявляют разработчики.
— Сначала инженеры провели более 15 научных экспериментов и разработали собственную гибридную архитектуру Clocked HRM, где быстрая часть модели исполняет задачи, а отдельный модуль памяти держит долгосрочный контекст. Поначалу нейросеть «ленилась» и обходила модуль памяти, тогда инженеры ограничили ей ближнее внимание, и без этого модуля ошибок становилось вдвое больше. Затем ее обучали на 70 млрд токенов, включая математику и деловые сценарии. Для этого понадобились большие вычислительные мощности и месяцы непрерывных тестов: серверы работали круглосуточно.
Модель, которая понимает по-казахски
В Itô Labs отмечают, что Theia работает на трех языках: казахском, русском и английском. На одно казахское слово у Theia Eos уходит 1,6 токена, почти как на русское (1,59), а у зарубежных моделей от 3,4 до 4,9. Это в 2-3 раза меньше: ответы быстрее и дешевле, а в один запрос помещается в 2-3 раза больше казахского текста.
«Казахский сложен для языковых моделей: качественных датасетов на нем мало, а сложные суффиксы трудно токенизировать. Поэтому мы сделали собственный токенизатор», — говорит главный ML engineer Itô Labs Иса Ержигит.
Что она делает на практике
Модель превращает обычную фразу в действие, поясняют в Itô Labs. В чате можно написать «создай задачу подготовить КП к пятнице» или «покажи, что сделано по проекту за две недели»: она создаст задачи, встречи, отчеты и черновики коммерческих предложений. Если данных не хватает, задаст один уточняющий вопрос, а если нужного действия нет, прямо об этом скажет.
Что с безопасностью
«В Opkit.kz лежат клиентские базы, кадровые документы с ЭЦП и переписка. Отвечают на запросы сотрудников собственная Theia и открытые модели. Задачи, проекты и данные сотрудников и кандидатов не уходят в чужие облака и не используются для обучения чужих моделей. Между человеком и моделью стоит защитный слой: он проверяет права (ассистент видит только то, что разрешено роли), ничего не меняет без подтверждения и не выполняет команды, спрятанные в документах. Личные данные в журналах скрыты, а модель видит метки вместо настоящих данных. Если для общей задачи выбрана внешняя модель, а в вопросе есть данные компании, он остается внутри», — рассказывает Нурдана Бакытжан.
Перед запуском модель прогнали на 48 000 рабочих сценариев (создание задач, кадровые перестановки, выгрузка отчетов). Нужное действие она выбрала в 91–95% случаев, в остальных задала уточняющий вопрос. Изменить базу без клика «Подтверждаю» она не может.
CRM, почта, файлы и ИИ в одной подписке
Малому бизнесу обычно приходится держать CRM, почту, файлы и ИИ в разных сервисах. Opkit собирает все это в одной подписке. Для команд до 15 человек тариф бесплатный: 50 ГБ файлов, 15 корпоративных ящиков и 100 000 ИИ-токенов в месяц, чтобы попробовать платформу в работе.
В компании рассказывают, что помощник Opi пишет договоры и коммерческие предложения, показывает застрявшие сделки, составляет вакансии и проводит первичное интервью с кандидатами. Регистрация занимает минуту, а настройка компании голосом или текстом — 60–90 секунд.
Запись в закрытое бета-тестирование открыта с 20 по 27 ноября, сам тест пройдет с 28 ноября по 28 декабря. Релиз Opkit запланирован на 8 января 2027 года. Регистрация на закрытое бета-тестирование — на сайте opkit.kz.
Theia — лишь фундамент. Вокруг нее Itô Labs строит целую экосистему
«От фундаментальных моделей искусственного интеллекта до автономной робототехники, от интеллектуальных помощников до квантовых вычислений — мы стремимся расширять границы того, что технологии могут дать человечеству», — говорит Нурдана Бакытжан.
- Delphi — ИИ-помощник для найма и кадров: разбор откликов и подготовка к собеседованию вместо часов занимают минуты.
- Hopper — платформа для визуальных проектов архитекторов и дизайнеров
- Athena — голосовая станция для офиса на Theia. Она не просто слушает, а отвечает эмоционально, как живой собеседник, узнает сотрудника по NFC-стикеру и расшифровывает встречи. Первая версия будет без экрана, с микрофонами и динамиком.
- Apollo — линейка роботов, главная цель которой — полноразмерный автономный гуманоид. Первый шаг — мини-гуманоид Apollo v0: 80 см роста, 16 кг и 22 сустава.
Как это работает в Circle
Внешние пользователи скоро смогут протестировать продукт, но агентство Circle Creative Buro из Алматы, где работает больше 65 человек, уже работает в Opkit.kz ежедневно.
«Opkit мы создавали как внутренний инструмент: хаос в задачах, почте и файлах был нашей собственной болью. Поэтому платформу сначала сделали для себя, и работа команды перешла на другой уровень. Мы видим задачи каждого сотрудника, его загрузку и вклад в результат. Благодаря этому у нас появились четкие KPI, а решения мы принимаем на фактах, а не на ощущениях. Заранее замечаем, где горят сроки, и быстрее доводим проекты до клиента. Теперь доработали платформу и выводим ее на рынок», — рассказывает главный маркетолог Circle Алина Жумашева.
Что дальше
У Itô Labs в планах на 2027 год более тяжелые модели Theia Selene и Theia Helio, которые смогут видеть графики, чертежи и фотографии.
Технические подробности создания Theia Itô Labs опубликовала в статье на своем сайте (в качестве подтверждения компания также передала в редакцию внутреннюю Техническую документацию (Паспорт модели Theia Eos 1.0) с описанием архитектуры, словаря, стадий обучения и лицензий). Получить доступ к платформе и ИИ-модели можно здесь.