Что нужно знать, прежде чем внедрять ML-решения для бизнеса: опыт Kolesa Group
Kolesa Group начали работать с ML-решениями в 2017 году – одними из первых в Казахстане. Одни продукты – например, автомодерация объявлений – помогли компании избежать увеличения штата в 5 раз. Другие, вроде автоматизированной оценки недвижимости, позволяют пользователям не гадать о цене и сэкономить время, которое прежде тратили на мониторинг похожих объявлений.
Как внедрялись ML-решения, что общего у machine learning и молотка, в каких случаях умная модель – это зло, и зачем сотрудники Kolesa Group раз в год на сутки закрываются в офисе? Об этом и многом другом Digital Business рассказал Chief Development Officer компании Николай Киндяков.
Как слишком умная ИИ-модель мешала продавать машины
— Kolesa Group начали использовать ИИ-решения еще 8 лет назад. Что стало первым продуктом и почему?
— Корректнее было бы назвать это ML-решениями, потому что ИИ – очень широкое понятие. Первым продуктом стала автомодерация объявлений. Во времена, когда «Колеса» и «Крыша» были газетами, объявления подавали по телефону. Газета выходила раз в неделю, поэтому приходилось ждать публикации.
Потом появились сайты и приложения. В 2017 году встал вопрос масштабирования — аудитория активно росла, и мы планировали запускать новый продукт. Но ручная проверка занимала много времени: пользователь ждал до 2 часов, пока модератор проверит объявление. С внедрением автомодерации это происходит за минуту. Она анализирует текст, стоп-слова, проверяет фото на наличие «запрещенки» – например, оружия в кадре. И если объявление соответствует правилам, оно появляется в приложении или на сайте без участия модераторов.
Старт проекта – в 2017 году, релиз – в октябре 2018-го. На обучение модели потратили около 9 месяцев.
На старте все решения нейросети перепроверяли модераторы. Теперь большая часть объявлений проходит через автомодерацию, а людьми проверяются в основном нестандартные объявления. Сейчас автомодерация на Krisha.kz и Kolesa.kz – это не одна модель, а целая система связанных между собой нейросетей. Одна из них отслеживает в объявлениях ссылки на сторонние мессенджеры и сайты. Основная цель – безопасность пользователей: за пределами платформы мы не сможем зафиксировать подозрительные действия и своевременно помочь. Чтобы нейросеть не смогла опознать стоп-слова, люди писали их прямо на фотографиях, – отработали и этот кейс.
— С какими неожиданными сложностями столкнулись при реализации проекта?
— Любую модель нужно постоянно дообучать – это «налог на технологию». Но можно и перестараться с улучшениями. Например, в 2019 году появилась модель для опознания человека в кадре. По правилам, людей не должно быть на фото. Как выяснилось, ML обучили слишком хорошо: она ловила отражения в кузове, зеркалах или силуэт человека вдалеке – и не допускала объявление к публикации. Пришлось опытным путем подобрать настройки модели так, чтобы она могла выполнить задачу.
В целом, машинное обучение помогло не только пользователям, но и бизнесу, позволив не расширять штат. Сегодня в отделе сервиса около 130 человек – если бы не machine learning, их было бы около 700 – это посчитал на досуге наш СЕО.
— По каким критериям оцениваете, для решения какой задачи лучше подойдет ИИ?
— Сегодня почти все продуктовые решения, в том числе связанные с ML, принимаем на основе данных. Изучаем поведение пользователей, формируем гипотезы для улучшения продукта и проверяем их экспериментами в реальном продукте. В Kolesa Group в целом развита data driven культура.
Так было не всегда. В 2017-2018 годах решения принимались в основном на уровне видения руководителей и операционной аналитики вроде Google Analytics или Яндекс.Метрики. Это давало общую картину, но не позволяло понимать поведение пользователей и делать точные выводы.
Кроме того, никогда не выбираем технологии ради технологий. ML – это инструмент, вроде молотка: можно забивать гвозди, а можно ударить по пальцу. Важно сохранять баланс между пользой для клиентов, скоростью внедрения и бизнес-ценностью.
Поэтому, когда оцениваем задачу, учитываем несколько факторов. Во-первых, экономическая целесообразность: иногда дешевле и быстрее нанять людей или воспользоваться коробочным решением, чем строить ML-инфраструктуру самостоятельно. Затем оцениваем аналитическую зрелость продукта – без сильной аналитики, метрик и логов никакая ML не взлетит. Третье – ресурсная устойчивость. Важно честно ответить: готовы ли мы поддерживать модель постоянно, пока существует продукт? И последнее – горизонт задачи: если что-то «горит», ML – плохой инструмент, советовал бы коробочное решение.
Ботинком, тряпкой, ребенком – номера закрывали, как могли
— Часто ли обращаетесь к коробочным решениям?
— Мы не фанатики «все сами!», а прагматики. Хороший пример – голосовые помощники в Krisha.kz и Kolesa.kz. Используем стороннее решение, а поверх выстраиваем свою диалоговую логику. Но при этом очень аккуратно относимся к данным: не все можно отдавать внешним сервисам из соображений безопасности.
Голосовых помощников начали использовать в 2020 году для самых разных задач: опросы пользователей, продление объявлений, проверка жалоб и не только. До их появления сотрудники call-центра совершали около 400 тысяч звонков в месяц. С роботом стали делать в среднем 700 тысяч звонков. Это позволило масштабироваться и разгрузить операторов для более интересных задач.
— Вернемся к критериям оценки задач. Как при таком подходе в числе ваших ML-решений появилось сокрытие госномеров при продаже машины на Kolesa.kz? Проблема кажется довольно мелкой.
— Тут все началось не со стратегии и расчетов, а с «давайте попробуем». Просто увидели проблему глазами пользователя и не стали игнорировать.
До момента появления функции в 2020 году люди закрывали номера, как могли. Кто-то замазывал в редакторе, кто-то вешал на номер носок, тряпку или лист А4. Были комичные случаи: владельцы авто, стоя на одной ноге, заслоняли номер собственным ботинком. А однажды поставили перед машиной ребенка.
Казалось, что техническое решение проблемы будет простым. Но мы ошиблись:
- вместо номера закрывался одометр на приборной панели, а ключи, брелки, наклейки и даже ручки дверей казались модели госномерами;
- логотип Kolesa.kz на фото жил своей жизнью, неожиданно изменяя пропорции.
При этом сам номер иногда не «замазывался». Почему? Потому что ML – это не кнопка «сделать красиво». Модель нельзя спросить: «Почему ты так решила?». Когда все пошло не так, единственный выход – переобучить заново, а это долго и дорого. Тем не менее, конкретно с этим проектом – тот случай, когда не жалко было было усилий. Боль пользователей сняли? Да. Лишних отклонений на модерации стало меньше? Да. Улучшилось качество подачи объявлений? Да. Значит, оно того стоило.
Когда хакатоны не только для «технарей»
— Поговорим о другом кейсе — автоматизации оценки недвижимости. Насколько решение удовлетворило пользователей?
— Это не фича ради фичи – до появления сервиса в 2021 году люди тратили кучу времени на ручную «аналитику»: открывали по 20 вкладок, сравнивали похожие объявления, пытались угадать цену. Сервис сделал процесс удобнее и вошел в топ-3 любимых фичей пользователей.
С технической стороны это был интересный проект, сделали его за 3 месяца. Главной целью было определить стоимость квартиры, исходя из цен на похожие объекты в тот же период времени. В итоге получили достаточно точную систему, которая реально помогает пользователям определить адекватную цену и быстрее продать недвижимость.
— Расскажите о создании рекомендательной системы на Krisha.kz и Kolesa.kz.
— Выдача объявлений долгое время была одинаковой для всех и не учитывала личные предпочтения. Впервые попробовали настроить персонализацию в 2019 году на Market.kz. ML-модель запоминала, что человек смотрит, на что кликает, что добавляет в избранное – и выдавала похожие объявления.
Первая версия рекомендательной системы провалилась — пользователи видели одни и те же объявления. В несколько итераций перестроили механику, переобучили модель, и продукт «поехал». Система стала предлагать подходящие объявления на основе предпочтений пользователя.
Этот сервис сейчас используем на Krisha.kz и Kolesa.kz.
— Были ли продукты, которые «не зашли» пользователям?
— Мы в Kolesa Group нормально относимся к неудачам. Главное не стесняться пробовать. Один из «не взлетевших» кейсов – в 2020 году делали автозаполнение параметров машины по фотографии в объявлении. Как это работало: загружаешь фото, а система сама определяет марку, поколение, объем двигателя. Как идея это выглядело эффектно, но на практике быстро стало понятно, что пользы от такой фичи мало. Параметры, которые мы могли с приемлемой точностью определить по фото, и так легко вносились. А для обучения более точной модели потребовались бы несоизмеримые затраты. Поэтому решили не заниматься очковтирательством и свернули эксперимент.
— Как в Kolesa Group происходит генерация идей?
— Очень часто они приходят от разработчиков, дизайнеров, аналитиков – от тех, кто каждый день руками «трогает» продукт и видит, где можно сделать лучше. Но хороший инженерный импульс нередко ломается о реальность: нет приоритета, нет ресурсов, нет «обоснования для бизнеса».
Чтобы не потерять мотивацию и не убить инициативу, в 2018 году внедрили внутренние хакатоны. Заранее выбираем время, отбираем идеи и на сутки закрываемся в офисе без телефонов и планерок, чтобы выдать живую версию продукта. Но главное даже не это! Мы научили ребят питчить идеи: обосновывать цифрами, считать ценность, объяснять пользу.
Первые ML-эксперименты – оттуда. Внедрение ChatGPT в сервис поддержки тоже пошло в разработку после хакатона. Кстати, они не только для «технарей» – ребята из маркетинга и продаж тоже участвуют, приходят с рабочими решениями, которые потом внедряем. Так что это уже часть культуры компании.
— Если вы даете людям возможность влиять на продукт, становится интересно, кто может попасть в ML-команду Kolesa Group и воспользоваться этой возможностью?
— У нас небольшая команда: руководитель, три ML-инженера и два ML Ops. В следующем году рассчитываем добавить еще одного ML-инженера – усиливаем защиту от мошенников и парсеров (программы, которые извлекают контент с сайта и используют его в мошеннических целях – прим. Digital Business).
Сознательно не раздуваем штат и не гонимся за хайпом вокруг ИИ. Нам важны не тренды, а инженеры, которые умеют решать задачи. Уверен, что технология сама по себе не живет, ее делают люди. И в приоритете всегда будет то, что дает ценность пользователю и продукту.