Дроны, золото и искусственный интеллект. Как стартап SmartView Innovations завоевывает добывающую промышленность

Полтора года назад несколько студентов второго курса Робототехнической инженерии Назарбаев Университета устали от исследовательской работы и объединились для решения прикладной задачи от золотодобывающей компании. Сегодня их стартап SmartView Innovations помогает с оптимизацией процессов добычи золота и других металлов. У ребят уже есть несколько контрактов на внедрение новых технологий в предприятия отрасли и экспертиза, позволяющая запускать проекты для промышленности с нуля.

О технических решениях, истории создания продукта и амбициях стартапа Digital Business поговорил с фаундером и CTO SmartView Innovations Шахназаром Жумабековым.

Как студенты оказались в золотодобыче

– Шахназар, давайте начнем с того, как вы нащупали специфическую боль в достаточно узкой отрасли добычи золота?

– У нас была компания друзей-студентов, которые чуть-чуть устали от исследований и захотели чего-то прикладного. Мы не планировали идти работать на фулл-тайм и пробовали себя в небольших кейсах в ритейле, видеоаналитике, строительстве.

Когда я был на втором курсе, золотодобывающая компания Brendt организовала в нашем университете конкурс на решение проблемы с диагностикой распылителей для выщелачивания золота. При этом методе золотая руда укладывается десятиметровым слоем на поля 200 на 80 метров и орошается цианидом. Воблеры (распылители цианида) часто ломаются, и в этом случае золото не извлекается.

А у нас как раз уже был подобный кейс – делали для одной строительной компании систему мониторинга промышленной безопасности с помощью дрона. Для нас это был легкий проект, а тут задача более интересная. Решили, что попробуем поучаствовать в конкурсе.

Наша команда предложила взять видеопоток дрона и наложить 3-4 модели компьютерного зрения – это решение победило.

Мы сами, конечно, не золотодобытчики – обычные ребята, которые хотели сделать что-то свое. Нам повезло, что проблема была сформулирована на уровне запроса от потенциального клиента.

– Как эта проблема выглядит на практике золотодобывающего предприятия?

– Компании нужно отслеживать работоспособность каждого воблера. Суть проблемы сводится к нескольким моментам:

1. Нужно, чтобы все поля с рудой были орошены цианидом. Хотя воблеры дешевые и просты в ремонте/замене, отследить их поломки сложно. Из-за этого часть руды не дает золота;
2. Проверкой воблеров занимались 2-3 рабочих, которые каждый день обходили 9 полей, расположенных на немалом расстоянии друг от друга. Это занимает много времени, а рабочие могут пропустить часть площади;
3. Менеджерам невозможно контролировать рабочих — и это порождает фактор недоверия между звеньями производства;
4. Техника безопасности. В сезон добычи стоит жара, что толкает работников выйти в рудные поля с цианидом без экипировки.

Как дроны и AI решают проблему металлургов

– Мы уже кратко рассказывали о вашем технологическом решении, но хотелось бы узнать подробнее – из каких компонентов оно состоит и как реализуется на практике?

– Наше решение с технической стороны – огромный AI pipeline для обработки видео, синхронизации видеоряда с GPS-логами и геометрическими проекциями, а также веб-сайт, разработанный для практического удобства металлургов.

С организационной стороны – это мост коммуникации между менеджментом и рабочей группой.

На практике все работает следующим образом:

1. Дрон снимает видео, синхронизированное с GPS-логами;
2. Главный металлург выгружает к себе в ноутбук видео и SRT-файл, который отвечает за GPS-логи;
3. Эти файлы добавляются на наш сайт и обрабатываются;
4. Металлург получает карту со всеми воблерами и их статусами работоспособности.

– Что из себя представляет AI pipeline?

– В видеопотоке есть модель компьютерного зрения, которая находит конкретный распылитель и извлекает его тайм-стрим. Так Computer vision «кропит» все эти воблеры в отдельные маленькие видео по 2-4 секунды.

Дальше каждое видео попадет в модель, которая определяет статус воблера — работает он или нет.

И третья модель – это алгоритм обработки метаданных с дрона. Она позволяет летать произвольно и правильно локализовать воблеры.

Три типа данных совмещается — и мы получаем карту с зелеными и красными точками. Рабочий знает, куда конкретно идти и какой воблер чинить.

– Сайт вы разрабатывали сами?

– Да, ведь это не просто карта полей. Он отображает графики поломок, есть и shorter, и longer аналитика, а также счетчик, когда нужно следующий дрон запускать. Это дает определенные производственные инсайты: например, если часто ломаются воблеры в левом верхнем углу карты, значит, есть вероятность, что там у всей магистрали проблема с давлением.

Идея была в том, чтобы помимо тяжелого AI pipeline уметь делать красивые дашборды, которые любит менеджмент в корпорациях.

Паводки и бюрократия. Проблемы разработки проекта с AI

– Как развивался ваш продукт, какие были главные сложности?

— После победы на университетском конкурсе Brendt, нам выделили первый файдинг (в данном контексте – этап финансирования разработки — прим. Digital Business). Мы начали с исследовательской подготовки, изучили около 10 научных работ по теме, но дальше начались сложности.

1. Отсутствие готовых датасетов для AI. С точки зрения машинного обучения это очень сложная интегрированная задача, готовых датасетов вообще не было. Первые дни ходили по футбольным полям в Астане и фоткали с телефона, как крутятся оросители, чтобы примерно понять, как может работать AI с такими данными.
2. Проблема с финансированием. Из-за организационных проблем с документами получили недостаточно денег, хотя заказчик был готов выделить сразу в 5 раз больше. Из-за этого пришлось взять дешевый дрон для испытаний. Это была просто катастрофа… Один раз дрон полетел в руду и чуть не разбился, в другой раз ветер почти поломал ему лопасти. GPS-логи каждые 10 минут слетали. Был момент, когда в команде начались споры о том, что проект невозможно сделать. За первый полугодичный раунд разработки мы сделали только proof of concept. Золотодобытчики же ожидали финальный продукт, поэтому понадобилась встреча с акционерами  заказчика. Мы доказали, что проблема возникла не из-за нас, проект реализуем и нужен второй раунд фандинга.На этом моменте подключился один из амбассадоров Индустрии 4.0 в Казахстане. Мы тогда как раз уже успешно поучаствовали с проектом в их Industry 4.0 Startup Battle. Они помогли оперативно и правильно оформить вторую стадию финансирования НИОКР и мы успешно закончили проект.
3. Логистика и сезонность. Работа осложнялись тем, что месторождения находятся в Северном Казахстане. Это далекий регион с непростым климатом.

Для сбора датасета нужно было летать в дальние командировки. В какой-то момент пришлось их остановить, потому что на объекте уже все замело снегом. На 4-5 месяцев работу частично парализовало – делали backend, frontend и прочее, но именно начинка, Machine Learning, у нас застряла.

А в прошлом июне, когда все было готово к внедрению, на объекте начались паводки. Из-за всех этих проблем зашли туда уже как интегрированные решения только в этом июне.

– Сколько занял весь цикл разработки и первого внедрения?

— Полтора года. Полгода на первичную разработку, потом первые пробные запуски, осенью подбили результаты, доработали и в начале этого лета полностью сдали проект. С этого момента главный металлург мог полноценно пользоваться решением, акционеры были довольны, финансовые директоры смогли отчитаться за вложенные деньги.

Как определяли KPI своего первого проекта

– Как  определяли целевые показатели своего решения?

— Над KPI проекта  стали задумываться в момент, когда поняли, что он из студенческой задачи превращается в полноценный продукт. Для себя выбрали несколько главных показателей: время, точность распознавания, точность классификации модели и расположения.

В контакте с Brendt мы высчитали: рабочий по полю бегает два часа, значит мы должны сократить инспекцию одного поля до 20 минут. Из этого вывели, что полет дрона должен быть 7 минут.

Первый дешевый дрон летел 15-20 минут. Замена на новый аппарат и разработка геометрической проекции сократили полет до 4 минуты 50 секунд – это уже было круто! Мы прямо как в Формуле-1 сидели и замеряли время с секундомером.

– Какие были положительные факторы в этом проекте?

— Я думаю, в первую очередь все хорошо получилось, потому что изначальный костяк команды – это друзья, которые уже хорошо знали друг друга. Одногруппники, бывшие одноклассники, знакомые с хакатонов. Это сыграло большую роль, потому что заказ был нетривиальным с большим количеством сложностей: и в организационных вопросах, и в технических, и в финансовых. Было бы очень тяжело «хендлить» с новыми людьми.

Сейчас у нас уже 8 человек, распределенных по разным проектам. Постепенно расширяемся и уже даже приглашаем профессоров нашего университета.

– Получается, университет занимает большое место в этой истории?

— Да, и благодаря ему наш подход очень «research-based». В Назарбаев Университете мы имеем доступ к материалам конференций по компьютерному зрению, статьям в IEEE и других журналах, а также есть помощь профессоров. После успешного проекта с воблерами нам вообще дали карт-бланш на использование лаборатории, лидаров, камер, стереокамер и остального оборудования.

Сколько стоит продукт и что он даст клиенту

– Сколько сейчас стоит внедрение вашего решения?

— Цена формируется в зависимости от нескольких факторов, но, например, в последнем КП, которое мы выслали, было 1,4 млн тенге в месяц. На итоговую сумму влияют количество распылителей, полей у заказчика и содержания золота в руде.

Срок контракта зависит от сезонности работы заказчика. Если это компания с сезоном 6-7 месяцев в год, то окей, заключаем контракт на эти 6-7 месяцев. Если это компания на юге Казахстана, у которой круглогодичный сезон добычи, то на год.

– Как интегрируется ваш продукт в процессы компаний-недропользователей?

— Во-первых, заказчик отдельно покупает дрон на свое усмотрение из линейки, которую мы даем. Во-вторых, на объекте должен быть нормальный интернет, потому что видео с месторождения отправляется на Yandex Cloud. Если клиент захочет сохранять данные только у себя, то установим ПО локально. Если все ок, то создаются учетные записи и клиент может заходить на наш сайт и начинать работать.

Обучение пользованию софтом происходит по Google Meet и, по нашему опыту, занимает не более получаса.

Таким образом, если подготовительная работа в виде покупки дронов и проверки интернета сделана, то через час после заключения контракта можно уже начинать работу.

– Какие KPI вы сейчас гарантируете заказчику?

— Первый показатель — точность распознавания не менее 98%. По этим воблерам будет точный статус работоспособности. Если все же 2% система не распознает, то у пользователя все равно будет их точная геопозиция. Второй показатель – время на получение информации с 9 полей – 20 минут.

Как разовый проект превращается в бизнес

– Сколько у вас клиентов?

— Полностью интегрировали решение в производство TOO Brendt. Теперь работаем с ними как партнеры и делимся 30% прибыли. Следующие планы по интеграции с Central Asia Mining Co из Шымкента, а также ведем переговоры с Lancaster Group. Были большие надежды на RG GOLD, но у них стала заканчиваться оксидная руда, которая подвергается выщелачиванию, и интеграция отменилась.

– А как идет поиск новых клиентов?

— Прежде всего при поддержке наших партнеров из Brendt. У них есть и своя заинтересованность, и бизнес-связи в отрасли. Также ездим в промышленные туры и на форумы, которые организовывает один из амбассадоров Индустрии 4.0 в Казахстане. Это тоже возможность пообщаться с недропользователями, понять, какие тенденции в отрасли, и в то же время рассказать о себе.

Но в целом у нас сложился такой план по маркетингу – нужно сделать критическую массу проектов и эти референсы приведут новых клиентов. Мы бы очень хотели поработать с гигантами отрасли, например, с SolidCore Resources, Казцинк и Kaz Minerals.

Перспективы развития – новые технологические вызовы и расширение географии

– Вы упоминали, что сейчас команда SmartView распределена на несколько проектов и нацелена на новые разработки. Расскажете подробнее?

— Проблема с распылителями хотя и актуальна, но ее решение не ведет к непосредственному увеличению добычи. И она касается только одного метода добычи золота и только первичной, оксидной руды. Соответственно, для нас экономическая ценность этого проекта ограничена.

Так как мы погружены в отрасль, то знаем, какие боли есть у недропользователей и других промышленников. Можем использовать наши знания, алгоритмы, исследования и опыт для создания индивидуальных решений, которые могут увеличить извлечение золота. Даже если на 1,5-2% – это огромные деньги.

Сейчас портфолио таких сайд-проектов расширяется. Среди них:

1. Проект с анализом гран-состава руды на конвейере для Алтыналмас и Brendt. Это оптимизирует затраты электроэнергии и помогает контролировать подрядчиков, которые взрывают руду. Ждем подтверждения на выделение денег на пилот. Под этот проект команда пополнилась инженерами-электронщиками и инженерами-механиками;
2. Благодаря истории с дронами мы выиграли еще несколько контрактов на кейс-чемпионате Eurasian Resources Group. Здесь у нас есть огромный проект для KazChrome, нацеленный на контроль отлива металла по формам. Сейчас из-за этой проблемы есть большие потери продукции;
3. Совместный проект со стартапом Parqour – автоматическое управление шлагбаумами для поездов через компьютерное зрение;
4. Есть запрос на адаптацию технологии с дроном и новые AI-проекты для других предприятий ERG – Алюминия Казахстана и Соколовско-Сарбайского Горно-Обогатительного Предприятия;
5. Благодаря рекомендации Brendt ведем переговоры о проекте по цифровизации и внедрению AI для Костанайских Минералов.

– А решение с дронами планируется дальше монетизировать, расширять продажи?

— Да, сейчас нам нужно «добить» кейсы с 2-3 предприятиями в Казахстане и дальше идти в другие золотодобывающие страны. В России есть 3-4 компании, которые могут стать новыми клиентами.

AI pipeline и мобильная платформа, которые мы построили, применимы и в других областях, например, в разрывных работах. Сейчас там человек вручную смотрит, где заложен динамит. Но это же совсем не дело – лучше облететь дроном. Хотим также доработать аналогичное решение для выщелачивания меди с использованием термокамер.

В то же время я не могу команду поделить на две части, а у нас большие параллельные заказы в работе. Об этом сейчас много думаем, но уверен, найдем выход.

Главное, что наш проект доказал, что в Казахстане реально поднимать с нуля очень тяжелые AI-решения для промышленности. Эта история была для нас испытанием огнем и погружением в золотодобывающую индустрию. С этим опытом  можем развиваться и в новых отраслях, и в новых регионах.

Комментарий

Министр цифрового развития, инноваций и аэрокосмической промышленности РК Жаслан Мадиев:

— Искусственный интеллект активно внедряется в различных отраслях экономики, и горнодобывающая промышленность — яркий тому пример. Компании, такие как SmartView Innovations, успешно внедряют передовые цифровые решения, включая дроны и алгоритмы компьютерного зрения для мониторинга ключевых процессов, таких как контроль работы распылителей цианида. Эти технологии значительно повышают эффективность и безопасность производства, сокращая затраты и минимизируя риски для сотрудников. Министерство цифрового развития активно поддерживает такие инициативы, способствуя их широкому распространению и развитию цифровизации в стране. SmartView Innovations уже зарекомендовала себя как лидер в этой сфере, и впереди у компании множество новых достижений.