Дроны, золото и искусственный интеллект. Как стартап SmartView Innovations завоевывает добывающую промышленность
Полтора года назад несколько студентов второго курса Робототехнической инженерии Назарбаев Университета устали от исследовательской работы и объединились для решения прикладной задачи от золотодобывающей компании. Сегодня их стартап SmartView Innovations помогает с оптимизацией процессов добычи золота и других металлов. У ребят уже есть несколько контрактов на внедрение новых технологий в предприятия отрасли и экспертиза, позволяющая запускать проекты для промышленности с нуля.
О технических решениях, истории создания продукта и амбициях стартапа Digital Business поговорил с фаундером и CTO SmartView Innovations Шахназаром Жумабековым.
Как студенты оказались в золотодобыче
– Шахназар, давайте начнем с того, как вы нащупали специфическую боль в достаточно узкой отрасли добычи золота?
– У нас была компания друзей-студентов, которые чуть-чуть устали от исследований и захотели чего-то прикладного. Мы не планировали идти работать на фулл-тайм и пробовали себя в небольших кейсах в ритейле, видеоаналитике, строительстве.
Когда я был на втором курсе, золотодобывающая компания Brendt организовала в нашем университете конкурс на решение проблемы с диагностикой распылителей для выщелачивания золота. При этом методе золотая руда укладывается десятиметровым слоем на поля 200 на 80 метров и орошается цианидом. Воблеры (распылители цианида) часто ломаются, и в этом случае золото не извлекается.
CTO SmartView Innovations Шахназар Жумабеков
А у нас как раз уже был подобный кейс – делали для одной строительной компании систему мониторинга промышленной безопасности с помощью дрона. Для нас это был легкий проект, а тут задача более интересная. Решили, что попробуем поучаствовать в конкурсе.
Наша команда предложила взять видеопоток дрона и наложить 3-4 модели компьютерного зрения – это решение победило.
Мы сами, конечно, не золотодобытчики – обычные ребята, которые хотели сделать что-то свое. Нам повезло, что проблема была сформулирована на уровне запроса от потенциального клиента.
– Как эта проблема выглядит на практике золотодобывающего предприятия?
– Компании нужно отслеживать работоспособность каждого воблера. Суть проблемы сводится к нескольким моментам:
- Нужно, чтобы все поля с рудой были орошены цианидом. Хотя воблеры дешевые и просты в ремонте/замене, отследить их поломки сложно. Из-за этого часть руды не дает золота;
- Проверкой воблеров занимались 2-3 рабочих, которые каждый день обходили 9 полей, расположенных на немалом расстоянии друг от друга. Это занимает много времени, а рабочие могут пропустить часть площади;
- Менеджерам невозможно контролировать рабочих — и это порождает фактор недоверия между звеньями производства;
- Техника безопасности. В сезон добычи стоит жара, что толкает работников выйти в рудные поля с цианидом без экипировки.
Как дроны и AI решают проблему металлургов
– Мы уже кратко рассказывали о вашем технологическом решении, но хотелось бы узнать подробнее – из каких компонентов оно состоит и как реализуется на практике?
– Наше решение с технической стороны – огромный AI pipeline для обработки видео, синхронизации видеоряда с GPS-логами и геометрическими проекциями, а также веб-сайт, разработанный для практического удобства металлургов.
С организационной стороны – это мост коммуникации между менеджментом и рабочей группой.
На практике все работает следующим образом:
- Дрон снимает видео, синхронизированное с GPS-логами;
- Главный металлург выгружает к себе в ноутбук видео и SRT-файл, который отвечает за GPS-логи;
- Эти файлы добавляются на наш сайт и обрабатываются;
- Металлург получает карту со всеми воблерами и их статусами работоспособности.
– Что из себя представляет AI pipeline?
– В видеопотоке есть модель компьютерного зрения, которая находит конкретный распылитель и извлекает его тайм-стрим. Так Computer vision «кропит» все эти воблеры в отдельные маленькие видео по 2-4 секунды.
Дальше каждое видео попадет в модель, которая определяет статус воблера — работает он или нет.
И третья модель – это алгоритм обработки метаданных с дрона. Она позволяет летать произвольно и правильно локализовать воблеры.
Три типа данных совмещается — и мы получаем карту с зелеными и красными точками. Рабочий знает, куда конкретно идти и какой воблер чинить.
– Сайт вы разрабатывали сами?
– Да, ведь это не просто карта полей. Он отображает графики поломок, есть и shorter, и longer аналитика, а также счетчик, когда нужно следующий дрон запускать. Это дает определенные производственные инсайты: например, если часто ломаются воблеры в левом верхнем углу карты, значит, есть вероятность, что там у всей магистрали проблема с давлением.
Идея была в том, чтобы помимо тяжелого AI pipeline уметь делать красивые дашборды, которые любит менеджмент в корпорациях.
Паводки и бюрократия. Проблемы разработки проекта с AI
– Как развивался ваш продукт, какие были главные сложности?
— После победы на университетском конкурсе Brendt, нам выделили первый файдинг (в данном контексте – этап финансирования разработки — прим. Digital Business). Мы начали с исследовательской подготовки, изучили около 10 научных работ по теме, но дальше начались сложности.
- Отсутствие готовых датасетов для AI. С точки зрения машинного обучения это очень сложная интегрированная задача, готовых датасетов вообще не было. Первые дни ходили по футбольным полям в Астане и фоткали с телефона, как крутятся оросители, чтобы примерно понять, как может работать AI с такими данными.
- Проблема с финансированием. Из-за организационных проблем с документами получили недостаточно денег, хотя заказчик был готов выделить сразу в 5 раз больше. Из-за этого пришлось взять дешевый дрон для испытаний. Это была просто катастрофа… Один раз дрон полетел в руду и чуть не разбился, в другой раз ветер почти поломал ему лопасти. GPS-логи каждые 10 минут слетали. Был момент, когда в команде начались споры о том, что проект невозможно сделать. За первый полугодичный раунд разработки мы сделали только proof of concept. Золотодобытчики же ожидали финальный продукт, поэтому понадобилась встреча с акционерами заказчика. Мы доказали, что проблема возникла не из-за нас, проект реализуем и нужен второй раунд фандинга.На этом моменте подключился один из амбассадоров Индустрии 4.0 в Казахстане. Мы тогда как раз уже успешно поучаствовали с проектом в их Industry 4.0 Startup Battle. Они помогли оперативно и правильно оформить вторую стадию финансирования НИОКР и мы успешно закончили проект.
- Логистика и сезонность. Работа осложнялись тем, что месторождения находятся в Северном Казахстане. Это далекий регион с непростым климатом.
Для сбора датасета нужно было летать в дальние командировки. В какой-то момент пришлось их остановить, потому что на объекте уже все замело снегом. На 4-5 месяцев работу частично парализовало – делали backend, frontend и прочее, но именно начинка, Machine Learning, у нас застряла.
А в прошлом июне, когда все было готово к внедрению, на объекте начались паводки. Из-за всех этих проблем зашли туда уже как интегрированные решения только в этом июне.
– Сколько занял весь цикл разработки и первого внедрения?
— Полтора года. Полгода на первичную разработку, потом первые пробные запуски, осенью подбили результаты, доработали и в начале этого лета полностью сдали проект. С этого момента главный металлург мог полноценно пользоваться решением, акционеры были довольны, финансовые директоры смогли отчитаться за вложенные деньги.
Как определяли KPI своего первого проекта
– Как определяли целевые показатели своего решения?
— Над KPI проекта стали задумываться в момент, когда поняли, что он из студенческой задачи превращается в полноценный продукт. Для себя выбрали несколько главных показателей: время, точность распознавания, точность классификации модели и расположения.
В контакте с Brendt мы высчитали: рабочий по полю бегает два часа, значит мы должны сократить инспекцию одного поля до 20 минут. Из этого вывели, что полет дрона должен быть 7 минут.
Первый дешевый дрон летел 15-20 минут. Замена на новый аппарат и разработка геометрической проекции сократили полет до 4 минуты 50 секунд – это уже было круто! Мы прямо как в Формуле-1 сидели и замеряли время с секундомером.
– Какие были положительные факторы в этом проекте?
— Я думаю, в первую очередь все хорошо получилось, потому что изначальный костяк команды – это друзья, которые уже хорошо знали друг друга. Одногруппники, бывшие одноклассники, знакомые с хакатонов. Это сыграло большую роль, потому что заказ был нетривиальным с большим количеством сложностей: и в организационных вопросах, и в технических, и в финансовых. Было бы очень тяжело «хендлить» с новыми людьми.
Сейчас у нас уже 8 человек, распределенных по разным проектам. Постепенно расширяемся и уже даже приглашаем профессоров нашего университета.
– Получается, университет занимает большое место в этой истории?
— Да, и благодаря ему наш подход очень «research-based». В Назарбаев Университете мы имеем доступ к материалам конференций по компьютерному зрению, статьям в IEEE и других журналах, а также есть помощь профессоров. После успешного проекта с воблерами нам вообще дали карт-бланш на использование лаборатории, лидаров, камер, стереокамер и остального оборудования.
Сколько стоит продукт и что он даст клиенту
– Сколько сейчас стоит внедрение вашего решения?
— Цена формируется в зависимости от нескольких факторов, но, например, в последнем КП, которое мы выслали, было 1,4 млн тенге в месяц. На итоговую сумму влияют количество распылителей, полей у заказчика и содержания золота в руде.
Срок контракта зависит от сезонности работы заказчика. Если это компания с сезоном 6-7 месяцев в год, то окей, заключаем контракт на эти 6-7 месяцев. Если это компания на юге Казахстана, у которой круглогодичный сезон добычи, то на год.
– Как интегрируется ваш продукт в процессы компаний-недропользователей?
— Во-первых, заказчик отдельно покупает дрон на свое усмотрение из линейки, которую мы даем. Во-вторых, на объекте должен быть нормальный интернет, потому что видео с месторождения отправляется на Yandex Cloud. Если клиент захочет сохранять данные только у себя, то установим ПО локально. Если все ок, то создаются учетные записи и клиент может заходить на наш сайт и начинать работать.
Обучение пользованию софтом происходит по Google Meet и, по нашему опыту, занимает не более получаса.
Таким образом, если подготовительная работа в виде покупки дронов и проверки интернета сделана, то через час после заключения контракта можно уже начинать работу.
– Какие KPI вы сейчас гарантируете заказчику?
— Первый показатель — точность распознавания не менее 98%. По этим воблерам будет точный статус работоспособности. Если все же 2% система не распознает, то у пользователя все равно будет их точная геопозиция. Второй показатель – время на получение информации с 9 полей – 20 минут.
Как разовый проект превращается в бизнес
– Сколько у вас клиентов?
— Полностью интегрировали решение в производство TOO Brendt. Теперь работаем с ними как партнеры и делимся 30% прибыли. Следующие планы по интеграции с Central Asia Mining Co из Шымкента, а также ведем переговоры с Lancaster Group. Были большие надежды на RG GOLD, но у них стала заканчиваться оксидная руда, которая подвергается выщелачиванию, и интеграция отменилась.
– А как идет поиск новых клиентов?
— Прежде всего при поддержке наших партнеров из Brendt. У них есть и своя заинтересованность, и бизнес-связи в отрасли. Также ездим в промышленные туры и на форумы, которые организовывает один из амбассадоров Индустрии 4.0 в Казахстане. Это тоже возможность пообщаться с недропользователями, понять, какие тенденции в отрасли, и в то же время рассказать о себе.
Но в целом у нас сложился такой план по маркетингу – нужно сделать критическую массу проектов и эти референсы приведут новых клиентов. Мы бы очень хотели поработать с гигантами отрасли, например, с SolidCore Resources, Казцинк и Kaz Minerals.
Перспективы развития – новые технологические вызовы и расширение географии
– Вы упоминали, что сейчас команда SmartView распределена на несколько проектов и нацелена на новые разработки. Расскажете подробнее?
— Проблема с распылителями хотя и актуальна, но ее решение не ведет к непосредственному увеличению добычи. И она касается только одного метода добычи золота и только первичной, оксидной руды. Соответственно, для нас экономическая ценность этого проекта ограничена.
Так как мы погружены в отрасль, то знаем, какие боли есть у недропользователей и других промышленников. Можем использовать наши знания, алгоритмы, исследования и опыт для создания индивидуальных решений, которые могут увеличить извлечение золота. Даже если на 1,5-2% – это огромные деньги.
Сейчас портфолио таких сайд-проектов расширяется. Среди них:
- Проект с анализом гран-состава руды на конвейере для Алтыналмас и Brendt. Это оптимизирует затраты электроэнергии и помогает контролировать подрядчиков, которые взрывают руду. Ждем подтверждения на выделение денег на пилот. Под этот проект команда пополнилась инженерами-электронщиками и инженерами-механиками;
- Благодаря истории с дронами мы выиграли еще несколько контрактов на кейс-чемпионате Eurasian Resources Group. Здесь у нас есть огромный проект для KazChrome, нацеленный на контроль отлива металла по формам. Сейчас из-за этой проблемы есть большие потери продукции;
- Совместный проект со стартапом Parqour – автоматическое управление шлагбаумами для поездов через компьютерное зрение;
- Есть запрос на адаптацию технологии с дроном и новые AI-проекты для других предприятий ERG – Алюминия Казахстана и Соколовско-Сарбайского Горно-Обогатительного Предприятия;
- Благодаря рекомендации Brendt ведем переговоры о проекте по цифровизации и внедрению AI для Костанайских Минералов.
– А решение с дронами планируется дальше монетизировать, расширять продажи?
— Да, сейчас нам нужно «добить» кейсы с 2-3 предприятиями в Казахстане и дальше идти в другие золотодобывающие страны. В России есть 3-4 компании, которые могут стать новыми клиентами.
AI pipeline и мобильная платформа, которые мы построили, применимы и в других областях, например, в разрывных работах. Сейчас там человек вручную смотрит, где заложен динамит. Но это же совсем не дело – лучше облететь дроном. Хотим также доработать аналогичное решение для выщелачивания меди с использованием термокамер.
В то же время я не могу команду поделить на две части, а у нас большие параллельные заказы в работе. Об этом сейчас много думаем, но уверен, найдем выход.
Главное, что наш проект доказал, что в Казахстане реально поднимать с нуля очень тяжелые AI-решения для промышленности. Эта история была для нас испытанием огнем и погружением в золотодобывающую индустрию. С этим опытом можем развиваться и в новых отраслях, и в новых регионах.
Комментарий
Министр цифрового развития, инноваций и аэрокосмической промышленности РК Жаслан Мадиев:
— Искусственный интеллект активно внедряется в различных отраслях экономики, и горнодобывающая промышленность — яркий тому пример. Компании, такие как SmartView Innovations, успешно внедряют передовые цифровые решения, включая дроны и алгоритмы компьютерного зрения для мониторинга ключевых процессов, таких как контроль работы распылителей цианида. Эти технологии значительно повышают эффективность и безопасность производства, сокращая затраты и минимизируя риски для сотрудников. Министерство цифрового развития активно поддерживает такие инициативы, способствуя их широкому распространению и развитию цифровизации в стране. SmartView Innovations уже зарекомендовала себя как лидер в этой сфере, и впереди у компании множество новых достижений.
