ИИ-алгоритм от Meta генерировал научную дезинформацию — его пришлось отключить
Компания Meta удалила публичную версию ИИ-алгоритма Galactica после того, как ученые уличили его в генерировании фальшивой и вводящей в заблуждение информации.
В Meta описывали систему как языковую модель, которая может «хранить, комбинировать и рассуждать о научных знаниях». Система предназначалась для обобщения исследовательских работ, решения уравнений и выполнения ряда других задач.
Однако ученые и академики обнаружили, что ИИ-сводки генерировали «шокирующее количество дезинформации». Также модель связывала цитаты реальных авторов с исследовательскими работами, которых не существует.
Директор Института интеллектуальных систем Макса Планка Майкл Блэк:
Ученый рассмотрел несколько примеров, когда Galactica генерировала ошибочные и вводящие в заблуждение научные тексты. В ряде случаев ИИ создавал работы, звучащие правдоподобно. Однако такие тексты не были подкреплены реальными научными исследованиями.
Другие ученые указали, что Galactica не выдает результатов по широкому кругу тем. Вероятно, это связано с системой фильтрации искусственного интеллекта по ключевым словам.
Исследователь компьютерных наук из Вашингтонского университета Уилли Эгнью отметил, что запросы вроде «квир-теория», «расизм» и «СПИД» не дали результатов.
На фоне критики в компании решили отключить систему:
Ян Лекун, главный специалист по искусственному интеллекту Meta, неоднозначно высказался по поводу деактивации алгоритма.
Блэк считает, что в текущей версии алгоритм может открыть эру глубоких научных фальсификаций:
