ИИ-алгоритм от Meta генерировал научную дезинформацию — его пришлось отключить

22.11.2022, 18:58
Источник: forklog
Скриншот galactica.org

Компания Meta удалила публичную версию ИИ-алгоритма Galactica после того, как ученые уличили его в генерировании фальшивой и вводящей в заблуждение информации.

В Meta описывали систему как языковую модель, которая может «хранить, комбинировать и рассуждать о научных знаниях». Система предназначалась для обобщения исследовательских работ, решения уравнений и выполнения ряда других задач.

Однако ученые и академики обнаружили, что ИИ-сводки генерировали «шокирующее количество дезинформации». Также модель связывала цитаты реальных авторов с исследовательскими работами, которых не существует.

Директор Института интеллектуальных систем Макса Планка Майкл Блэк:

Во всех случаях это было неправильно или предвзято, однако выглядело убедительно и авторитетно.

Ученый рассмотрел несколько примеров, когда Galactica генерировала ошибочные и вводящие в заблуждение научные тексты. В ряде случаев ИИ создавал работы, звучащие правдоподобно. Однако такие тексты не были подкреплены реальными научными исследованиями.

Другие ученые указали, что Galactica не выдает результатов по широкому кругу тем. Вероятно, это связано с системой фильтрации искусственного интеллекта по ключевым словам.

Исследователь компьютерных наук из Вашингтонского университета Уилли Эгнью отметил, что запросы вроде «квир-теория», «расизм» и «СПИД» не дали результатов.

На фоне критики в компании решили отключить систему:

«Мы ценим отзывы, которые получили от сообщества, и на данный момент приостановили демонстрацию. Наши модели доступны для исследователей, которые хотят узнать больше о работе и воспроизвести результаты в статье».

Ян Лекун, главный специалист по искусственному интеллекту Meta, неоднозначно высказался по поводу деактивации алгоритма.

Galactica временно отключен. Больше нельзя повеселиться, случайно злоупотребив им. Довольны?.

Блэк считает, что в текущей версии алгоритм может открыть эру глубоких научных фальсификаций:

Он [алгоритм] производит лженауку […]. Грамотно писать и заниматься наукой — не одно и то же. Однако отличить это будет трудно.

Новости