OpenAI описала, как будет бороться с «катастрофическими рисками» использования ИИ

Компания OpenAI опубликовала документ «Фреймворк готовности» (Preparedness Framework), в котором содержится набор процессов и инструментов для отслеживания и управления рисками, связанными с применением ИИ. Речь идет о «катастрофических рисках» — тех, что могут повлечь миллиарды долларов экономического ущерба или привести к смерти большого количества людей.

Фреймворк описывает, как OpenAI будет «отслеживать, оценивать, прогнозировать катастрофические риски, связанные с все более мощными ИИ-моделями», которые могут использоваться для кибератак, пропаганды или автономного оружия.

Компания использует «оценочные карточки», которые измеряют различные показатели потенциального вреда. Также создана Safety Advisory Group — группа советников по безопасности, которая будет отправлять регулярные отчеты руководству и совету директоров. В документе указано, что последнее слово остается за советом директоров OpenAI, который может отменять любые решения генерального директора, в том числе выпуск более мощных моделей ИИ, если они окажутся потенциально опасными для человечества.

OpenAI подчеркивает, что документ будет обновляться.