Anthropic призвала компании разработать механизм для приостановки развития искусственного интеллекта.

Американская компания Anthropic призывает разработчиков искусственного интеллекта договариваться заранее о механизмах замедления развития ИИ-систем, если их динамика будет опережать способность человечества осуществлять контроль.

В своем обращении Anthropic подчеркнула, что появление систем искусственного интеллекта, способных самостоятельно улучшать свои модели, может стать значительным технологическим прорывом. Однако существует риск утраты контроля над такими системами, что требует обсуждения возможности их координации для безопасности.

Компания считает необходимым определить условия и критерии для временной остановки разработок искусственного интеллекта, а также способы контроля и мониторинга их выполнения. Anthropic подчеркнула, что односторонние действия со стороны одного разработчика будут малоэффективными.

В подтверждение необходимости таких мер, компания привела пример своей модели Claude, которая самостоятельно написала более 80% кода базы компании в мае этого года. В планах Anthropic — проведение консультаций с участием политиков, ученых, общественных организаций и других разработчиков, где будут обсуждаться риски самосовершенствования искусственного интеллекта.

Anthropic, основанная бывшими исследователями OpenAI в 2021 году, уже сделала значительные шаги в развитии искусственного интеллекта. Среди их достижений — чатбот Claude и новое направление AI & Rule of Law. Компания также заявила о планах публичной доступности к моделям класса Mythos. При этом Anthropic находится под наблюдением Агентства национальной безопасности США, хотя Пентагон включил ее в список рискованных поставщиков.

Разработчики считают, что без согласованных действий в сфере регулирования и контроля над искусственным интеллектом, мир может столкнуться с непредсказуемыми последствиями, влияние которых потребует не только технологических, но и социальных адаптаций.