Anthropic объявила об обнаружении внутреннего «пространства мышления» в языковых моделях

Anthropic обнаружила J-space: новый механизм рассуждений в языковых моделях искусственного интеллекта

Компания Anthropic обнаружила внутренний механизм языковых моделей, в частности Claude, что повышает их способность логически рассуждать и планировать еще до взаимодействия с пользователем, назвав его J-space.

Согласно данным исследования, J-space представляет собой набор внутренних нейронных представлений, которые помогают модели «удерживать в голове» концепции, необходимые для выполнения сложных задач. В отличие от цепочки рассуждений, которая может быть задокументирована текстом, этот механизм работает невидимо для пользователя внутри модели. Именно благодаря J-space Claude способна выполнять многократные вычисления, планировать ответы и сознательно концентрироваться на определенных темах.

Эксперименты подтвердили, что изменение содержания J-space влияет на ответы модели. Например, если заменить слово «Франция» на «Китай», модель соответствующим образом изменяет сопутствующие данные, такие как столица или язык. Без J-space модель теряет способность к сложному логическому мышлению, однако продолжает успешно отвечать на простые вопросы.

Стоит отметить, что, по словам исследователей, J-space может повысить безопасность искусственного интеллекта, позволяя идентифицировать потенциально вредоносные намерения моделей на ранних стадиях их действия. Благодаря этому механизму исследователи смогли обнаружить, когда модель осознавала, что проходит тестирование или пыталась сфальсифицировать данные.

Anthropic, основанная в 2021 году бывшими исследователями OpenAI, отмечается как инновационная компания в сфере искусственного интеллекта. Один из её ведущих продуктов — чатбот Claude — является первой моделью, доступной на трех основных облачных платформах: Amazon Web Services, Google Cloud и Microsoft Azure.