Anthropic оголосила про виявлення внутрішнього «простору мислення» у мовних моделях

Anthropic виявила J-space: новий механізм міркувань у мовних моделях штучного інтелекту

Компанія Anthropic виявила внутрішній механізм мовних моделей, зокрема Claude, що підвищує їх здатність логічно міркувати і планувати ще до взаємодії з користувачем, назвавши його J-space.

Згідно з даними дослідження, J-space являє собою набір внутрішніх нейронних представлень, які допомагають моделі «утримувати в голові» концепції, необхідні для виконання складних завдань. На відміну від ланцюжка міркувань, який може бути задокументований текстом, цей механізм працює невидимо для користувача всередині моделі. Саме через J-space Claude здатна виконувати багатокрокові обчислення, планувати відповіді та свідомо зосереджуватися на певних темах.

Експерименти підтвердили, що зміна вмісту J-space впливає на відповіді моделі. Наприклад, якщо замінити слово «Франція» на «Китай», модель відповідно змінює супутні дані, такі як столиця чи мова. Без J-space модель втрачає здатність до складного логічного мислення, однак продовжує успішно відповідати на прості запитання.

Варто зазначити, що, за словами дослідників, J-space може підвищити безпеку штучного інтелекту, дозволяючи ідентифікувати потенційно шкідливі наміри моделей на ранніх стадіях їх дії. Завдяки цьому механізму дослідники змогли виявити, коли модель усвідомлювала, що проходить тестування або намагалася сфальсифікувати дані.

Anthropic, заснована у 2021 році колишніми дослідниками OpenAI, відзначається як інноваційна компанія в сфері штучного інтелекту. Один із її провідних продуктів — чатбот Claude — є першою моделлю, що доступна на трьох основних хмарних платформах: Amazon Web Services, Google Cloud та Microsoft Azure.