OpenAI представила нові голосові ШІ-моделі для живого мовлення, перекладу та транскрипції

OpenAI представила нові аудіомоделі для голосових ШІ-сервісів у реальному часі

OpenAI оголосила про запуск трьох нових аудіомоделей для API, які дозволяють реалізувати голосові ШІ-сервіси з функціями реального часу, такими як переклад, транскрипція та підтримка складних діалогів.

Перша з нових моделей, GPT-Realtime-2, пропонує покращений рівень діалогу, здатний підтримувати довші та складніші розмови. Модель може одночасно використовувати кілька інструментів, реагувати на зміни контексту і працювати з спеціалізованою термінологією. Додатково, розробники можуть налаштовувати рівень міркування моделі від мінімального до високого. У тестах Big Bench Audio та Audio MultiChallenge GPT-Realtime-2 показала покращені результати порівняно з попередньою версією.

Друга модель, GPT-Realtime-Translate, призначена для миттєвого голосового перекладу. Вона підтримує понад 70 мов введення та 13 мов виведення і вже проходить тестування у міжнародних дзвінках та у сфері клієнтської підтримки, зокрема в компанії Deutsche Telekom та стартапі BolnaAI.

Третя модель, GPT-Realtime-Whisper, розроблена для реального часу транскрипції мовлення, що робить її ідеальною для субтитрування, запису нотаток під час дзвінків та автоматизації роботи голосових агентів.

Усі три моделі вже доступні для використання через Realtime API. Вартість послуг з використання моделей варіюється: GPT-Realtime-2 коштує 32 долара за мільйон аудіотокенів на вході та 64 долари на виході; GPT-Realtime-Translate — 0,034 долара за хвилину, а GPT-Realtime-Whisper — 0,017 долара за хвилину.

Цей крок є важливим у розвитку голосової інтеракції в ШІ-технологіях, що може значно полегшити міжнародні комунікації та автоматизувати багато бізнес-процесів. Експерти прогнозують, що нові моделі OpenAI можуть стати значним кроком вперед у галузі обробки природної мови.