OpenAI ввела WebSocket‑режим в Responses API-до 40% сокращения задержек в агентных сценариях

7 мая 2026 года OpenAI запустила в Responses API режим исполнения через WebSocket, который устанавливает долговременное двунаправленное соединение между клиентом и сервером вместо серии отдельных HTTP‑запросов. Это сокращает сетевые круговые задержки и уменьшает накладные расходы на установку соединений в многошаговых агентных рабочих процессах, где каждый шаг — вызов инструмента, промежуточное рассуждение или последующий запрос — ранее требовал отдельного раунда обмена данными.

Технически режим обеспечивает потоковую передачу ответов и поддержку состояния между взаимодействиями, что ускоряет отработку вызовов инструментов и упростило оркестрацию сложных сценариев. OpenAI рекомендует «разогревать» соединение отправкой системного промпта и определений инструментов; инженер Gabriel Chua отмечает, что это совместимо с политикой нулевого хранения данных (Zero Data Retention). Потоковая выдача частичных результатов важна для инкрементальной генерации кода и интерактивного рассуждения.

Ранние производственные метрики, приведённые OpenAI, показывают до 40% сокращения задержек и устойчивый пропускной поток примерно 1 000 транзакций в секунду с пиковыми всплесками до 4 000 TPS. Компания подчёркивает, что эффект связан не с изменением моделей, а с оптимизациями на транспортном уровне: по мере ускорения инференса сетевые RTT стали доминирующим узким местом в агентных системах, и постоянные соединения помогают этот узел разгрузить.

Переход к WebSocket уже внедряют платформы и инструменты для разработки: Vercel сообщила о снижении задержек до 40%, Cline зафиксировала улучшение на 39% в задачах с несколькими файлами, а Cursor — до 30%. Эти результаты подтверждают, что уменьшение накладных расходов на установку соединений и возможность отправлять частичные результаты дают заметный выигрыш в сценариях с множественными инструментами и большим числом раундов обмена.

Практическая интеграция обычно предполагает замену серии HTTP‑вызовов одной сессией WebSocket, что уменьшает сложность оркестрации и число «холодных стартов» в мультиинструментальных цепочках. Ofek Shaked заявил, что stateful‑подход с WebSocket устраняет «холодные старты», а Kevin Cho отметил возвращение к проверенным проблемам стека — stateful‑соединениям и WebSocket‑решениям. Разработчикам одновременно придётся решать новые проектные задачи: управление жизненным циклом соединений, обработка обратного давления при высокой конкуренции и обеспечение надёжности в распределённых системах. Релиз вышел в альфа‑версии после двухмесячного цикла для отобранных партнёров; по данным OpenAI, Codex уже перевёл большую часть трафика Responses API на WebSocket‑режим. Запуск подчёркивает, что оптимизации транспортного уровня могут существенно улучшать реальную производительность AI‑систем наряду с прогрессом в моделях.