Amazon Bedrock запустил Advanced Prompt Optimization для автоматической оптимизации и миграции подсказок

Amazon Bedrock представил Advanced Prompt Optimization — инструмент в консоли, который автоматически переписывает, сравнивает и оптимизирует подсказки для моделей, чтобы упростить миграцию на новые модели и повысить качество откликов. Это важно для команд, которые тестируют разные модели одновременно и хотят быстро выявлять регрессии или улучшать неработающие сценарии. Сервис принимает в качестве входных данных шаблон подсказки, примеры пользовательских вводов с переменными и эталонные ответы, а также выбранную метрику оценки, которую будет использовать оптимизатор в цикле итераций. Поддерживаются мультимодальные переменные: в шаблон можно подставлять PNG, JPG и PDF, что делает инструмент применимым к задачам анализа изображений и документов.

Запуск в консоли начинается с кнопки Create prompt optimization на странице Advanced Prompt Optimization. В задаче можно выбрать до пяти моделей вывода (inference models), указав текущую модель как базовую и до четырёх дополнительных для сравнения. Шаблоны и примеры загружаются в формате JSONL-каждый JSON‑объект должен быть на отдельной строке. Формат JSONL требует обязательного поля version со значением "bedrock — 2026-05-14", а также templateId, promptTemplate и набор evaluationSamples с inputVariables. Для мультимодальных переменных предусмотрен блок inputVariablesMultimodal, где указывается тип (PDF или IMAGE) и s3Uri с путём к файлу в Amazon S3. Результаты оптимизации можно сохранять в указанных S3‑путах.

Оценка качества подсказок возможна тремя способами: через пользовательскую AWS Lambda с собственной логикой оценки (например, accuracy, F1, execution accuracy или структурное совпадение JSON), через LLM‑as‑a‑Judge с пользовательской рубрикой, или через краткое текстовое описание правил (steeringCriteria). Оптимизатор работает как метрически управляемый петлевой процесс: он переписывает подсказки, измеряет целевую метрику и продолжает итерации до улучшения показателя. На выходе инструмент предоставляет исходные и финальные шаблоны с оценочными баллами, а также отчёты по стоимости и задержке исполнения, что помогает сравнить качество откликов и экономику при миграции моделей. Возможность одновременно тестировать до пяти моделей и автоматически проверять отсутствие регрессий делает Advanced Prompt Optimization полезным для команд, переходящих на новые модели или целенаправленно улучшающих проблемные сценарии.