Исследование Anthropic поднимает важный вопрос о влиянии конфигурации инфраструктуры на результаты оценки

Компания Anthropic, занимающаяся безопасностью и исследованием ИИ, провела исследование, в ходе которого выяснила, что конфигурация инфраструктуры может существенно влиять на оценки в агентном кодировании. При тестировании на бенчмарке Terminal — Bench 2.0 было установлено, что различия в ресурсах изменяют результаты на несколько процентов, иногда превышая разрыв между моделями — лидерами.

Агентное кодирование и такие популярные бенчмарки, как SWE-bench и Terminal — Bench, становятся всё более актуальными, так как используются для оценки программных инженерных возможностей ИИ. Исследования Anthropic показывают, что на результаты влияют не только способности модели, но и параметры инфраструктуры.

Эксперименты также показали, что различия в конфигурации могут изменять успех выполнения заданий. Например, разница в условиях работы, такие как доступные ресурсы, повлияла на общую успешность задач, достигая разницы в 6 процентных пунктов между наименее и максимально ресурсными настройками на Terminal — Bench 2.0.

Различия в оценках между конфигурациями поднимают вопрос о справедливости и точности использования этих бенчмарков для измерения способностей моделей. Результаты подчеркнули, что строгие ограничения на ресурсы могут не только снижать надежность, но и искажать эффективность оценки, поощряя более «эффективные», но менее универсальные стратегии.

При более щадящих условиях модели могли использовать сложные и ресурсоемкие подходы. Это демонстрирует, как доступность ресурсов влияет на результаты, открывая возможность пересмотра методов оценки с учётом новых данных и недоразумений о реальных способностях ИИ.

Работа Anthropic подчеркивает необходимость пересмотра подходов к оценке ИИ с учетом инфраструктурных условий. Это важно для разработки, поскольку позволяет более корректно интерпретировать результаты и принимать обоснованные решения о развертывании ИИ-систем.

Таким образом, понимание влияния инфраструктурного шума и его количественное измерение помогут развивать более надежные ИИ-системы, а также создавать более точные и справедливые бенчмарки для их оценки. Чем тщательнее будет проанализировано это влияние, тем лучше мы сможем адаптировать технику моделирования к реальным условиям.