Parameter Golf: конкурс показал, как агенты ИИ ускоряют эксперименты и усложняют верификацию

Во время восьнедельного конкурса Parameter Golf более 1 000 участников сделали свыше 2 000 отправок, соревнуясь в минимизации held-out loss на датасете FineWeb при жёстких ограничениях артефакта и времени обучения;

Parameter Golf завершился за восемь недель и показал, как быстро меняется практика прикладных экспериментов по машинному обучению: более 1 000 участников прислали свыше 2 000 решений, соперничая в строго ограничённой задаче, что дало наглядную картину влияния автоматизации на темп исследований. Это важно, потому что конкурс не только измерял качество моделей, но и проверял, как ограничения на артефакты и ресурсы влияют на инженерные подходы и воспроизводимость. Участники должны были минимизировать held-out loss на датасете FineWeb при жёстком лимите артефакта в 16 МБ, который включал как веса моделей, так и код. На обучение отводился бюджет в 10 минут на конфигурацию 8×H100; организаторы предоставили стартовый репозиторий и скрипты для оценки, чтобы упростить запуск и унифицировать проверку работ.

Технические решения команд отличались: применялись тонкая настройка оптимизаторов, квантизация, разработка новых архитектур и приём test‑time training. Эти подходы позволяли вписаться в ограничение по размеру артефакта и одновременно улучшать метрику на валидационной выборке, демонстрируя, как инженерные трюки компенсируют жёсткие ресурсные рамки. Одним из заметных эффектов конкурса стало массовое использование агентов ИИ для автоматизации части экспериментов — от перебора гиперпараметров до подготовки кода и упаковки артефактов. По итогам это снизило стоимость и время отдельных экспериментов и позволило большему числу команд участвовать активно и быстро внедрять итерации. Однако массовая автоматизация привела к новым проблемам верификации: быстрее растёт число отправок и вариаций, но сложнее установить, как именно были получены результаты, какие изменения внесли агенты, и кто отвечает за конкретные шаги эксперимента. Это усложняет атрибуцию и затрудняет воспроизведение отдельных достижений под одинаковыми условиями.