Агент для оптимизации SQL‑запросов поднял точность с 0.54 до 0.86 после 23 автономных экспериментов

Команда Database Monitoring (DBM) запустила 23 автономных эксперимента с помощью Karpathy autoresearch и увеличила точность рекомендующего агента по оптимизации SQL‑запросов с P=0.54 до P=0.86 «за ночь». LLM Observability Experiments фиксировали гипотезы, результаты и сбои, что позволило сохранить контекст итераций и быстро оценить, какие изменения действительно улучшают рекомендации — это важно для внедрения агента в продуктивные системы мониторинга и оптимизации.

Базовый эвристический движок DBM реализован на Go и объединяет несколько источников сигналов: разбор дерева SQL, реальные explain‑планы, метаданные схемы и runtime‑метрики. Движок покрывает шесть семейств паттернов: обнаружение отсутствующих индексов с анализом plan‑flip, расширение SELECT *, ORDER BY без LIMIT, OFFSET без ORDER BY, idle‑in‑transaction, а также множество правил переписывания SQL. На тестовой выборке сам эвристический слой достигает точности P=0.903, что делает его надёжной основой для дальнейшей автоматизации.

Идея команды заключалась в добавлении агентного слоя поверх эвристик, чтобы ловить шаблоны, трудноформализуемые одиночными правилами и требующие кросс‑сигнального рассуждения. В качестве практических примеров названы: последовательное сканирование по индексному столбцу, указывающее на устаревшую статистику (решение — ANALYZE); наличие покрытия индексом при фактическом скане — сигнал о проблемах с visibility map (требуется VACUUM); и дорогостоящая агрегация, выполняемая десятки тысяч раз, где выгодно использовать материализованное представление. Эти случаи тяжело выразить простыми эвристиками, но агент может объединять разные признаки и выносить полезные рекомендации.

Переход от P=0.54 к P=0.86 прошёл в три измеримые фазы: сначала оптимизировали промпты и цепочки инструментов, затем подбирали размер модели для оптимального соотношения цена‑производительность, и наконец разделили вызов LLM на две отдельные проходки, что устранило последнее ограничение по качеству. Каждая фаза запускалась и оценивалась автономно в инфраструктуре экспериментов; autoresearch обеспечил параллельное сравнение вариантов, а LLM Observability сохранял, какие промпты тестировали, какие метрики получали и где происходили ошибки.

Практическое следствие для разработчиков мониторинга и оптимизации — комбинация точного эвристического движка и агентного слоя даёт комплементарный подход: эвристики продолжают давать высокую точность на явно формализуемых паттернах, а агент выявляет перекрёстные и семантически сложные случаи. Наличие инфраструктуры экспериментов обеспечивает воспроизводимость, управляемость по стоимости и пригодность итераций к внедрению в продукт, ускоряя принятие решений о trade‑offs и объёмах затрат на модели.