Джастин Рук на QCon AI представил методику измерения реального эффекта ИИ в инженерии

На конференции QCon AI Джастин Рук, заместитель технического директора компании DX, представил 51‑минутный доклад «Leadership in AI‑Assisted Engineering», в котором предложил методику для измерения реального эффекта ИИ в инженерных командах — чтобы отличать субъективные ощущения от объективного улучшения продуктивности и качества и безопасно масштабировать успешные подходы. Ключевая идея: без системной инструментировки и единой методологии большинство пилотов останутся экспериментами, а организации не смогут оценить ROI.

Рук ввёл понятие «GenAI Divide», указывая, что примерно 95% пилотов ИИ не переходят в продуктивную эксплуатацию, и предложил комбинировать существующие фреймворки для измерений: SPACE для оценки разработческого опыта и операционной эффективности и Core 4 для оценки экономического эффекта и возврата инвестиций. Он также обсуждал применение agentic‑решений по всему жизненному циклу разработки (SDLC) и подчёркивал необходимость баланса между приростом скорости и сохранением качества — старшие руководители должны оценивать оба аспекта одновременно.

Доклад опирался на сопоставление эмпирических данных. Так, Google сообщала об ≈10% приросте продуктивности инженеров при использовании ИИ, тогда как независимое METR‑исследование зарегистрировало 19% снижение общей продуктивности в эксперименте, при этом участники METR субъективно ощущали рост продуктивности. Рук использовал этот контраст, чтобы подчеркнуть разрыв между восприятием и объективными метриками и необходимость согласования метрик и опросов.

В качестве дополнительной эмпирической опоры Рук ссылался на недавний отчёт сообщества DORA: при 25% уровне внедрения ИИ были зафиксированы средние изменения — +7,5% в качестве документации, +3,4% в качестве кода, +3,1% в скорости код‑ревью и +1,3% в скорости утверждения. DX комбинирует такие количественные данные с качественными опросами и метриками из систем, например через собственный индекс Change Confidence Developer Experience, чтобы получать более полную картину влияния ИИ.

Из доклада следуют конкретные практики для команд и лидеров: не полагаться на анекдоты — инструментировать процессы и собирать DORA/SPACE‑метрики; применять Core 4 для оценки ROI и экономических эффектов; замерять документацию и качество кода отдельно от субъективных ощущений; проектировать пилоты с учётом высокой вероятности неудачи, чтобы быстро учиться и масштабировать только проверённые подходы. Эти шаги помогают выстраивать безопасное и воспроизводимое масштабирование ИИ‑инициатив. Рук позиционирует платформу DX как реализацию идей DORA, SPACE и DevEx и опирается на более чем 20 лет практического опыта. QCon AI в докладе и обсуждениях показал себя как мероприятие, ориентированное на практиков: там обсуждают архитектурные приёмы, метрики отказов и способы безопасного масштабирования рабочих нагрузок ИИ, что подтверждает прикладной характер представленных рекомендаций.