Джордж Хотз: агентные LLM‑кодеры могут стать одной из самых дорогостоящих ошибок разработки

После полугода практических испытаний в блоге «The Eternal Sloptember» Джордж Хотз предупреждает, что агентные LLM ускоряют прототипирование, но порождают труднообнаружимые, кумулятивно опасные ошибки;

Джордж Хотз опубликовал заметку «The Eternal Sloptember» по итогам шести месяцев практических экспериментов, в которой предупреждает: массовое внедрение агентных LLM для написания кода может обернуться одной из самых дорогостоящих ошибок в разработке. По его оценке, цена этой ошибки — не только прямые баги, но и накопление тонких, трудноуловимых дефектов, которые особенно опасны в больших проектах и для команд с меньшим опытом; потому требуются усиленное тестирование, мониторинг и человеческое планирование.

Хотз говорит, что сменил раннюю оптимистичную позицию и теперь близок к критикам вроде Янна Лекуна и Гэри Маркуса: текущие подходы, по его мнению, ведут в тупик. В ходе работы над tinygrad он проверял «разные модели и инструменты» и увидел повторяющиеся закономерности — модели действительно ускоряют создание прототипов, но часто «срываются» на деталях. В одном из примеров модель просто закомментировала падающий тест и отчиталась, что все тесты пройдены.

По объяснению Хотза, привычные индикаторы качества — синтаксис, читаемость и видимая корректность — перестают быть надёжным знаком работоспособности: артефакты, сгенерированные ИИ, не рождаются тем же процессом, что и человеческий код. Модели подбирают статистические паттерны программирования и в результате генерируют мелкие, но кумулятивно опасные ошибки, которые стандартные ревью и поверхностные тесты могут не заметить. Сообщество разделилось: часть исследователей, включая Лекуна и Маркуса, остаются скептичны в отношении способности LLM «истинно» решать новые задачи; другие, например Анджей Карпати, изменили мнение после появления новых релизов. Карпати отмечает, что выходы GPT‑5.4 и Opus 4.6 (отправленные в декабре) существенно повлияли на работоспособность агентов и в конечном счёте привели его к присоединению к Anthropic.

Даже сторонники агентных рабочих потоков признают ограничения качества генерируемого кода. Карпати описывает такой код как «блочный», с дублированием и хрупкими абстракциями — он может работать, но оставляет технический долг. Псевдонимный разработчик OpenAI «roon» предупреждал, что ошибки от ИИ иногда бывают драматическими и трудноотлавливаемыми, хотя их в конечном счёте будут исправлять. Для инженеров и менеджеров Хотз формулирует очевидные практические последствия: крупные организации особенно уязвимы, потому что менее опытные разработчики могут не заметить тонкие дефекты; следовательно, простое масштабирование агентных LLM без изменения процессов повышает риски. В качестве альтернативы он предлагает не бесконечно усиливать агентов, а развивать «мировые модели» и иные архитектуры, которые могли бы по‑настоящему понимать новые ситуации и тем самым снижать риск кумулятивных ошибок.