Zoox создала платформу Cortex с LLM и RAG для ускорения работы разработчиков

Amit Navindgi на QCon San Francisco рассказал, как Zoox перешла от разрознённой документации к единой AI‑экосистеме для инженеров — платформе Cortex на базе RAG и мультимодальных LLM.

На сессии QCon San Francisco ведущий инженер Amit Navindgi представил, как Zoox систематизирует внутренние знания и повышает продуктивность разработчиков с помощью единой AI‑платформы. Он объяснил, почему отсутствие встроенного ИИ в редакторах, чатах и инструментах сегодня воспринимается как сбой, и как это влияет на скорость разработки и реагирование на инциденты. Чтобы решить проблемы фрагментированных данных и рутинных операций, в компании разработали платформу Cortex — защищённый слой, который объединяет подход RAG (retrieval‑augmented generation), мультимодальные LLM и «contributor‑friendly» API для агентов. Платформа специально спроектирована для интеграции с существующей инфраструктурой и поддержки разных рабочих потоков: от разработки и поддержки до компонентов автономных систем.

Navindgi подробно описал ключевые узкие места в lifecycle разработчика: первая неделя в компании часто превращается в бесконечный поиск по Confluence, GitHub, Slack и PDF‑файлам, а суммарно этот этап может съесть до месяца продуктивной работы. По его словам, организация и семантический поиск по данным с помощью RAG позволяют выдавать контекстно‑релевантные ответы и существенно сокращать время онбординга и поиска решений при инцидентах — где одна сессия поддержки порой занимает полдня. Доклад также затронул операционные и организационные последствия перехода к автономным агентам: это меняет требования к безопасности, контролю версий и распределению ответственности. Navindgi подчеркнул, что техническая платформа — важная, но не единственная часть задачи; без выработанных практик внедрения и привычек инженеров инструменты останутся неиспользованными.

Для ускорения адаптации Zoox использовала практические методы: воспитание внутренних «AI‑чемпионов», проведение хакафонов и демонстрации реальных кейсов. Представленные решения опираются на production‑опыт команды Zoox Intelligence: в практиках были как успешные внедрения, так и ошибки, которые помогли уточнить архитектуру и операционные процессы. Amit Navindgi представил результаты с позиции руководителя Applied AI в инициативе Zoox Intelligence: его команда отвечает за наблюдаемость, семантический поиск, платформы экспериментов, data‑engineering и on‑call/incident‑management. Сессия длилась около 50 минут и была ориентирована на практиков, отвечающих за внедрение ИИ внутри инженерных команд, — тех, кто принимает решения о технической и организационной адаптации таких платформ.