NadirClaw научили маршрутизировать запросы LLM по стоимости с переключением на Gemini

Опубликовано руководство по созданию cost‑aware слоя маршрутизации на базе NadirClaw: локальная классификация подсказок разделяет задачи на «простые» и «сложные» и направляет их к подходящей модели;

NadirClaw предложил практический способ маршрутизации запросов к большим языковым моделям по стоимости: локальный классификатор сначала разделяет подсказки на «простые» и «сложные», а затем направляет их к наиболее подходящей модели, при необходимости переключаясь на Gemini. Это важно для команд, которые хотят снизить расходы и сохранить качество, отдавая простые задачи дешёвым или локальным обработчикам, а сложные — мощным облачным моделям.

Руководство описывает пошаговую установку и тестирование слоя маршрутизации: требуется набор пакетов (nadirclaw, openai, sentence‑transformers, matplotlib, scikit‑learn, pandas, requests), импорт соответствующих модулей и безопасный ввод ключа GEMINI_API_KEY через переменные окружения или скрытый ввод. Авторы показывают, как сначала протестировать локальный классификатор без реальных вызовов LLM, чтобы отладить логику и метрики до перехода на живую маршрутизацию.

Техническая демонстрация включает запуск nadirclaw CLI (функция classify), вычисление и инспекцию центроид‑векторов и встраивание собственных подсказок для создания профилей задач. Руководство также покрывает визуализацию скорингов сходства и настройку порогов уверенности — эти пороги определяют, какие запросы уходят в локальную обработку, а какие — на удалённые модели, и их можно корректировать до включения живых вызовов.

Практический пример показывает смешанную работу Gemini и OpenAI‑совместимых моделей через прокси: запуск прокси‑сервера NadirClaw позволяет отправлять к нему OpenAI‑совместимые запросы, затем сравнивать поведение маршрутизируемых моделей и делать оценки экономии по сравнению с постоянным использованием Pro‑модели. Подход ориентирован на отделение простых задач для дешёвых/локальных обработчиков и сложных — для мощных облачных моделей.