Учебный разбор: как парсить, анализировать, визуализировать и дообучать трассы рассуждений агентов на датасете lambda/hermes

MarkTechPost представил пошаговое руководство по исследованию датасета lambda/hermes — agent-reasoning-traces, предназначенного для изучения того, как агент‑ориентированные модели рассуждают, используют внешние инструменты и формируют ответы в многотуровых диалогах. Авторы объясняют структуру записей: каждая содержит id, category и subcategory, текстовое описание задачи (task) и массив multi‑turn conversations, в котором чередуются сообщения системы, ассистента и ответы инструментов. Такой формат позволяет отделять системный контекст, внутренние рассуждения модели и внешние ответы от инструментов.

В руководстве показано, какие библиотеки и окружение требуются для работы: авторы используют пакеты datasets (Hugging Face), pandas, matplotlib, seaborn, transformers, accelerate и trl. Пример загрузки демонстрирует конфигурацию CONFIG = "kimi" и команду load_dataset для получения части train. Авторы также показывают, как опционально объединять несколько конфигураций (в примере — kimi и glm-5.1), добавляя колонку source и применяя shuffle для перемешивания, чтобы сравнить источники данных в едином датасете.

Ключевая часть руководства посвящена простым, но рабочим парсерам. Используются регулярные выражения THINK_RE, TOOL_CALL_RE и TOOL_RESP_RE для извлечения мыслей (thoughts), вызовов инструментов (tool_calls) и сырых ответов инструментов (tool responses). Функция parse_assistant разбирает сообщение ассистента, отделяя внутренние рассуждения от JSON‑вызовов инструментов и итогового ответа, с обработкой JSONDecodeError и запасным представлением вызова, если JSON некорректен. parse_tool пытается распарсить тело ответа инструмента как JSON и, в случае неудачи, возвращает сырой текст. Авторы тестируют парсер на первом сообщении ассистента в примере, извлекая превью рассуждений и список вызовов.

Дальше демонстрируется аналитический пайплайн: выбирается подмножество данных (в примере N = 3000 или меньше, в зависимости от размера набора) и собираются счетчики и метрики — частота вызовов конкретных инструментов, ширина параллельных вызовов, количество мыслей на ход, число вызовов и ошибок на траекторию, длины диалогов и распределение по категориям. Для обнаружения ошибок инструментов авторы ищут ключевые маркеры в ответах, такие как слова "error", фрагмент '"exit_code": 1' или "traceback". По результатам цикла сканирования вычисляются средние величины и доли траекторий с ошибками, а также формируется список наиболее часто используемых инструментов; визуализации с matplotlib и seaborn помогают наглядно представить эти тренды.

Практическое значение руководства двояко: во‑первых, парсинг трасс рассуждений помогает отладке и объяснимости агентов — можно отделить внутренние мысли от действий и найти места, где вызовы инструментов приводят к ошибкам или галлюцинациям; во‑вторых, подготовка данных в format, удобный для supervised fine‑tuning, делает датасет пригодным для дообучения моделей. В то же время материал ограничен демонстрацией методов и рабочих сценариев: он показывает способ подготовки и анализа, но не приводит независимых оценок качества дообучения моделей или сравнительных метрик производительности на внешних тестах. Источник: MarkTechPost.