Выпущен Tair‑KVCache‑HiSim для точного моделирования многослойных KV‑кэшей при инференсе LLM

Команда Tair‑KVCache совместно с командой со‑дизайна аппаратного и программного обеспечения представила Tair‑KVCache‑HiSim — первый высокоточный CPU‑симулятор, специально разработанный для управления распределёнными многослойными KV‑кэшами в инференсе больших языковых моделей. Инструмент моделирует поведение системы сквозным способом и предназначен для точной оценки производительности и затрат при работе с большими контекстами и многотуровыми диалогами, где части состояния не помещаются в GPU‑память.

HiSim воспроизводит полный жизненный цикл запроса: от обращения к различным уровням кэша до выполнения батчевых вычислений на гетерогенных платформах. Симуляция учитывает взаимодействие архитектуры модели, аппаратной платформы, движков инференса и политик кэширования; на основе этого HiSim предсказывает ключевые показатели задержки и пропускной способности, включая Time to First Token (TTFT) и Time per Output Token (TPOT).

Авторы подчёркивают, что в эпоху «агентов» KV‑кэш перестаёт быть лишь локальной оптимизацией и превращается в инфраструктурную функцию: хранение состояний, поддержка длинных контекстов и многотуровых диалогов требуют решений за пределами единой GPU‑памяти. Многоуровневые архитектуры решают проблему вместимости, но создают высокоразмерное пространство конфигураций, в котором необходимо балансировать между латентностью, пропускной способностью и стоимостью.

В статье разработчики позиционируют Tair KVCache как этап эволюции парадигмы кэширования: от Redis (как кэш данных для уменьшения I/O) через GPU‑KVCache (кэш промежуточных состояний для снижения повторных вычислений) к Tair KVCache, ориентированному на управление состоянием в большом масштабе и реконструкцию затрат инференса. HiSim служит инструментом количественной оценки таких архитектур и политик до их масштабного развёртывания. Практическое значение HiSim состоит в возможности тестировать и сравнивать конфигурации многослойных кэшей на CPU‑уровне до внедрения в продуктив: это позволяет оптимизировать затраты, выбрать компромиссы по качеству обслуживания и снизить риски при масштабировании инференса больших языковых моделей.