Разбор архитектуры для запуска локальных нейросетей в расширениях Chrome

Разработчики из исследовательского сообщества Hugging Face официально представили инновационное демонстрационное браузерное расширение, которое наглядно показывает передовые возможности запуска локальных нейросетей с помощью популярной JavaScript — библиотеки Transformers.js и компактной языковой модели Gemma 4 E2B. Интеграция тяжелых математических моделей напрямую в клиентский браузер отражает глобальный технологический сдвиг рынка в сторону вычислений на периферии и архитектуры, ориентированной на максимальную приватность пользовательских данных.

Архитектура приложения строго базируется на современных паттернах Manifest V3, где отправной точкой выступает конфигурационный файл манифеста, определяющий три ключевых изолированных компонента системы. Первым и самым важным элементом является фоновый сервисный работник, который берет на себя все основные задачи по управлению моделями машинного обучения и поддержанию общего состояния программы. Вторым элементом выступает боковая панель, используемая для постоянного отображения визуального интерфейса чата и непрерывного взаимодействия с пользователем в процессе просмотра сети.

Главное архитектурное решение при проектировании подобных систем заключается в том, чтобы надежно изолировать всю вычислительно сложную логику оркестрации исключительно в фоновом процессе, а пользовательский интерфейс сделать максимально легковесным и независимым. Фоновый процесс выполняет роль центральной панели управления, отвечая за полный жизненный цикл агента, первичную инициализацию языковых моделей, безопасное выполнение встроенных инструментов и общие службы вроде извлечения текстовых признаков.

Практическим следствием такого строгого разделения системных обязанностей является принудительный перенос всей истории разговоров в защищенный фоновый процесс, где она постоянно хранится в специализированном объекте агента. Когда интерфейс боковой панели отправляет асинхронное событие для генерации нового текста, фоновый скрипт самостоятельно добавляет новое сообщение в историю, запускает ресурсоемкий процесс логического вывода модели, а затем отправляет обновленный список сообщений обратно в панель для мгновенной перерисовки экрана.

Поскольку все активные компоненты современного браузерного расширения работают в строго изолированных средах выполнения, надежный контракт двустороннего обмена сообщениями становится настоящей кровеносной системой всего разрабатываемого приложения. Все передаваемые пакеты данных строго типизированы с использованием специальных перечислений в кодовой базе, что практически полностью исключает случайные ошибки маршрутизации. Фоновый скрипт выступает в роли единственного достоверного координатора системы, в то время как боковая панель и контентные скрипты работают исключительно как специализированные исполнители.

Для обеспечения максимально широкого спектра интеллектуальных функций расширение использует сразу две различные нейросетевые модели, каждая из которых имеет свою четко определенную техническую зону ответственности. Первая языковая модель, представляющая собой квантованную до специального формата q4f16 версию алгоритма Gemma 4 E2B, отвечает исключительно за потоковую генерацию текста, сложные логические рассуждения и принятие решений о необходимости вызова внешних инструментов.

Подобное разделение нейросетевых задач на два независимых вычислительных потока является осознанным инженерным выбором, позволяющим реализовать сложные механизмы работы с контекстом без потери общей производительности. Векторные вложения, быстро создаваемые компактной моделью MiniLM, используются для выполнения высокоточного поиска по семантическому сходству фрагментов. Это критически важно для реализации таких продвинутых пользовательских функций, как возможность напрямую задавать вопросы по содержимому текущего открытого веб-сайта или осуществлять интеллектуальный поиск по всей истории предыдущих диалогов.

Все процессы логического вывода непрерывно выполняются в фоновом сервисном работнике с использованием специализированных программных конвейеров открытой библиотеки Transformers.js. Для генерации текста успешно применяется оптимизированный конвейер с поддержкой последовательного кэширования ключей и значений через абсолютно новый класс динамического кэша, в то время как конвейер извлечения признаков включает обязательную математическую нормализацию векторов. Благодаря тому, что инициализация происходит строго в фоновом режиме, скачанные многомегабайтные артефакты моделей кэшируются с привязкой к внутреннему источнику самого расширения, а не к случайным адресам посещаемых пользователем сайтов. Это создает единый разделяемый и защищенный кэш для всей текущей установки браузерного дополнения.

Использование единого внутреннего кэша решает фундаментальную проблему управления оперативной памятью, позволяя навсегда избежать медленного повторного скачивания массивных файлов весов при открытии новых вкладок браузера или запуске дополнительных изолированных сессий. Хотя в исходных материалах не приводится детального технического разбора обработки абсолютно всех этапов жизненного цикла стандарта Manifest V3 из-за ограничений формата, реализованная базовая архитектура подразумевает высокую степень готовности фонового сервисного работника к периодическим принудительным отключениям.