Google представила Coral Board, способную полностью запускать Gemma 3 270M локально

На Google I/O показали Coral Board — компактный одноплатный компьютер с открытым Coral NPU на базе RISC‑V, который способен выполнять языковую модель Gemma 3 270M полностью локально, без обращения в облако.

На конференции Google I/O анонсировали Coral Board — компактную одноплатную плату с открытым Coral NPU на архитектуре RISC‑V, на которой полностью выполняется языковая модель Gemma 3 270M без обращения в облако. Это демонстрация того, что небольшие модели генеративного ИИ уже можно запускать на граничных (edge) устройствах напрямую, что меняет требования к архитектуре приложений и дает разработчикам больше свободы в выборе форм‑факторов. В основе платы — чип Synaptics Astra SL2619 с двухъядерным процессором частотой 2 ГГц; система укомплектована 2 ГБ оперативной памяти и обеспечивает порядка 1 TOPS вычислительной мощности. Аппаратная платформа ориентирована на компактные устройства — например, наушники, AR‑очки и смарт‑часы — где важны низкая задержка, энергопотребление и возможность локальной обработки данных.

Ключевой демонстрацией стала способность платы запускать Gemma 3 270M полностью локально: модель работает на самом устройстве, без отправки запросов в облачные сервисы. Такое исполнение уменьшает зависимость от сетевого соединения и потенциально сокращает задержки при обработке речи и генерации ответов, сохраняя при этом функциональность языковой модели в ограниченных вычислительных условиях. На показанных демонстрациях Coral Board использовали для перевода в реальном времени, голосового управления и генерации музыки; в одном из примеров одновременно применялся трекинг медуз через YOLOv8. Все демонстрационные проекты и примеры кода опубликованы на GitHub, что позволяет разработчикам воспроизвести эксперименты и адаптировать решения под собственные задачи.