Meta AI выпустила NeuralBench — открытый фреймворк для оценки моделей NeuroAI по ЭЭГ

Команда Meta AI представила NeuralBench: в первом релизе — NeuralBench — EEG v1.0 — объединённый открытый бенчмарк для ЭЭГ с 36 downstream‑задачами, 94 публичными датасетами, 9 478 участниками и 13 603 часами записей;

Meta AI объявила о запуске NeuralBench — EEG v1.0, открытого фреймворка и масштабного бенчмарка для оценки моделей, работающих с электроэнцефалограммами. Релиз включает 36 downstream‑задач, 94 публичных датасета, данные от 9 478 участников и в сумме 13 603 часа ЭЭГ‑записей; все материалы доступны под единым интерфейсом для прямого сравнения и повторного анализа результатов. Проект позиционируется как ответ на фрагментацию научной практики в области NeuroAI: исследовательские группы применяли разные пайплайны, наборы данных и срезы задач, что затрудняло объективные сравнения и воспроизводимость. NeuralBench обеспечивает стандартизованную среду оценки, позволяющую унифицировать обработку данных, обучение моделей и метрики качества между лабораториями и публикациями.

Фреймворк реализован в виде трёх модульных Python‑пакетов. NeuralFetch отвечает за загрузку и курирование данных из публичных репозиториев, включая OpenNeuro, DANDI и NEMAR. NeuralSet формирует PyTorch‑совместимые даталоадеры и использует инструменты вроде MNE‑Python и nilearn для препроцессинга. NeuralTrain содержит модульный код обучения, построенный на PyTorch‑Lightning и вспомогательных библиотеках. Установка выполняется через pip install neuralbench; управление реализовано через CLI‑команды для скачивания, подготовки кеша и запуска задач, а конфигурации хранятся в лёгких YAML‑файлах.

В релизе показано сравнение трёх классов подходов. Task‑specific архитектуры (примерно 1.5K–4.2M параметров) представлены моделями ShallowFBCSPNet, Deep4Net, EEGNet, BDTCN, AT, EEGConformer, SimpleConvTimeAgg и CTNet. Набор EEG foundation‑моделей (≈3.2M-157.1M параметров) включает BENDR, LaBraM, BIOT, CBraMod, LUNA и REVE. В качестве контрольных баз использованы вручную сконструированные SPD‑представления с логистической регрессией или Ridge. Всего под единым интерфейсом протестированы 14 глубоких архитектур.

Для сопоставимости моделей foundation‑типы тонко‑настраиваются по единому рецепту: оптимизатор AdamW, базовая скорость обучения 1e‑4, weight decay 0.05, косинусное затухание с 10% warmup, до 50 эпох с ранней остановкой (patience=10). Для BENDR использован режим с lr=1e‑5 и обрезанием градиентов (gradient clipping) на уровне 0.5. Авторы подчёркивают, что стандартизация гиперпараметров упрощает интерпретацию различий в качестве моделей.

NeuralBench также соотносится с существующими инициативами: предыдущие наборы вроде MOABB охватывали до 148 BCI‑датасетов, но лишь около пяти downstream‑задач; другие проекты (EEG‑Bench, EEG‑FM‑Bench, AdaBrain‑Bench) имеют собственные ограничения, а систематических бенчмарков для MEG и fMRI практически нет. По мнению авторов, NeuralBench даёт разработчикам foundation‑моделей и прикладных решений единый референс для проверки заявлений о «генерализуемости» и выбора архитектур и методик для конкретных ЭЭГ‑задач.