" SpikingBrain — семейство ИИ-моделей, которые имитируют нейроны мозга, решая проблемы энергоёмкости и работы с длинными текстами. Важно - это не полноценные спайковые сети, а их программная имитация. Энергоэффективность требует специального оборудования.
Что они сделали?
1. Поработали над архитектурой модели - вышла гибридная модель, сочетающая спайковые нейронные сети (работают импульсами, как мозг) и линейное внимание вместо классических трансформеров.
2. Преобразовали модель Qwen2.5-7B в спайковую, дообучив на 150B токенов — всего 2% от данных, нужных для обучения трансформеров с нуля.
