" Новая архитектура заимствует ключевой аспект функционирования биологических нейронов — временную синхронизацию. Компания Sakana AI, созданная ex-Google Brain, DeepMind, представила Continuous Thought Machine (CTM).
Это попытка переосмыслить основы работы искусственных нейронных сетей, приблизив их к биологическим аналогам. CTM показала интерпретируемое, человекоподобное поведение, которое возникает естественным образом из архитектуры, а не программируется специально. Это может привести к созданию ИИ с лучшей объяснимостью решений и возможностью переноса знаний между задачами. Ключевые особенности CTM: 1. Модель обрабатывает данные через "внутренние тики", создавая пространство, в котором "разворачивается мышление" независимо от входных данных. 2. Новый тип нейронов.
Каждый нейрон имеет собственную мини-сеть (MLP), обрабатывающую историю своих прошлых активаций. 3. Синхронизация как основной механизм. Представление информации основано на паттернах синхронизации между нейронами, а не только на их активациях. При тестировании CTM на различных задачах были обнаружены удивительные эмерджентные свойства: 1. Интуитивное решение лабиринтов. 2. Пошаговое распознавание изображений.
При классификации изображений CTM изучает разные части изображения последовательно, напоминая человеческое зрительное внимание. 3. Адаптивные вычисления. Модель может регулировать количество "мыслительных шагов" в зависимости от сложности задачи, тратя меньше усилий на простые изображения. 4. Память через нейронную организацию. CTM способна запоминать числа и выполнять операции над ними, используя только организацию и синхронизацию нейронов.
