Проект Halo сочетает в себе неинвазивный нейронный интерфейс с генеративным ИИ для преобразования паттернов биоэлектрических сигналов в язык.
“Существует универсальный язык, который работает внутри нашего мозга”, - сказал генеральный директор Unbabel Васко Педро. “Я имею в виду, что когда вы смотрите на ФМРТ-изображения людей, которые говорят на разных языках, но думают об одном и том же объекте, они в основном активируют одни и те же области мозга”.
Педро показал, как Project Halo позволяет пользователям получать сообщения, переданные через наушники, а затем отправлять ответ совершенно бесшумно, просто думая о том, что они хотят сказать.
Предоставление метода реагирования на сообщения, который не требует говорения или набора текста, имеет множество потенциальных вариантов использования, отметил Педро, от обыденных сценариев, таких как ненавязчивый ответ на текстовые сообщения в темном кинотеатре, до более судьбоносных ситуаций: предоставление людям с боковым амиотрофическим склерозом (БАС) возможности общаться с помощью текста или даже аудиозаписей.
Обучая модель преобразования текста в речь с помощью своего голоса, он может даже говорить.
Педро показал трогательный пример того, как Project Halo позволил пациенту с БАС молча сообщить жене о своем заказе на обед. Система расшифровала его желаемый ответ из нейронных сигналов, затем синтезировала текстовый ответ в цифровом приближении его исходного голоса, который был записан до того, как он потерял способность говорить.
Unbabel's - не первый ИИ, читающий мысли. Как ранее сообщал Decrypt, Meta недавно разработала систему, которая может сканировать активность мозга и визуализировать образы, воспринимаемые в сознании человека. ИИ добился этого, сделав магнитно-резонансные замеры, когда участники смотрели на фотографии, и реконструировал представления исходных изображений.
Более того, Neuralink, еще один крупный игрок в этой области, работает над усовершенствованными нейронными интерфейсами и получил разрешение начать тестирование своего мозгового имплантата на людях.
Однако ключевым отличием Project Halo является его способность читать мысли и генерировать ответы на естественном языке. Как отметил Педро, это потребовало интеграции языковой модели, которая могла бы узнавать о личном контексте пользователя, взаимоотношениях, предпочтениях и многом другом для создания сообщений, точно отражающих то, что они хотят сообщить.
это не неконтролируемая технология чтения мыслей: чтобы устройство отреагировало, пользователи должны действительно захотеть ввести ответ.
“По сути, происходит то, что мне читают вопрос через мои AirPods, а затем я использую нейронный интерфейс, который на самом деле находится вот здесь, в моей руке — это ЭМГ”, - объяснил Педро. “Он улавливает биосигналы, и то, что происходит, - это большая языковая модель, которая много знает обо мне, пытается создать ответ, который я хотел бы дать”.
Модель также обрабатывает около 15 слов в минуту, что является значительным улучшением по сравнению с устаревшими методами, которые могут работать в два раза медленнее.
Педро заявил, что проект Halo в настоящее время находится на ранних стадиях, но компания рассчитывает запустить его в коммерческую эксплуатацию в 2024 году. Он предполагает, что Halo обеспечит беспрепятственное общение для всех людей, независимо от физических способностей.
“Наша цель - сделать ИИ полезным и дать возможность каждому общаться на всех языках, по-настоящему устранив языковой барьер", - размышлял Педро.
" 
