" Илья пишет, что в подкасте он говорил, что эпоха «просто масштабируй» подходит к концу — данные заканчиваются, и нужно вернуться к фундаментальным исследованиям для настоящего прорыва. Но он не имел в виду, что текущий подход полностью застопорится. Но даже с этими улучшениями в моделях будет отсутствовать что-то фундаментальное.
Вот текст Ильи на английском:
One point I made that didn’t come across:
- Scaling the current thing will keep leading to improvements. In particular, it won’t stall.
- But something important will continue to be missing.
Это про то, что мы писали об узости текущего подхода. Илья признаёт, что масштабирование даёт "улучшения", но не решает корень проблемы — почему модели обобщают на порядки хуже людей. В подкасте он намекал на новый рецепт, возможно, он в своей компании SSI добавит этот секретный ингредиент. Посмотрим.
Также нам в комментариях показали статью исследователей из Бауманки, в которой проведен большой анализ существующих когнитивных архитектур для создания AGI и предлагается новая универсальная модель знаний, а также предварительный дизайн когнитивной архитектуры для прототипирования AGI.
Хорошая работа, спасибо авторам, но всё ещё узко. Они хоть немного расширили список модулей, но не расширили онтологию того, что такое разум.
