ЛеКун объясняет, почему токены плохо подходят для понимания физического мира:
- Токены дискретны (конечное множество возможностей)
- Физический мир непрерывен и высокоразмерен
- Предсказание видео на уровне пикселей провалилось.
Вместо этого он предлагает Joint Embedding Predictive Architecture (JEPA) - системы, которые:
- Учатся абстрактным представлениям
- Делают предсказания в пространстве представлений, а не на уровне пикселей
- Могут планировать последовательности действий
ЛеКун предпочитает термин AMI (Advanced Machine Intelligence) вместо AGI. Он считает, что:
1. В течение 3-5 лет появится понимание того, как создавать такие системы в малом масштабе
2. Полноценный человекоподобный ИИ может появиться в течение десятилетия
3. Скептически относится к утверждениям о скором появлении AGI через масштабирование LLM
Наиболее важные области применения ИИ:
- Медицина и наука (белковые структуры, диагностика)
- Автомобильная безопасность (системы экстренного торможения снижают аварии на 40%)
- Ассистенты для повышения продуктивности
ЛеКун - сильный сторонник открытых платформ, считая что:
- Хорошие идеи могут прийти отовсюду
- Нужно разнообразие ИИ-ассистентов для разных культур и языков
- Проприетарные платформы в итоге исчезнут
- Llama имеет уже более 1 миллиарда загрузок.
Он скептически относится к катастрофическим сценариям и считает, что лучший способ борьбы с неправильным использованием ИИ - это лучший ИИ.