" Люди станут киборгами с внедрением продуктов от Neuralink и аналогов, чтобы полностью понимать и участвовать в решениях ИИ.
Илья дал свежее интервью и вот самые интересные моменты из него.
Главная проблема — не масштабирование, а изобретение нового базового рецепта, который даст человеческую способность к обучению и обобщению.
У его стартапа SSI — ставка именно на такой прорыв, а не на дальнейшее масштабирование текущего подхода.
1. Почему текущие модели «неровные»?
Главная причина - RL-обучение сейчас сильно ориентировано на то, чтобы хорошо выглядеть на конкретных eval’ах → это reward hacking со стороны людей-исследователей.
2. Пре-тренинг vs RL vs будущий рецепт. Претренинг был гениален тем, что не нужно было думать о данных и был предсказуемый scaling law.
Сейчас претренинг заканчивается (данные конечны) → мы снова в эпохе исследований, просто с огромными вычислениями.
- 2012–2020 — эпоха исследований
2020–2025 — эпоха масштабирования
2025+ — снова эпоха исследований
Сейчас все тратят больше вычислений на RL, чем на пре-тренинг, но это всё ещё не «то самое».
3. Самое фундаментальное ограничение сегодняшних моделей: они обобщают хуже людей. Это не только вопрос sample efficiency, но и надёжности, робастности, способности передавать стиль мышления без чёткого reward.
Люди в новых областях всё равно учатся на порядки эффективнее.
4. Что такое эмоции в терминах ML?
Это мощная, эволюционно закреплённая value function.
Современные value functions в RL почти не используются, но Илья уверен, что они будут критически важны и сильно повысят эффективность.
5. Что такое сверхинтеллект? Агент, который может быстро научиться любой человеческой профессии. Это приведёт к очень быстрому экономическому росту,но не обязательно к мгновенному.
6. Прогноз на будущее:
до создания ИИ человеческого уровня и выше способностью к обучению ещё 5–20 лет.
7. Почему он основал SSI и в чём его отличие?
У Ильи есть конкретные идеи, как решить проблему плохого обобщения и человеческой эффективности обучения.
Он эти идеи публично не раскрывает. SSI — чисто исследовательская компания эпохи исследований. У них достаточно вычислений для доказательства своих идей.
8. Его текущая позиция по выравниванию и безопасности. За последний год сильно поменял взгляд: теперь считает постепенное внедрение и показ мощного ИИ критически важным.
Прогнозы Ильи :
- фронтирные компании начнут сотрудничать по безопасности (уже началось);
- когда ИИ станет ощутимо мощным, все лаборатории резко станут параноидальнее;
- в итоге все сойдутся на том, что первый настоящий сверхинтеллект должен заботиться о sentient life в целом (не только о людях — это может быть даже проще технически, потому что сам ИИ sentient).
- Кап на абсолютную мощность сверхинтеллекта был бы очень полезен.
- Люди станут киборгами через такие проекты как Neuralink и тд., чтобы полностью понимать и участвовать в решениях ИИ.
9. Почему все LLM так похожи? Потому что претренинг на одних и тех же данных доминирует. Различия начинаются только на этапе RL/пост-тренинга.
10. Другие интересные тезисы
- Self-play интересен тем, что позволяет генерировать данные только вычислениями, но классический self-play слишком узкий.
- Эволюция смогла закодировать очень высокоуровневые желания (например, «хочу социального уважения») — это до сих пор загадка.
- Текущий парадигма (претренинг + RL) пройдёт какое-то расстояние и выдохнется, но не приведёт к настоящему человеческому уровню обучения.
