" В свежем интервью Ноам говорит, что в 2021 Илья работал над проектом под кодовым названием GPT-Zero для исследования вычислений во время тестирования. Он экспериментировал с test-time compute за 3 года до модели o1.
Тогда Илья говорил, что нужны рассуждения, и что это может быть достижимо относительно быстро.
А Ноам и коллеги были скептичны и думали, что это займёт очень много времени. Ноам в 2023 понял, что Илья был прав и это оказалось не так сложно, как он думал.
Ноам говорит, что изучил внутренние документы OpenAI и был поражён видением Ильи даже до 2021 года. В опубликованных email'ах 2016-2017 годов Илья писал принципы типа один большой эксперимент ценнее 100 маленьких. Это отличало тогда OpenAI от DeepMind и других лабораторий.
Ноам Браун говорит, что мы вошли в новую эру развития ИИ - эру масштабирования вычислений во время тестирования. Это парадигма, где модели "думают" дольше перед ответом, что даёт эквивалент увеличения размера модели в 1000-10000 раз. Модели должны достичь определённого уровня способностей (как GPT-4), чтобы получать пользу от дополнительного "мышления".
Ноам говорит, что рассуждения работают не только для математики и программирования, но и в областях без чётких метрик успеха.
Браун возглавляет команду по мультиагентным системам в OpenAI. Его видение такое:
1. Люди занимают не узкую, а широкую полосу интеллекта
2. Если позволить миллиардам ИИ сотрудничать и конкурировать долгое время, они создадут свою цивилизацию.
Вызовы масштабирования test-time compute по Ноаму:
Стоимость становится всё дороже заставлять модели думать дольше.
Время, если модель думает 3 недели над задачей, то и эксперименты займут минимум 3 недели.
Браун признаёт, что модели менее эффективны в использовании данных, чем люди. Это одна из важнейших нерешённых проблем в исследованиях ИИ.
Браун видит, что ИИ будет способен выполнять не только программирование, но и многие задачи удалённой работы.
Браун считает, что многие текущие решения harness'ы, роутеры между моделями будут "смыты" масштабированием.
Идеальный harness - это отсутствие harness'а. OpenAI стремится к единой универсальной модели.
