" С момента ухода Ильи Суцкевера, с мая 2024 OpenAI не завершили ни одного успешного полномасштабного предобучения для новой фронтирной модели.
Об этом пишет SemiAnalysis и говорит, что это не просто задержка — технический барьер, который OpenAI не преодолел.
Какие причины по версии SemiAnalysis?
1. Проблемы с конвергенцией — модель не достигает нужного качества на больших кластерах. Предыдущие запуски, вероятно, провалились или были прерваны.
2. OpenAI переориентировалась на пост-обучение. Но это не заменяет новое предобучение — оно строится на старой базе данных и вычислений.
3. OpenAI не расширяла кластеры NVIDIA с мая 2024-го. Видна только активность по fine-tuning и RL, но не по предобучению. Они сэкономили ~30% на NVIDIA благодаря конкуренции от TPU, но TPUs ещё не развернуты.
В отличие от OpenAI, Google успешно обучил Gemini 3 целиком на TPUv7, который даёт ~44% снижения TCO по сравнению с NVIDIA GB200, и до 52% для внешних клиентов.
SemiAnalysis подчёркивает, что 3D-торус в TPU важнее микроархитектуры, и Google лидирует в инфраструктуре.
OpenAI, возможно, купит TPU как и Anthropic, Meta(запрещена в России) и xAI, но пока полагается на NVIDIA и AWS.
SemiAnalysis считает, что GPT-5— это пост-тренинг на старой базе GPT-4o. Нет новой предобученной основы, которая бы включала свежие данные и масштабирование FLOPs.
OpenAI не комментировала этот анализ напрямую, но в подкастах, например, с Ноамом Брауном, признавали, что масштабирование предобучения становится дороже и сложнее.
