" Будущий прогресс зависит от алгоритмов с лучшей эффективностью выборки.
Поскольку данные стали узким местом, то теперь главная задача - разработать алгоритмы, которые могут извлекать больше информации из того же объема данных, то есть имеют более высокую эффективность выборки.
Об этом стало известно из подкаста, в котором Сэм Альтман говорил о деталях разработки GPT-4.5.
Вот, что ещё интересного: - для обучения GPT-4 теперь требуется всего 5-10 человек; - ожидается более 10 миллионов запусков GPU-обучения, потенциально в полусинхронном или децентрализованном режиме. - обнаружен тонкий баг в PyTorch (torch.sum), вызвавший проблемы на 40% обучения. - GPT-5.5 может быть достижим алгоритмически до того, как будут достигнуты жесткие ограничения по данным.
