" И это только начало, на горизонте уже 100 млн контекст, который позволит создать системы рассуждения, которые мы пока даже не можем себе представить. В свежем интервью Николай Савинов, старший научный сотрудник Google DeepMind, раскрывает интересные подробности об LLM.
По его мнению, контекстные окна в 10 млн токенов трансформируют работу ИИ, который сможет обрабатывать целые кодовые базы за один раз. Ключевые моменты из интервью: 1. Один из самых интересных моментов интервью — то, что команда уже тестировала модели с 10 миллионами токенов контекста. Эти модели работают, но есть серьезные ограничения: - Очень высокая стоимость вычислений - Недостаточно оборудования для масштабной эксплуатации таких моделей. По сути, это технологический предпросмотр будущего — мы знаем, что оно возможно, и ждем, когда оборудование станет доступнее. 2. Савинов видит ИИ- агентов как активных потребителей и поставщиков длинного контекста.
Эти системы будут требовать постоянной памяти для значимого взаимодействия в течение длительного времени и будут использовать инструменты для динамического поиска, фильтрации и сборки соответствующего контекста. 3. Многие думают, что длинный контекст сделает ненужной технологию RAG. Савинов категорически не согласен: эти технологии будут усиливать друг друга, а не конкурировать. Ключевой момент: контекст нужно заполнять полезной информацией. RAG поможет выбирать именно то, что действительно важно для ответа. 4. Длинный ввод, но короткий вывод.
Модели могут принимать миллионы токенов на входе, но генерируют лишь около 8 тысяч токенов на выходе. Это связано не с предобучением, а с последующей тонкой настройкой — модель привыкает завершать ответ в определенном диапазоне. Савинов предсказывает, что следующим важным шагом будет более доступный и точный 10-миллионный контекст, когда большинство кодовых баз будут полностью помещаться в памяти модели. Это сделает ИИ "абсолютно непревзойденным, новым инструментом для каждого программиста в мире". А дальше? Переход к 100 миллионам токенов потребует новых прорывов в глубоком обучении, это позволит ИИ-системам рассуждать на уровне, который мы пока не можем представить. Секрет успеха — не только чипы, нужны очень талантливые инженеры по выводу, говорит Савинов.
