Microsoft внедряет в ИИ человекоподобные рассуждения

Технический гигант Microsoft представила новый метод обучения ИИ под названием "Алгоритм мыслей" (AoT), предназначенный для того, чтобы сделать большие языковые модели, такие как ChatGPT, более эффективными и похожими на человеческие в своих способностях к рассуждению.

Новый подход является естественным следующим шагом для компании, которая вложила значительные средства в ИИ, и особенно в OpenAI — создателей DALLE, ChatGPT и мощной языковой модели GPT.

Согласно опубликованному исследовательскому документу, Microsoft заявляет, что технология AoT потенциально может изменить правила игры, поскольку она "направляет языковую модель по более упрощенному пути решения проблем". Этот новый подход использует "обучение в контексте", позволяя модели систематически организованно исследовать различные решения.

Результат? Более быстрое и менее ресурсоемкое решение проблем.

“Наш метод превосходит предыдущие методы с одним запросом и соответствует недавнему подходу с несколькими запросами, использующему обширный поиск по дереву”, - говорится в документе. “Интересно, что наши результаты показывают, что инструктирование модели с помощью алгоритма может привести к производительности, превосходящей сам алгоритм”.

Исследователи утверждают, что модель приобретает улучшенную “интуицию”, когда этот метод оптимизирует процесс поиска.

Гибрид человека и алгоритма?

Метод AoT устраняет ограничения современных методов контекстного обучения, таких как подход "Цепочка мыслей" (CoT). CoT иногда предоставляет неправильные промежуточные шаги, в то время как AoT направляет модель, используя алгоритмические примеры для получения более надежных результатов.

AoT черпает вдохновение как у людей, так и у машин для повышения производительности генеративной модели ИИ. В то время как люди преуспевают в интуитивном познании, алгоритмы известны своим организованным, исчерпывающим исследованием. В исследовательском документе говорится, что Алгоритм мыслей стремится “объединить эти двойные аспекты, чтобы расширить возможности рассуждения в LLMS”.

Microsoft заявляет, что этот гибридный метод позволяет модели преодолевать ограничения рабочей памяти человека, обеспечивая более всесторонний анализ идей.

В отличие от линейного рассуждения CoT или метода "Дерева мыслей" (ToT), AoT позволяет гибко рассматривать различные варианты подзадач, поддерживая эффективность при минимальном подсказывании. Он также конкурирует с внешними инструментами древовидного поиска, эффективно балансируя затраты и вычисления.

В целом, AoT представляет собой переход от обучения под наблюдением к интеграции самого процесса поиска. Исследователи полагают, что благодаря усовершенствованиям в области быстрого проектирования этот подход может позволить моделям эффективно решать сложные проблемы реального мира, одновременно снижая их углеродное воздействие.

Учитывая значительные инвестиции в ИИ, Microsoft, похоже, имеет все возможности для внедрения AoT в передовые системы, такие как GPT-4. Несмотря на сложность, обучение языковых моделей "думать" таким более человечным способом может оказаться преобразующим.