BTC 63871.4$
ETH 1778.02$
Tether (USDT) 1$
Toncoin (TON)
Russian English
"

Андрей Карпаты:сегодня нет нормального способа проверить, как хорошо работают новые ИИ-модели

Дата публикации:04.03.2025, 06:52
605
605
Поделись с друзьями!
ТОП-3 трейдеров
Весь рейтинг Все
Рейтинг по отзывам посетителей Block-Chain24.com
  1. 1 Выбор посетителей
    4,8
  2. 2
    DÈ SKLADCHINA Проверен
    4,7
  3. 3
    Elixir Проверен
    4,5

Андрей Карпаты, покинувший OpenAI в прошлом году, указывает, что в настоящее время трудно оценить эффективность новых моделей ИИ (таких как GPT-4.5). Он выражает недовольство отсутствием адекватных методов тестирования.

Традиционные тесты (например, MMLU) уже утратили свою актуальность и больше не отражают реальной картины. Новые тесты (например, SWE-Bench) являются слишком специализированными и также не предоставляют полного представления. Существует еще платформа Chatbot Arena, предназначенная для сравнения моделей, однако она стала менее эффективной, поскольку разработчики целенаправленно адаптируют свои ИИ под нее, что приводит к необъективным результатам.

Карпаты пытался самостоятельно оценивать модели интуитивно, основываясь на собственных впечатлениях, но признает, что такой подход ненадежен, так как можно быть введенным в заблуждение собственными ожиданиями или недостаточным количеством примеров.

Таким образом, он заключает: "Я не уверен, каким образом точно определить реальные возможности этих ИИ". Эта проблема касается не только его лично, но и всей индустрии ИИ в целом (по состоянию на март 2025 года).

ТОП-3 трейдеров
Весь рейтинг Все
Рейтинг по отзывам посетителей Block-Chain24.com
  1. 1 Выбор посетителей
    4,8
  2. 2
    DÈ SKLADCHINA Проверен
    4,7
  3. 3
    Elixir Проверен
    4,5