Прозрачность модели искусственного интеллекта ухудшается

Базовые модели обещают новую эру в области искусственного интеллекта, но исследователи из Стэнфордского университета отметили, что они становятся менее прозрачными.

По мнению команды исследователей из Стэнфордского университета, основные модели AI Foundation, такие как ChatGPT, Claude, Bard и LlaM-A-2, становятся менее прозрачными.

Новое исследование подготовлено университетским центром исследований базовых моделей (CRFM), входящим в состав Стэнфордского института искусственного интеллекта, ориентированного на человека (HAI), который изучает и разрабатывает базовые модели искусственного интеллекта.

"Компании в пространстве модели foundation становятся менее прозрачными", - сказал Риши Боммазани, общественный деятель CRFM, согласно официальному пресс-релизу. Эта непрозрачность создает проблемы как для бизнеса, так и для политиков и потребителей.

Все компании, создающие наиболее точные и используемые LLM, согласны с тем, что хотят делать добро, но имеют разные взгляды на открытость и прозрачность.

OpenAI, например, восприняла отсутствие прозрачности как предостерегающую меру.

"Теперь мы считаем, что ошибались в нашем первоначальном представлении об открытости, и перешли от мысли, что мы должны обнародовать все, к мысли, что нам следует выяснить, как безопасно делиться доступом к системам и их преимуществами", - говорится в официальном блоге.

Исследования MIT, проведенные в 2020 году, показывают, что это было основной философией в течение некоторого времени. "Их отчеты свидетельствуют о том, что OpenAI, несмотря на все свои благородные устремления, одержима сохранением секретности, защитой своего имиджа и сохранением лояльности своих сотрудников", - написали исследователи.

Со своей стороны, основные взгляды Anthropic на безопасность ИИ демонстрируют приверженность стартапа "прозрачному и интерпретируемому подходу к системам ИИ" и его нацеленность на установление "прозрачности и процедурных мер для обеспечения поддающегося проверке соблюдения (своих) обязательств". Кроме того, в августе 2023 года Google объявила о запуске Центра прозрачности, чтобы лучше раскрывать свою политику и решать эту проблему.

Но почему пользователи должны заботиться о прозрачности искусственного интеллекта?

"Из-за меньшей прозрачности другим компаниям становится сложнее понять, могут ли они безопасно создавать приложения, основанные на коммерческих базовых моделях; ученым - полагаться на коммерческие базовые модели для исследований; политикам - разрабатывать значимые стратегии для обуздания этой мощной технологии; а потребителям - понимать ограничения модели или добиваться возмещения причиненного вреда", - утверждается в статье Стэнфорда.

Чтобы решить эту проблему, Боммазани и команда из Стэнфорда, Массачусетского технологического института и Принстона разработали Индекс прозрачности модели Foundation (FMTI). Индекс оценивает широкий набор тем, которые дают всестороннее представление о том, насколько прозрачны компании, когда дело доходит до их моделей искусственного интеллекта. Рейтинг изучает такие аспекты, как то, как компания строит базовую модель, доступность ее набора данных, как это работает и как это используется в дальнейшем.

Результаты были менее чем впечатляющими. Самые высокие оценки варьировались от 47 до 54 баллов по шкале от 0 до 100, причем лидировала команда Meta Llama 2. Прозрачность OpenAI составляет 47%, Google - всего 41%, а Anthropic набрал 39% за свою прозрачность.

Различие между моделями с открытым исходным кодом и моделями с закрытым исходным кодом также сыграло свою роль в рейтингах.

“В частности, каждый открытый разработчик по совокупному баллу почти так же прозрачен, как и самый высокооплачиваемый закрытый разработчик”, - написала команда из Стэнфордского университета в обширном исследовательском документе. Для неспециалистов это означает, что худшая модель ИИ с открытым исходным кодом более прозрачна, чем лучшие модели с закрытым исходным кодом.

Прозрачность в моделях искусственного интеллекта - это не просто вопрос академического интереса. Необходимость в должным образом прозрачной разработке искусственного интеллекта была озвучена политиками по всему миру.

"Для многих политиков в ЕС, а также в США, Великобритании, Китае, Канаде, G7 и широком круге других правительств прозрачность является основным приоритетом политики”, - сказал Боммазани.

Более широкие последствия этих выводов очевидны.  По мере того, как модели искусственного интеллекта становятся все более интегрированными в различные сектора, прозрачность приобретает первостепенное значение.  Не только из этических соображений, но и для практического применения и надежности.