Что такое объяснимый ИИ (XAI)?

В свете идеи о том, что системы искусственного интеллекта (ИИ) могут функционировать как черный ящик и, следовательно, не являются прозрачными, объяснимый ИИ (XAI) возник как подобласть, ориентированная на разработку систем, которые люди могут понять и объяснить.

Чтобы понять основы и цель XAI, необходимо понять, что такое ИИ. Хотя искусственный интеллект как область науки имеет давнюю историю и охватывает расширяющийся набор технологических приложений, общепринятое определение ИИ отсутствует. Европа находится на переднем крае разработки различных правовых рамок и этических рекомендаций по внедрению и развитию ИИ. Европейская комиссия (ЕК) в 2021 году изложила правила для первого юридически обязательного определения искусственного интеллекта в форме новаторских предложений.

Согласно этому предложению, ИИ можно определить как систему, которая генерирует результаты в виде контента, прогнозов, рекомендаций или решений, влияющих на среду, где они используются. Такие системы искусственного интеллекта разрабатываются в соответствии с одним или несколькими методами и подходами, которые описаны ниже

Во-первых, они работают с машинным обучением (МО) моделей (контролируемые, неконтролируемые, с подкреплением и глубокое обучение), все из которых принадлежат к категории машинного обучения. Важно отметить, что машинное обучение является обязательным условием ИИ, но не все системы ИИ работают с передовыми методами машинного обучения, такими как глубокое обучение. Системы ML могут учиться и адаптироваться, не следуя четким инструкциям. Действительно, не все МО работают для достижения заранее заданной внешней цели: некоторые системы спроектированы так, чтобы «рассуждать» в соответствии с абстрактными целями и, таким образом, функционировать без постоянного участия человека.

Более того, системы искусственного интеллекта могут работать для объединения логики и подходов, основанные на знаниях в форме презентаций или индуктивное (логическое) программирование. Первое относится к кодированию информации таким образом, чтобы ее могла использовать система ИИ (например, путем определения правил и отношений между понятиями). Последнее относится к моделям машинного обучения, которые изучают правила или гипотезы на основе набора примеров.

Система ИИ может использовать другие методы: статистические подходы (методы, используемые для изучения закономерностей или взаимосвязей в данных) и методы поиска и оптимизации, с помощью которых находят решение конкретной проблемы путем поиска в большом пространстве возможностей.

Кроме того, ИИ также был описан как «способность неестественного существа делать выбор посредством оценочного процесса», как это определил Джейкоб Тернер, юрист, преподаватель искусственного интеллекта и автор. Взяв определения Тернера и ЕС, можно сделать вывод, что системы искусственного интеллекта часто могут «обучаться» и, в этом отношении, влиять на окружающую среду. Помимо программного обеспечения, ИИ также может быть реализован в различных формах или воплощен, например, в робототехнике.

Так каковы еще основы ИИ? Поскольку системы ИИ управляются данными, программный код и данные являются двумя важнейшими компонентами ИИ. В этом контексте можно утверждать, что прогресс в области ИИ происходит в эпоху, когда существуют такие явления, как «программное обеспечение пожирает мир (это означает, что общество и экономика в целом пережили огромную и продолжающуюся цифровую трансформацию) идентификацию мира», в котором утверждается, что цифровая трансформация сопровождалась постоянно растущим объемом генерируемых и собираемых данных.

Но почему это должно волновать? Важно отметить, что сбор и обработка данных коррелируют с тем, как устроен набор алгоритмов ИИ. Тем не менее алгоритмы — это рекомендации, которые решают, как выполнить задачу, посредством последовательности правил.

Почему все это важно? ИИ делает «выбор» или генерирует выходные данные на основе данных (входных данных) и алгоритмов. Более того, ИИ может отстранять свои решения от участия человека из-за своего обучаемого характера и вышеупомянутых методов и подходов. Эти две особенности подкрепляют идею о том, что ИИ часто функционирует как черный ящик.

Термин «черный ящик» относится к проблеме понимания и контроля решений и действий систем и алгоритмов ИИ, что потенциально затрудняет контроль и управление этими системами. Действительно, это порождает различные проблемы прозрачности и подотчетности с различными соответствующими правовыми и нормативными последствиями.

Именно здесь в игру вступает объяснимый ИИ (XAI). XAI стремится предоставить понятные человеку объяснения того, как система ИИ достигает определенного результата. Он нацелен  именно на обеспечение прозрачности процесса принятия решений системами искусственного интеллекта.

XAI предполагает разработку систем искусственного интеллекта, которые могут объяснять процесс принятия решений с помощью различных методов. XAI должен позволить внешним наблюдателям лучше понять, как получаются результаты работы системы ИИ и насколько она надежна. Это важно, поскольку ИИ может вызывать прямые и косвенные неблагоприятные последствия, которые могут повлиять на отдельных людей и общество.

Точно так же, как объяснение того, что представляет собой ИИ, объяснение его результатов и функционирования может оказаться сложной задачей, особенно когда в дело вступают системы ИИ с глубоким обучением. Чтобы не инженеры могли представить, как ИИ обучается и обнаруживает новую информацию, можно предположить, что эти системы используют сложные схемы во внутреннем ядре, которые имеют форму, аналогичную нейронным сетям в человеческом мозге.

Нейронные сети, которые облегчают принятие решений ИИ, часто называют системами «глубокого обучения». Существует спор о том, в какой степени решения, принимаемые системами глубокого обучения, непрозрачны или непостижимы, и в какой степени ИИ и его «мышление» могут и должны быть объяснимы обычным людям.

Среди ученых ведутся споры о том, являются ли системы глубокого обучения действительно черными ящиками или полностью прозрачными. Однако общее мнение состоит в том, что большинство решений должны быть в некоторой степени объяснимы. Это важно, поскольку внедрение систем искусственного интеллекта государственными или коммерческими организациями может негативно повлиять на отдельных лиц, поэтому крайне важно обеспечить подотчетность и прозрачность этих систем.

Например, случай голландской системы Risico Indicatie (SyRI) является ярким примером, иллюстрирующим необходимость объяснимого ИИ в процессе принятия государственных решений. SyRI представляла собой автоматизированную систему принятия решений с использованием искусственного интеллекта, разработанную голландскими полуправительственными организациями, которые использовали персональные данные и другие инструменты для выявления потенциального мошенничества с помощью непрозрачных процессов, позже классифицированных как «черные ящики».

Система подверглась тщательной проверке из-за отсутствия прозрачности и подотчетности: национальные суды и международные организации заявили, что она нарушает неприкосновенность частной жизни и различные права человека. Случай SyRi иллюстрирует, как правительственные приложения ИИ могут влиять на людей, воспроизводя и усиливая предубеждения и дискриминацию. SyRi несправедливо преследовала уязвимых лиц и сообщества, а именно группы населения с низкими доходами и меньшинства.

SyRi стремилась найти потенциальных мошенников в области социального обеспечения, называя определенных людей людьми с высоким уровнем риска. SyRi, как система обнаружения мошенничества, использовалась только для анализа людей в районах с низкими доходами, поскольку такие районы считались «проблемными» зонами». Поскольку штат применял анализ рисков SyRI только в тех населенных пунктах, которые уже считались высокорискованными, неудивительно, что там было обнаружено больше граждан с высоким уровнем риска (по сравнению с другими районами, которые не считаются «высокорисковыми»).

Этот ярлык, в свою очередь, будет способствовать формированию стереотипов и укрепит негативный образ жителей, проживавших в этих районах (даже если они не были упомянуты в отчете о рисках или квалифицировались как «непопадающие») из-за обширных межорганизационных баз данных, куда такие данные поступали и в последствии обрабатывались в государственных учреждениях. Этот случай показывает, что, когда системы ИИ приводят к нежелательным неблагоприятным результатам, таким как предвзятость и эти результаты могут остаться незамеченными, если отсутствуют прозрачность и внешний контроль.

Помимо государств, частные компании разрабатывают или внедряют множество систем искусственного интеллекта, прозрачность и объяснимость которых перевешиваются другими интересами. Хотя можно утверждать, что нынешние структуры, обеспечивающие ИИ, не существовали бы в их нынешних формах, если бы не прошлое государственное финансирование.  Теперь значительная часть прогресса, достигнутого сегодня в области ИИ, финансируется из частных источников и  такое финансирование постоянно увеличивается. Фактически частные инвестиции в ИИ в 2022 году были в 18 раз выше, чем в 2013 году.

Коммерческие «производители» ИИ в первую очередь несут ответственность перед своими акционерами, поэтому могут быть в значительной степени сосредоточены на получении экономической прибыли, защите патентных прав и предотвращении регулирования. Следовательно, если функционирование коммерческих систем искусственного интеллекта недостаточно прозрачно, а в частном порядке накапливаются огромные объемы данных для обучения и улучшения искусственного интеллекта, важно понять, как работает такая система.

В конечном счете, важность XAI заключается в его способности предоставлять информацию о процессе принятия решений в своих моделях, позволяя пользователям, создателям и агентствам по мониторингу понять, как и почему был получен тот или иной результат.

Возможно, это помогает укрепить доверие к государственным и частным системам искусственного интеллекта и повышает подотчетность и гарантирует, что модели ИИ не будут предвзятыми или дискриминационными. Подобная методика также помогает предотвратить повторное использование некачественных или незаконных данных в государственных учреждениях из вредоносных или комплексных межорганизационных баз данных, пересекающихся с алгоритмическими системами обнаружения мошенничества.

Принципы XAI заключаются в идее разработки систем искусственного интеллекта, которые были бы прозрачными, интерпретируемыми и могли бы обеспечить четкое обоснование своих решений. На практике это предполагает разработку моделей ИИ, понятных людям, которые можно проверять, контролировать и где нет непредвиденных последствий, таких как предубеждения и дискриминационная практика.

Объяснимость заключается в том, чтобы сделать прозрачными наиболее важные факторы и параметры, влияющие на решения ИИ. Хотя можно утверждать, что невозможно всегда обеспечить полную объяснимость из-за внутренней сложности систем ИИ, в системы ИИ можно запрограммировать определенные параметры и значения. Высокий уровень объяснимости достижим, технически ценен и может стимулировать инновации. Важность прозрачности и объяснимости систем искусственного интеллекта признана во всем мире, и усилия по разработке XAI ведутся уже несколько лет. Как уже отмечалось, XAI имеет несколько преимуществ: возможно, можно выяснить, как и почему он принял решение или действовал именно так Следовательно, прозрачность имеет важное значение, поскольку она укрепляет доверие и понимание среди пользователей, одновременно позволяя осуществлять проверку. Объяснимость является необходимым условием для установления других «этических» принципов ИИ, таких как устойчивость, справедливость и честность. Теоретически это позволяет отслеживать приложения ИИ и развитие ИИ. Это особенно важно для некоторых случаев использования ИИ и XAI, включая  применение в системе правосудия, (социальных) сетях, здравоохранении, финансах и национальной безопасности, где модели ИИ используются для принятия важных решений, влияющих на жизнь людей и общества в целом. .

Примерами XAI могут служить несколько методов машинного обучения. Такие методы повышают объяснимость, например деревья решений (которые могут обеспечить четкое и визуальное представление процесса принятия решений модели ИИ), системы, основанные на правилах (алгоритмические правила определяются в понятном человеку формате в тех случаях, когда правила и интерпретация менее гибкие), байесовские сети (вероятностные модели, представляющие причинно-следственные связи и неопределенности), линейные модели (модели, показывающие, как каждый входной сигнал влияет на выходной результат) и методы, аналогичные последним в случае  применения нейронных сетей.

Различные подходы к достижению XAI включают визуализацию, объяснения на естественном языке и интерактивные интерфейсы. Начнем с последнего: интерактивные интерфейсы позволяют пользователям исследовать, как изменяются прогнозы модели по мере корректировки входных параметров.

Визуализации, такие как тепловые карты и деревья решений, могут помочь людям визуализировать процесс принятия решений в модели. Тепловые карты демонстрируют цветовые градиенты и визуально указывают на важность определенных входных функций в виде информации, которую (объяснимая) модель машинного обучения использует для генерации выходных данных или решений.

Деревья решений показывают процесс принятия решений в МО в соответствии с различными пересекающимися ветвями, как и следует из названия. Наконец, объяснения на естественном языке могут обеспечить текстовое обоснование прогнозов модели ИИ, облегчая понимание нетехническим пользователям.

Важно отметить, что там, где основное внимание уделяется машинному обучению, объяснимое машинное обучение (ОМО) конкретно концентрируется на том, чтобы сделать модели МО более прозрачными и интерпретируемыми, выходя за рамки более широкой области XAI, которая охватывает все типы систем искусственного интеллекта.

XAI имеет несколько ограничений, некоторые из них связаны с его реализацией. Например, инженеры, как правило, сосредотачиваются на функциональных требованиях, а даже если и нет, большие группы инженеров часто впоследствии разрабатывают алгоритмы. Эта сложность делает менее достижимым целостное понимание процесса разработки и ценностей, заложенных в системах ИИ.

Более того, «объяснимый» — это открытый термин, который порождает другие важные понятия при рассмотрении реализации XAI. Внедрение или исключение объяснимости из кода и алгоритмов ИИ может быть теоретически предпочтительнее, но практически проблематично, поскольку существует конфликт между предписанной природой алгоритмов и кода, с одной стороны, и гибкостью открытой терминологии, с другой.

Действительно, когда интерпретируемость ИИ проверяется путем рассмотрения наиболее важных параметров и факторов, влияющих на решение, возникают такие вопросы, как «прозрачный» или «интерпретируемый» ИИ. Насколько высоки такие пороги?

Наконец, широко признано, что развитие ИИ происходит в геометрической прогрессии. Сочетая этот экспоненциальный рост с неконтролируемыми системами глубокого обучения, ИИ теоретически может найти способы стать в целом умными, открывая двери для новых идей, инноваций и роста.

Чтобы проиллюстрировать это, можно рассмотреть опубликованные исследования «генеративных агентов», в которых большие языковые модели сочетались с вычислительными интерактивными агентами. В ходе этого исследования генеративные агенты были представлены в интерактивной среде-песочнице, состоящей из небольшого городка из двадцати пяти агентов, использующих естественный язык. Важно отметить, что агенты продемонстрировали правдоподобное индивидуальное и взаимозависимое социальное поведение. Например, начиная с единственного заданного пользователем понятия о том, что один агент хочет устроить вечеринку, агенты автономно распространяют друг другу приглашения на вечеринку.

Почему слово «автономно» важно? Можно возразить, что когда системы ИИ демонстрируют поведение, которое невозможно адекватно проследить до ее отдельных компонентов, следует учитывать, что могут возникнуть риски «черного лебедя» или другие неблагоприятные последствия, которые невозможно точно предсказать или объяснить.

Концепция XAI имеет несколько ограниченное применение в тех случаях, когда ИИ быстро развивается и совершенствуется. Таким образом, XAI представляется недостаточным для смягчения потенциальных рисков, и могут потребоваться дополнительные профилактические меры в виде руководящих принципов и законов.

Поскольку ИИ продолжает развиваться, важность XAI будет только расти. Системы искусственного интеллекта могут применяться во благо, во зло и во зло. В какой степени ИИ может формировать будущее человечества частично зависит от того, кто его применяет и для чего предназначен, как это сочетается с другими технологиями, каким принципам и правилам ИИ соответствует.

XAI может предотвратить или смягчить некоторые потенциальные неблагоприятные последствия системы ИИ. Независимо от возможности объяснить каждое решение системы ИИ, существование понятия XAI подразумевает, что, в конечном итоге, люди несут ответственность за решения и действия, исходящие от ИИ. И это делает ИИ и ОИИ объектом самых разных интересов.