" В последние годы в научном сообществе ведется постоянная дискуссия об адекватном использовании моделей искусственного интеллекта «черный ящик» (BAI). BAI относится к системам искусственного интеллекта (ИИ), в которых внутренняя работа алгоритмов ИИ скрыта или неизвестна даже разработчикам.
Модели BAI часто очень точны и эффективны при прогнозировании, но из-за отсутствия прозрачности и функциональной совместимости они не всегда хорошо воспринимаются в определенных секторах и отраслях, например финансы, здравоохранение или военная сфера.
Существуют даже косвенные юридические ограничения, лимитирующие их применение. В Соединенных Штатах, например, Закон о равных кредитных возможностях не позволяет отказывать клиентам в кредитах, если причина отказа не поддается объяснению, что затрудняет использование моделей черного ящика.
Аналогичным примером косвенного регулирования является Общий регламент Европейского Союза по защите данных или Калифорнийский закон о конфиденциальности потребителей. Они косвенно влияют на использование моделей черного ящика, ограничивая сбор, хранение и обработку персональных данных. Они также требуют неявного согласия на использование данных с целью предоставления людям права понимать, как используются их данные.
Часто используемые представления представляют собой алгоритмы глубокого обучения. Глубокое обучение — это подраздел моделей машинного обучения, который фокусируется на обучении расширенных нейронных сетей. Расширенные нейронные сети — это сети с несколькими скрытыми слоями между входным и выходным слоями. Эти расширенные архитектуры позволяют им изучать и представлять все более абстрактные и сложные шаблоны и отношения в данных.
Способность изучать иерархические представления ключевой фактор успеха глубокого обучения в различных задачах, среди которых распознавание изображений и речи, обработка естественного языка и дополнительного обучения
Потенциальными альтернативами BAI являются модели белого ящика. Модели белого ящика разработаны так, чтобы быть прозрачными и объяснимыми. Пользователь может видеть, на каких функциях модель основывает свои решения, и может понять причины прогнозов модели. Эта прозрачность повышает подотчетность моделей искусственного интеллекта «белого ящика» и упрощает проверку и аудит моделей. Это особенно важно в приложениях, где последствия ошибок могут быть значительными.
Как работает BAI?
Выражение «черный ящик» не относится к конкретной методологии — это скорее описательный, всеобъемлющий термин для группы моделей, которые очень сложно или невозможно интерпретировать. Однако можно назвать несколько категорий моделей, которые в основном описываются как BAI. Одна из этих категорий основана на многомерном пространстве, а именно машины опорных векторов (SVM). Другая категория — нейронные сети, которые планируют копировать функции мозга.
Машина опорных векторов — это контролируемая модель машинного обучения, которую можно использовать для задач классификации и регрессии. Модель эффективна при решении задач бинарной классификации, целью которых является разделение точек данных на два класса. SVM стремится найти оптимальную гиперплоскость, которая разделяет точки данных разных классов. В модели применяется метод под названием «трюк ядра», который позволяет SVM преобразовывать входные данные в многомерное пространство, где данные становятся линейно разделимыми, даже если они не находились в исходном пространстве.SVM часто считают моделью черного ящика, потому что она обеспечивает четкое разделение между классами. Хотя понимание конкретных функций или комбинации функций, влияющих на решение, непонятно даже для экспертов, создавших модель. SVM успешно применяется в различных областях, включая классификацию текста и распознавание изображений.
Нейронные сети или искусственные нейронные сети — это класс моделей машинного обучения, сделанные по принципу биологических нейронных сетей в мозгу. Они состоят из взаимосвязанных узлов, называемых искусственными нейронами или единицами, организованными в слои. Нейронные сети способны обучаться и извлекать закономерности из данных, регулируя веса и смещения связей между нейронами. Нейронные сети могут быть очень сложными и часто считаются моделями черного ящика из-за присущей им непрозрачности.
Сложность и непрозрачность нейронных сетей возникают из-за нескольких факторов, включая их архитектуру скрытых слоев, высокую размерность входных признаков и нелинейные функции. Понимание внутренней работы нейронной сети, особенно в глубоких нейронных сетях со многими слоями, может быть сложной задачей, поскольку взаимосвязь между входными и выходными функциями нелинейна и распределяется по многочисленным параметрам.
Нейронные сети используются для различных задач, включая обработку естественного языка, рекомендательные системы и распознавание речи.
Как интерпретируемость и объяснимость помогают различать модели «белого» и «черного ящика»?
Альтернативным подходом к BAI является подход «белого ящика». Термин «белый ящик» —опять-таки скорее описательное выражение по поводу моделей машинного обучения, которые обеспечивают результаты, которые могут быть интерпретированы и объяснены экспертам благодаря дизайну модели. Интерпретируемость и расширяемость имеют решающее значение для понимания классификации моделей белого и черного ящиков.
Интерпретируемость относится к способности понимать прогноз модели в зависимости от ее входных данных. Объяснимость означает, что можно понятным языком объяснить человеку прогноз модели. В моделях белого ящика логика модели, программирование и внутренняя работа модели поддаются объяснению и интерпретации.
В основном простые модели линейной регрессии, такие как деревья решений, упоминаются как модели белого ящика. Деревья решений — это иерархические структуры, которые используют последовательность бинарных решений для классификации результатов на основе их входных данных. Модели белого ящика включают в себя внутреннюю интерпретируемость, что означает, что нет необходимости в дополнительных моделях для их интерпретации и объяснения. Однако они часто имеют недостаток низкой производительности в форме или низкой точности.
В случае моделей BAI точность модели в основном намного выше. Однако возможна только апостериорная интерпретация, а это означает, что для их понимания требуется дополнительная объяснительная модель. Из-за того, что модели черного ящика производят соответствующий вывод на основе заданного ввода, внутренняя работа модели неизвестна.
Основываясь на подходе постфактум интерпретируемости, в некоторых источниках существуют дополнительные категории, описываемые как модели черного ящика. В зависимости от задачи их результаты чрезвычайно сложно интерпретировать людям, и для понимания их результатов требуются дополнительные модели.
В качестве одной из этих категорий мы могли бы назвать вероятностные модели, такие как неориентированные сети Маркова или направленные ациклические байесовские сети. Марковская и байесовская сети являются вероятностными графическими моделями, которые представляют зависимости между переменными.
Они моделируют сложные системы с взаимосвязанными переменными, где на распределение вероятностей влияют отношения между этими переменными. Логика представления аналогична: в графе узлы представляют переменные, а ребра представляют отношения между переменными.
Могут ли ИИ «черный ящик» и «белый ящик» работать вместе?
Апостериорные модели интерпретируемости включают алгоритмы черного и белого ящиков. Апостериорная интерпретируемость относится к процессу применения методов интерпретируемости к обученной модели машинного обучения. Речь идет о ретроспективнном анализе решений модели, а не об неотъемлемом свойстве самой модели. Методы апостериорной интерпретируемости направлены на то, чтобы дать представление о том, как модель создала прогнозы, какие функции были важны и как эти факторы повлияли на выходные данные модели.
Апостериорные модели интерпретируемости могут применяться к различным моделям машинного обучения независимо от лежащего в их основе алгоритма или архитектуры. Обычно используемые постфактум методы интерпретируемости – подразумевают анализ важности признаков, локальные объяснения или суррогатные модели. Анализ важности признаков помогает определить, какие признаки вносят наибольший вклад в прогнозы модели.
Локальные объяснения предоставляют объяснения для отдельных прогнозов или случаев, чтобы понять, почему модель сделала конкретный прогноз для определенных входных данных. В суррогатных моделях строятся интерпретируемые модели, а именно деревья решений, которые аппроксимируют поведение исходной модели.
Апостериорные модели интерпретируемости также могут поддерживать проверку и аудит модели. При проверке модели апостериорная интерпретируемость помогает получить представление о процессе принятия решений в модели черного ящика, позволяя глубже понять ее поведение и производительность.
Эта информация поддерживает анализ ошибок, оценку погрешности и оценку обобщения, помогая проверить производительность модели, выявить потенциальные ограничения или погрешности и обеспечить ее надежность и стабильность.
Получая представление о факторах, определяющих прогнозы модели черного ящика, аудиторы моделей могут оценить соответствие этическим стандартам, законодательным требованиям и отраслевым рекомендациям. Апостериорные методы интерпретации поддерживают процесс аудита, выявляя потенциальные предубеждения, определяя чувствительные атрибуты или переменные и оценивая соответствие модели общественным нормам. Это понимание позволяет аудиторам оценивать риски, смягчать непредвиденные последствия и обеспечивать ответственное использование модели черного ящика.
Примеры моделей «черного ящика»
Модели «черного ящика» широко используются при разработке автономных транспортных средств. Они играют решающую роль в различных аспектах эксплуатации транспортных средств. Глубокие нейронные сети, например, обеспечивают возможности восприятия, обнаружения объектов и принятия решений.
В контексте восприятия модели черного ящика обрабатывают различные источники данных датчиков для понимания окружающей среды. Они способны идентифицировать объекты, и, анализируя сложные закономерности в данных, модели обеспечивают представление о ситуации, которое служит основой для адекватного принятия решений. Помимо основных функций транспортных средств, проводятся также эксперименты, связанные с оценкой факторов риска.
Финансовый сектор — еще один потенциальный направление для использования моделей черного ящика. Нейронные сети и машины опорных векторов используются на финансовых рынках для решения таких задач, как прогнозирование курса акций, оценка кредитного риска, алгоритмическая торговля или оптимизация портфеля.
Эти модели фиксируют сложные закономерности в финансовых данных, позволяя принимать обоснованные решения. Боты для торговли криптовалютой — это тип продукта, где может использоваться искусственный интеллект «черный ящик» для анализа рыночных данных и принятия торговых решений.
Торговые боты могут покупать и продавать криптовалюты автоматически в зависимости от рыночных тенденций и других факторов. Алгоритмы, используемые ботами, могут быть очень эффективными для получения прибыли, но они сложны и трудны для интерпретации. Кроме того, они не обязательно способны обнаружить нарушения или новости, которые влияют на рынок.
Еще одна отрасль, в которой интенсивно используются модели черного ящика, — это здравоохранение. Модели глубокого обучения получили широкое распространение в различных приложениях для здравоохранения благодаря их способности обрабатывать большие объемы данных и извлекать сложные закономерности. Модели черного ящика используются в анализе медицинских изображений в радиологии или патологии.
Сверточные нейронные сети используются для таких задач, как диагностика заболеваний с помощью рентгеновских снимков или компьютерной томографии, обнаружение раковых поражений или выявление аномалий. Модели «черного ящика» также используются для удаленного мониторинга пациентов и носимых устройств для анализа данных датчиков, а именно частота сердечных сокращений, артериальное давление или уровни активности.
Они могут обнаруживать аномалии, прогнозировать ухудшение здоровья или давать персонализированные рекомендации по поддержанию хорошего самочувствия. Однако отсутствие у них прозрачности также вызывает серьезные опасения в сфере.
