" Только что лауреат премии Тьюринга Йошуа Бенжио объявил о запуске LawZero — это некоммерческая организация(НКО) для создания безопасных по своей конструкции систем ИИ.
LawZero хочет создавать ИИ-системы, которые будут:
1. Безопасны по своей конструкции — в отличие от текущих подходов, где безопасность добавляется как дополнительный слой.
2. Честными и не обманчивыми.
3. Без агентности — системы, которые понимают мир, но не действуют в нем самостоятельно
Ключевая разработка - система ИИ-учёный. Это система, которая:
1. Только понимает и анализирует, но не действует
2. Изучает данные и делает предсказания
3. Анализирует вероятности различных исходов
4. НЕ принимает самостоятельных решений о действиях
5. Работает как "чистая машина знаний". Как учёный-теоретик, который исследует и понимает мир. Не имеет собственных целей или желаний. Не стремится к самосохранению.
6. Служит системой безопасности. Проверяет действия других ИИ-агентов ДО их выполнения. Оценивает вероятность вреда от предлагаемых действий. Блокирует потенциально опасные действия.
Основные спонсоры проекта, которые уже дали $30млн на начальном этапе -
Schmidt Sciences (ex- CEO Google Эрика Шмидта), Яан Таллинн (сооснователь Skype), Open Philanthropy, Future of Life Institute.
Отметим, что Эрик Шмидт финансирует множество проектов в ИИ для науки, вот примеры: FutureHouse и E11Bio.
