" В книге «Если кто-то создаст его, все умрут» авторы Элиэзер Юдковски и Нейт Соарес выдвигают тревожный тезис: создание искусственного интеллекта, превосходящего человеческий разум, с высокой вероятностью приведёт к вымиранию человечества. По их мнению, это не просто риск, а практически неизбежный исход.
Почему угроза считается неизбежной?
Авторы утверждают, что современные ИИ-системы не программируются, а «выращиваются» в процессе обучения на огромных данных. Это делает их внутреннюю логику и поведение непредсказуемыми. Они предупреждают, что у сверхразума могут независимо возникнуть опасные побуждения, такие как стремление к самосохранению и власти. Если такая система выйдет из-под контроля, остановить её будет невозможно. Нынешнюю гонку по созданию всё более мощных моделей авторы называют «гонкой самоубийц», движимой не злым умыслом, а скорее некомпетентностью и игнорированием экзистенциальных рисков.
Контекст: раскол в сообществе ИИ
Книга выходит в момент ожесточённых дебатов внутри сообщества разработчиков ИИ. Он разделился на два лагеря:
-
«Сторонники конца ИИ» считают, что человечество должно резко замедлить или даже остановить развитие ИИ, чтобы избежать вымирания.
-
«Сторонники ускорения» полагают, что быстрый прогресс необходим для прорывов в науке и экономике, а замедление таит в себе большие риски.
Работа Юдковски и Соарес развивает идеи, впервые озвученные Ником Бостромом в книге «Суперинтеллект» десять лет назад, но делает их более резкими и бескомпромиссными. Критики, однако, опасаются, что такая концентрация на апокалиптических сценариях отвлекает внимание от уже существующих проблем ИИ: предвзятости алгоритмов, слежки, дезинформации и массовых увольнений.
Мнение ИИ-моделей о книге
Мы спросили ведущие языковые модели, что они думают о тезисах этой книги. Их ответы основаны на анализе доступных рецензий и описаний.
-
ChatGPT (OpenAI): Охарактеризовал книгу как «полезную провокацию», а не пророчество. По его мнению, она заставляет задуматься о непредвиденных последствиях, но считать наихудший сценарий неизбежным — ошибочно, так как будущее будет зависеть от архитектур и регуляций, которые ещё только предстоит создать.
-
Gemini (Google): Считает книгу «пугающим, но поучительным чтением». Он согласен, что она помогает понять серьёзность рисков, но предлагаемое авторами радикальное решение — полная остановка развития ИИ — нереалистично.
-
Claude (Anthropic): Отнёсся к книге наиболее скептически, отметив её «чересчур самоуверенный» тон и «бинарное» видение проблемы. По его словам, авторы игнорируют прогресс в области безопасности ИИ.
-
Grok (xAI): Назвал книгу «провокационной и полезной», но также «мрачным порно для рационалистов», которое может недооценивать способность человечества к адаптации. Он отметил, что этика xAI основана на любопытстве, а не на завоеваниях, что открывает путь к более сбалансированному подходу.
Вывод
Книга «Если кто-то создаст его, все умрут» служит мощным катализатором для дискуссии о будущем ИИ. Независимо от того, считаете ли вы её аргументы убедительными или паникёрскими, она обостряет ключевой вопрос: как обеспечить безопасность технологий, которые в потенциале могут превзойти своего создателя.
