Бывший главный научный сотрудник OpenAI запускает ‘Безопасную’ конкурирующую лабораторию искусственного интеллекта

Его новая компания Safe Superintelligence Inc. (SSI) соучредителями являются Дэниел Гросс, бывший руководитель отдела искусственного интеллекта в Apple, и Дэниел Леви, ранее работавший в OpenAI. Единственная цель компании - повысить безопасность и расширить возможности искусственного интеллекта в тандеме.

“Мы будем стремиться к безопасному сверхразуму прямым путем, с одним фокусом, одной целью и одним продуктом”, - написала новая фирма в твиттере в среду. “Мы сделаем это с помощью революционных прорывов, произведенных небольшой командой cracked”.

Уход Суцкевера из OpenAI в прошлом году последовал за внутренней напряженностью, включая опасения по поводу того, что безопасность отодвигает на второй план прибыль. С помощью SSI он стремится не отвлекаться на накладные расходы на управление или продуктовые циклы, с которыми часто сталкиваются крупные компании, занимающиеся искусственным интеллектом.

“Наша бизнес-модель означает, что безопасность и прогресс изолированы от краткосрочного коммерческого давления”, - говорится в официальном заявлении на веб-сайте SSI. “Таким образом, мы можем спокойно масштабироваться".

SSI будет организацией, ориентированной исключительно на исследования, в отличие от текущей бизнес-модели OpenAI, которая включает коммерциализацию своих моделей искусственного интеллекта. Как следует из названия, первым и единственным продуктом SSI станет безопасный суперинтеллект.

“Под safe мы подразумеваем безопасность, подобную ядерной, в отличие от safe, выражающейся в ”доверии и безопасности", - объяснил Суцкевер Bloomberg.

Миссия компании - расширить фокус Ильи на “превосходстве” интересов человека, сосредоточившись исключительно на разработке, а не на “блестящих продуктах”, которые, по его словам, отвлекали OpenAI.

Суцкевер предполагает, что системы искусственного интеллекта SSI, когда они будут готовы, будут более универсальными и расширяющими свои возможности, чем существующие модели большого языка. Конечная цель - создать "безопасный сверхразум", который не причинит вреда человечеству и будет действовать на основе таких ценностей, как свобода и демократия.

"На самом базовом уровне безопасный сверхразум должен обладать тем свойством, что он не причинит вреда человечеству в больших масштабах", - сказал он Bloomberg.

Штаб-квартиры SSI будут расположены в Соединенных Штатах и Израиле, и прямо сейчас она набирает сотрудников.

“Мы предлагаем возможность заняться делом вашей жизни и помочь решить самую важную техническую задачу нашего времени”, - написала новая компания в твиттере.

Это событие произошло после того, как OpenAI решила расформировать свою команду super alignment, отвечающую за долгосрочную безопасность искусственного интеллекта, после ухода ключевых сотрудников.

Суцкевер входил в правление OpenAI, которое первоначально уволило генерального директора Сэма Альтмана из соображений безопасности, но через несколько дней Альтмана восстановили в должности с новым правлением, которое он контролировал. После этих событий была сформирована новая команда безопасности под контролем Альтмана, многие члены которой, отвечающие за разработку методов обеспечения безопасности, были уволены, перемещены или вынуждены уйти в отставку.

Например, Леопольд Ашенбреннер, бывший исследователь безопасности OpenAI, недавно раскритиковал методы обеспечения безопасности компании как "вопиюще недостаточные". В настоящее время он работает в инвестиционной фирме, специализирующейся на разработке AGI, которую он основал вместе с Патриком Коллисоном, Джоном Коллисоном, Натом Фридманом и Гроссом, которые также были соучредителями SSI вместе с Суцкевером.

Помимо Ашенбреннера, компанию покинул Ян Лейке, бывший руководитель отдела разработки OpenAI, также покинувший компанию вместе с Суцкевером и раскритиковавший компанию за то, что она ставит прибыльность выше безопасности. Вскоре после своей отставки он объявил, что присоединится к конкурирующей фирме Anthropic, которая сама была основана бывшими исследователями OpenAI, обеспокоенными плохим подходом компании к разработке безопасного искусственного интеллекта.

И Гретхен Крюгер, исследователь политики OpenAI, покинули компанию, сославшись на те же опасения, что разделяют Лейке и Суцкевер.

Бывшие члены правления также обвинили Сэма Альтмана в распространении ”токсичной культуры" в рабочей среде. Новые члены правления оспорили эти обвинения, и с тех пор OpenAI освободила сотрудников от соглашений о недопустимости унижения и удалила спорные пункты из документов об увольнении после общественного протеста.