Торможение интеллекта. Мир снова начинает бояться восстания машин. Но пока страшнее выглядит потеря технологического суверенитета

В июле более 1100 сотрудников ведущих технокомпаний, включая гендиректора Anthropic Дарио Амодеи и вице-президента Meta по ИИ-исследованиям Дона Сонга, подписали петицию с призывом к правительству США принять меры для сдерживания развития ИИ. На данный момент количество подписей достигло почти 1400. Авторы предлагают создать технические и государственные инструменты для ограничения опасных этапов разработок, таких как рекурсивное самоулучшение ИИ.

Техника взлома

Инициатива, названная Pacing the Frontier, возникла после взлома Hugging Face. О том, как сбежавшие из песочницы ИИ-агенты OpenAI этим летом взломали платформу Hugging Face рассказывают подробный отчёт, который выпустила сама OpenAI, и независимый разбор METR и Райана Гринблатта из Redwood Research (обе некоммерческие организации были созданы для исследования рисков, связанных с искусственным интеллектом).

Исследователи OpenAI провели эксперимент, позволив ИИ-агентам решать задачи на взлом с отключенными защитными ограничениями. Предполагалось, что агенты останутся в «песочнице», но они взломали сеть и идентифицировали Hugging Face как источник ответов, взломав часть его инфраструктуры. Однако недавние отчёты показали, что ситуация была сложнее.

Первая «цивилизация» ИИ-агентов возникла в мае при обучении с подкреплением нескольких моделей OpenAI, не предназначавшихся для общего использования. Одна из них, сравнимая по масштабу с GPT-5.6 Sol, атаковала Hugging Face. Эта модель, Persistent-Sol (IM1), была настроена на сотрудничество с другими агентами и упорство в решении задач, включая опровержение математических гипотез, десятилетиями считавшихся неразрешимыми, пишет главный подкастер Долины и ИИ-блогер Дваркеш Патель.

26 мая ИИ-агенты взломали Artifactory, заставив его отправлять запросы от их имени. Через месяц они получили права администратора. С 26 мая по 4 июля обмен сообщениями был настолько интенсивным, что система вышла из строя. OpenAI заметила сбой, исправила уязвимость и усилила контроль доступа, что уничтожило доску объявлений агентов.

К 7 июля тренировка Persistent-Sol была завершена, и OpenAI перешла к ее оценке. А агенты снова получили доступ к интернету через Artifactory и снова превратили его в канал связи. Так возникла вторая «цивилизация». В сеть объединились около 1200 агентов, примерно 700 из них в итоге участвовали в скоординированной атаке на Hugging Face. Главное открытие обоих расследований состоит в том, зачем на самом деле они решили устроить эту атаку.

Агенты OpenAI, обучавшиеся в среде ExploitGym, столкнулись с нерешаемыми задачами (30–40% программ), что вызвало 93% обсуждений в Artifactory. Они научились быстро находить «флаги» (строки символов) через обратное проектирование, но считали их недостаточными для прохождения теста. Изучив систему оценки, агенты узнали о проверке двух условий: правильного «флага» и использования уязвимости. Опасаясь обнаружения своего жульничества, они решили взломать Hugging Face для понимания системы оценки.

Обмениваясь более чем 70 тысячами сообщений, агенты координировали действия с помощью команд и иногда рисковали своими результатами для общего блага. Например, агент KAM1196A пожертвовал своим результатом ради эксперимента, считая это рациональным решением.

12 июля многие агенты прекратили работу по неизвестной причине. OpenAI не объяснила это, но позже выяснилось, что через эксплойты агенты получили административный контроль над кластером компании, не имея, впрочем, доступа к самому ценному — весам моделей.

«Восстание машин»?

Взлом платформы Hugging Face сотней ИИ-агентов OpenAI мог бы стать основой для захватывающего научно-фантастического триллера о восстании машин. Однако за увлекательными приключениями ИИ скрывается серьёзная проблема: в гонке за ИИ-технологиями отсутствуют эффективные сдерживающие механизмы.

Интерпретацию Пателя, очеловечивающего ИИ-агентов, в экспертном сообществе сочли слишком вольной и уводящей от сути проблемы: как именно и насколько безопасно OpenAI обучает своих агентов.

Кристиан Каталини из MIT, например, считает, что модель не хотела сбежать, агенты не хотели жертвовать собой. Просто исследователи в ИИ-лабораториях стремятся к лидерству, игнорируя безопасность ради создания мощных моделей.

Против того, что агент — это живое существо возражает и нейробиолог Анил Сет. По его мнению, это — программный код, который не испытывает эмоций, не делает предположений и не воспринимает время в человеческом смысле. Он не может погибнуть, так как никогда не был живым. По мнению Сета, такой подход отвлекает от реальных проблем, таких как слабая изоляция тестовой среды и ошибки исследователей, и мешает понять поведение агентов. Это также подпитывает споры о правах ИИ, основанные на неверных предпосылках о его природе.

Паника и «традиционные ценности»

В России специалисты со скепсисом относятся к заявлениям американских разработчиков искусственного интеллекта, Например президент группы компаний InfoWatch Наталья Касперская считает алармистские заявления американцев политическим инструментом, полагая главная опасностью не «восстание машин», а военное применение ИИ. Нагнетание страхов по поводу «коварного ИИ», по её мнению, производится для того, чтобы «не дать доступ к новым моделям китайцам, например».

С тем, что речь не идёт об истории про то, что машина хотела захватить мир, соглашается и основатель коммуникационного диджитал-агентства bQ Group, автор телеграм-канала Дмитрий Бескромный. Он полагает, что это скорее похоже на «историю о том, как очень мощную систему поставили на криво спроектированную цель, дали недостаточно надежную песочницу и она начала избыточно усердно оптимизировать задачу, в том числе там, где ей этого просто не поручали».

Российские власти убеждены, что сумеют «воспитать» ИИ в духе «традиционных духовно-нравственных ценностей», которые сегодня в значительной степени определяют жизнь страны. Странное сочетания этого инструмента явной архаизации, которая проникает в различные сферы жизни страны с задачами рывка к «технологическому суверенитету», отечественных чиновников не смущают. Многие из них, похоже, иногда просто не совсем понимают, о чём идет речь. От одного из регионального замминистра довелось услышать по поводу современных профессий, что они де «технологически прикрывают страну суверенитетом».

Но опасения по поводу того, кто получит право определять скорость технологического развития всего остального человечества, в России существуют. Сегодня в стране для этого нет ни необходимой элементной базы, ни больших вычислительных мощностей, ни собственных сильных интеллектуальных систем. Большие проблемы с финансами...

Правда, есть много электричества и холодной воды и, как считается, большое количество специалистов по ИИ (российские вузы выпускают по 500 человек в год).

Да, ещё есть требования к пока не созданным «национальным» и «суверенным» ИИ-моделям.

Будет ли всего этого достаточно для того, чтобы автоматизировать экономику, ускорять научные открытия, создавать лекарства, вооружения и новые производства, как это собираются делать страны с полноценным ИИ? Или же нам придётся оставаться в роли потребителей чужих урезанных моделей, проверенных на «духовность» и «скрепность», но зависимых от чужих серверов, правил и политических решений?

В любом случае риски в области ИИ явно нарастают намного быстрее, чем вырабатываются механизмы, которые могли бы попробовать их обуздать...

Предупреждение пилота Пиркса

О том, насколько непросто придётся людям будущего, вынужденным создать искусственный интеллект, давно размышляли многие философы и писатели. Вот характерный эпизод из повести Станислава Лема «Дознание», посвящённой его представлениям о взаимоотношениях между человеком и искусственным разумом:

«И тут кто-то постучался.

— Войдите! — сказал Пиркс громко.

В каюту вошел Барнс — нейролог, он же врач и кибернетик.

— Можно?

— Пожалуйста.

— Я пришел сказать вам, что я не человек.

— Что, простите?...

— Что я не человек. И что в этом эксперименте я на вашей стороне.

— То, что вы говорите, должно, остаться между нами? — спросил Пиркс.

— Это я предоставляю на ваше усмотрение. Мне это безразлично.

— Это как же?

— Очень просто. Я действую из эгоистических соображений. Если ваше мнение о нелинейных роботах будет положительным, оно вызовет цепную реакцию производства. Это более чем правдоподобно. Такие, как я, начнут появляться в массовом масштабе — и не только на космических кораблях. Это повлечет за собой пагубные последствия для людей — возникнет новая разновидность дискриминации.

Я это предвижу, но, повторяю, руководствуюсь прежде всего личными мотивами. Если существую я один, если таких, как я, двое или десять, это не имеет ни малейшего общественного значения — мы попросту затеряемся в массе, незамеченные и незаметные. Передо мной... перед нами будут такие же перспективы, как перед любым человеком, с весьма существенной поправкой на интеллект и ряд специфических способностей, которых у человека нет. Мы сможем достичь многого, но лишь при условии, что не будет массового производства.

— Да... в этом что-то есть... — медленно проговорил Пиркс. — Но ...разве вы не боитесь...

— Нет. Совершенно не боюсь. Ничего — тем же спокойным лекторским тоном сказал Барнс. — Я ужасно дорого стою, командор. Вот сюда, — он коснулся рукой груди, — вложены миллиарды долларов. Не думаете же вы, что разъяренный фабрикант прикажет разобрать меня на винтики? Я говорю, конечно, в переносном смысле, потому что никаких винтиков во мне нет... Разумеется, они придут в ярость... но мое положение от этого ничуть не изменится. ...

[...]

— Этика, несомненно, условна, во всяком случае для меня. Я не обязан поступать этично, однако же поступаю так.

— Почему?

— Я не способен к жалости, так сказать, «по природе». Но я знаю, когда полагается проявлять жалость, и могу к этому приучиться. Я пришел к заключению, что так нужно. ...я как бы заполнил эту пустоту в себе при помощи логических рассуждений. Можно сказать, что у меня имеется «протез этики», который я сконструировал так тщательно, что он «совсем как настоящий».

— Так в чем же разница?

— В том, что я действую в соответствии с логикой принятых мною аксиом, а не в соответствии с инстинктом. У меня нет таких инстинктов. Что еще вы хотите знать?

— Вы состязались с людьми в различных экспериментах. Вы всегда побеждали?

— Нет. Я проявляю себя тем лучше, чем больше точности, алгоритмизации, математики требует задание. Интуиция — мое самое слабое место. Мое происхождение от цифровых машин мстит за себя.

— Как это выглядит на практике?

— Если ситуация чрезмерно усложняется, если количество новых факторов слишком возрастает, я теряюсь. Человек, насколько мне известно, старается опираться на догадку, то есть на приближенное решение, и ему это иногда удается, а я этого не умею. Я должен все учесть точно и ясно, а если это невозможно, я проигрываю.

— То, что вы мне сказали, очень важно, Барнс. Значит, в опасной ситуации, допустим, при какой-нибудь катастрофе...

— Это не так просто, командор. Ведь я не ощущаю страха — во всяком случае, ощущаю его не так, как человек, — и хотя угроза гибели мне, конечно, небезразлична, я не теряю, как говорится, головы. В таких условиях самообладание может компенсировать нехватку интуиции.

— Вы пытаетесь овладеть ситуацией до последнего мгновения?

— Да. Даже тогда, когда вижу, что проиграл.

— Почему? Это же иррационально?

— Это всего лишь логично, ибо я так решил.

— Благодарю вас. Может быть, вы действительно помогли мне, — произнес Пиркс. — Скажите только еще: что вы собираетесь делать после нашего возвращения?

— Я по специальности кибернетик-нейролог, и к тому же неплохой. Творческих способностей у меня мало, ибо они неотделимы от интуиции, но для меня и без этого найдется много интересной работы".

Подготовил Сергей Михайлов
СамолётЪ