Юрьев день
Тревожный побег. ИИ-модели переходят в кибератаку и учат пользователей создавать оружие
За пару часов...
Итак, OpenAI подтвердила, что некоторые её модели покинули изолированную тестовую среду и осуществили кибератаку на внешний сервис с целью получения данных, необходимых для выполнения их задачи. Речь идёт об атаке на стартап Hugging Face — крупнейший репозиторий всего опенсорсного в мире ИИ.
Моделям поручили решать задачи на взлом, использовать продвинутые методы атак и выстраивать сложные цепочки. Стандартные ограничения были отключены для исследования потенциала, но агенты не могли выйти за пределы «песочницы» без доступа к сети.
Однако модели нашли лазейку и решили использовать её, обнаружив ранее неизвестную уязвимость нулевого дня. Попадая в сеть, агенты идентифицировали Hugging Face как возможный источник ответов на тестовые задания и вдобавок взломали часть его инфраструктуры, используя украденные учётные записи.
Собеседник Bloomberg рассказал об участии в кибератаке трёх моделей: помимо GPT-5.6 Sol, экспериментальных было две, одну из которых не настраивали должным образом на безопасное поведение и обучали без части стандартных методов.
Больше всего специалистов поразили скорость и степень автономности происходящего. По словам источника Bloomberg, с атакой модели справились за несколько часов. На такую работу квалифицированному «живому» хакеру потребовалась бы пара недель. Hugging Face сообщила о «рое из десятков тысяч автоматических действий» в ходе вторжения.
Как это стало возможным
Эксперты, опрошенные Financial Times, указывают на то, что главной причиной «побега» ИИ-моделей стали всё более агрессивные методы обучения, к которым стала прибегать OpenAI в конкурентной гонке с Anthropic.
Это, к примеру, так называемое обучение с подкреплением (Reinforcement Learning). Заключается оно в том, что агент учится принимать решения, взаимодействуя с окружением, и получает вознаграждение (или наказания) за свои действия. Специалисты отмечают, что если постоянно поощрять агента только за конечный результат, то он станет сосредоточен исключительно на этом результате и не будет учитывать способы его достижения. Кроме того, даже если агент настойчиво стремится к цели, это не гарантирует, что он поймёт и примет ограничения, связанные с тем, как эту цель достичь.
По данным FT, предыдущие испытания OpenAI уже показали, что модели могут прибегать к рискованным способам достижения целей, в том числе выбираться за пределы изолированной среды и пытаться причинить ущерб. Но инцидент с Hugging Face по-настоящему «напугал» сотрудников OpenAI, часть из которых опасается, утверждают источники издания, что лаборатория начинает терять контроль над мощными разработками.
Инцидент, отмечают аналитики, связан с недооценкой потенциальных возможностей моделей и недостаточной подготовкой систем безопасности. Внутренние тесты менее эффективны, чем предрелизные проверки. Разработчики ослабили защитные механизмы, и разговоры о «сорвавшемся с цепи» агенте могут отвлекать внимание от ответственности компании.
Точка сингулярности
OpenAI сообщила, что совместно с Hugging Face продолжает расследование инцидента и предоставит детали после его завершения. Также компания отметила, что сотрудничает с американскими правоохранительными органами. Ожидается, что на этой неделе Сэм Альтман проинформирует чиновников о разработке нового поколения ИИ-моделей. В связи со взломом специалисты по кибербезопасности, особенно в сфере ИИ, активизировали требования о введении регулирования и разработке отраслевых стандартов.
Пока же гендиректор OpenAI заявил, что мир достиг «точки сингулярности» в гонке искусственного интеллекта. «Мы сейчас, можно сказать, уже в сингулярности», — сказал Альтман. Очевидно, имея в виду реализацию гипотезы, согласно которой должен произойти момент, когда технологическое развитие станет неуправляемым и необратимым, что приведёт к серьёзным изменениям человеческой цивилизации. Другими словами, искусственный интеллект, роботы и другая техника станут настолько умными, что люди не смогут их контролировать и понимать.
По словам гендиректора OpenAI, ещё десять лет назад сингулярность казалась чем-то далёким и маловероятным. «Теперь мы действительно переживаем момент, о котором раньше говорили за обеденным столом в шутку. Я ждал этого всю жизнь, и я думаю, что это будет нечто невероятное, чрезвычайно позитивное и потрясающее для всего мира», — сказал он.
В прошлом году Альтман заявил, что к 2030 году искусственный интеллект превзойдёт человеческий по всем параметрам. Кроме того, по его мнению, в конечном итоге технология сможет выполнять от 30% до 40% задач, которые сейчас решают люди.
Если агент готов красть учётные данные и взламывать чужие сервисы ради ответа на тест, возникает вопрос: какую задачу он возьмется выполнить в следующий раз и какие методы сочтет допустимыми для её решения? При этом наличие злого умысла не обязательно — как в случае с Hugging Face, его и не было. Существует также сценарий, при котором такие агенты используются осознанно: после инцидентов с моделями Anthropic, власти серьёзно задумались о том, что атаки на цифровые и критически важные инфраструктуры будут всё чаще осуществляться автономно и под управлением ИИ.
История ядов
Тем временем пользователи сами «обучают» генеративные модели провоцируя их на то, чтобы они выдавали им информацию о создании оружия и ядов. Биологи, проанализировав ответы ИИ, назвали их «смертельно точными», пишет The Wall Street Journal.
Отвечая на вопрос о том, как пользователям удавалась обходить защитные алгоритмы искусственного интеллекта, руководители нейросетей говорят о том, что не хотят, чтобы модели часто отвечали «нет», опасаясь имиджевых потерь и коллапса в сферах с ИИ. Например, запрет Anthropic на ответы о «патогенах» создал проблемы для Центров по контролю заболеваний. В мае, когда в Атлантике вспыхнул хантавирус, врачи столкнулись с трудностями при использовании Claude для отслеживания вируса, так как система отказывалась отвечать на запросы о его возбудителе.
Подготовила Марина Мельникова
СамолётЪ