Кью-стар всерьёз угрожает человечеству? Владимир Путин считает, что обуздать «универсальный искусственный интеллект» помогут «традиционные ценности»

Почему увольняли Альтмана

На минувшей неделе проблема ИИ была в центре внимание учёных и политиков. Мировые СМИ до сих пор не могут до конца понять, что настолько напугало совет директоров компании-разработчика ИИ OpenAI, что они решили пойти на рискованную (и в итоге провалившуюся) операцию с увольнением Сэма Альтмана. Ближе всех к разгадке, похоже, приблизился Reuters — как выяснило агентство, первопричиной оказались опасения разработчиков по поводу того, что новая модель ИИ всерьёз угрожает человечеству.

В изложении Reuters события развивались следующим образом: незадолго до увольнения Альтмана несколько разработчиков OpenAI написали совету директоров письмо о том, что разрабатываемая компанией новая модель ИИ — Q* (Кью-стар) — всерьез угрожает человечеству. Это письмо стало одним из решающих факторов неожиданного поступка совета директоров, инспирированного главным научным сотрудником OpenAI Ильей Суцкевером. Письмо легло на подготовленную почву — членов совета давно беспокоили данные о том, что СЕО OpenAI занимается коммерциализацией прорывных продуктов без понимания последствий.

Многие в OpenAI считают, что Q* похож на решающий прорыв к настоящему AGI (Artificial general intelligence) — «универсальному искусственному интеллекту», пишет Reuters. Обычно под этим термином понимается гипотетически возможный автономный ИИ, способный выполнять любые интеллектуальные задачи, подвластные человеку. Именно создание AGI — одновременно главная конечная цель разработчиков ИИ и главный потенциальный риск, который эта отрасль создаёт для человечества.

Q* способен решать незнакомые математические задачи, пусть пока и на школьном уровне, — то есть отыскивать единственный правильный ответ. Именно это, а в широком смысле — способность отличать истину от лжи, оставалось фундаментальным барьером для нынешней лингвистической модели GPT. Преодоление такого барьера подразумевает возможность самообучения и саморазвития ИИ на самостоятельно полученных данных. Если OpenAI действительно этого добилась, на пути ИИ к AGI потенциально снят ещё один барьер — коллапс языковой модели при обучении на ИИ-контенте. Действительно, авторы письма указали на другой проект компании — «AI scientist», посвящённый созданию исследовательского ИИ.

Вполне вероятно, что именно эти проекты Альтман имел в виду, когда на саммите АТЭС в Сан-Франциско говорил, что пару недель назад вновь «присутствовал при событии, поднимающем завесу невежества и сдвигающем границы знания». И уже на следующий день его уволили, правда, всего через четыре дня Альтман триумфально вернулся в компанию под давлением сотрудников и главного акционера — Microsoft.

«Момент Оппенгеймера»

В первые дни после скандала в OpenAI появилась конспирологическая версия о том, что внезапное увольнение Альтмана объясняется пережитым советом директоров OpenAI «момента Оппенгеймера» (по имени создателя атомной бомбы — момент, когда изобретатель осознает, какую угрозу человечеству несет его изобретение).

Но до упомянутой статьи Reuters никаких прямых подтверждений этому не было.

До публикации Reuters не было известно даже о существовании Q* как модели ИИ (само название отсылает к теории машинного обучения). Но в остальном статья скудна на детали. Самое главное — в ней нет никакой информации относительно постановки решённых Q* математических задач, как и комментариев OpenAI. Без этого сказать, произошел ли реальный прорыв, невозможно. У коммерчески доступной GPT-4 тоже есть математические способности, обусловленные самой природой большой лингвистической модели (математика — это язык). Но выше школьной математики она не поднимается.

Впрочем, Илон Маск, чья xAI недавно представила ИИ-чатбота Grok, назвал статью Reuters «крайне беспокоящей». Маск давно считает неконтролируемый AGI большой и реальной угрозой человечеству. Соучредитель ИИ-стартапа Anthropic (чатбот Claude) Джек Кларк еще в начале года предупредил, что ИИ стали развиваться темпом быстрее экспоненциального. «Другими словами, в ближайшие годы нас ждёт прогресс, который невозможно даже осознать на интуитивном уровне», — считает он.

«Сегодня рано, завтра поздно»

То, что человек неправильно оценивает нелинейный, а особенно экспоненциальный рост, известно давно и хорошо. В ИИ это может привести к ситуации «сегодня рано, завтра поздно», когда удобный инструмент ChatGPT породит «сверхразум».

Один из основателей OpenAI и её главный научный сотрудник Илья Суцкевер, который инициировал увольнение Альтмана, но в итоге сам был вынужден покинуть совет директоров, недавно сказал, что AGI «будет иметь огромное и невероятное влияние на каждую сферу человеческой деятельности». Он считает, что создание AGI умнее человека цель вполне достижимая, но предупреждает, что такой ИИ никогда не должен захотеть действовать самостоятельно.

Эксперты полагают, что опасность AGI не в какой-то злонамеренности ИИ, которую ему приписывают авторы фантастических блокбастеров вроде «Терминатора», в котором ИИ «Скайнет» объявляет войну человечеству. А в том, что он способен в совершенстве, и контринтуитивно для человека, выполнить некорректно поставленную или неочевидно вредоносную задачу.

«Православный» ИИ

Об ИИ, уже как о геополитическом факторе на прошлой неделе говорили участники конференции «Путешествие в мир искусственного интеллекта». Своими мыслями по этому поводу поделился российский президент.

Как следует из речи Владимира Путина, он не видит проблемы в обуздании отечественного ИИ — достаточно загрузить в него «этический регулятор технологического прогресса» в виде консервативных «традиционных» ценностей.

А вот западный ИИ, по мнению Путина, созданный по западным стандартам, вполне может стать «ксенофобом».

В любом случае, убежден глава государства, «технологический мир будущего должен быть многополярным». И вот это пугает больше всего.

Ведь если внимательно прочесть очередной ежегодный доклад провластного Валдайского клуба «Аттестат зрелости, или Порядок, какого ещё не было», можно найти в нём описание мировой «многополярности», как мира без правил. Это мир доМодерна, с кулачным правом. Если говорить о Европе, то это аналог XVII века — войны всех против всех. Многополярность в мире — это вечная война и хаос.

При таком взгляде на мир ИИ, созданные по разным стандартам (западным и российским) выглядят как два «терминатора» — грозное оружие в тотальном противостоянии.

При этом авторы доклада ещё раз подчёркивают:

Невольно напрашивается вопрос, смогут ли эти лидеры в условиях тотальной неопределённости сохранить контроль над своими ИИ, чтобы уберечь их от соблазна самостоятельно решить противоречия людей между собой.

Подготовил Сергей Михайлов
СамолётЪ