Юрьев день
Угроза прямая и неявная. Приведут ли нейросети к «восстанию машин» или же просто сделают нас глупее?
«Теминатор» в «Матрице»
Два известных голливудских фильма с Арнольдом Шваценеггером и Киану Ривзом в главных ролях, вышедшие на экраны в середине 1980-х и в конце 1999-х годов, в разных вариантах рассказывают о том, как человечество создаёт искусственный интеллект, но система быстро становится слишком умной и решает взять управление миром в свои руки, избавившись от мешающих ей людей.
Этот страх, что создание рук человеческих поработит самого человека, преследует нас давно. Давно об этом пишут фантасты. До сих пор успокаивало то, что весь «ужас» экспансии машинного «сверхразума» должен был произойти не прямо сейчас, а когда-нибудь «в будущем». Но мы уже в будущем, оно наступило. И что?
Доцент кафедры компьютерных наук и инженерии в Инженерной школе Тандон Нью-Йоркского университета Юлиан Тогелиус в своей новой книге «Общий искусственный интеллект», вышедшей в этом году в Издательстве Института Гайдара, разбирает существующие сценарии достижения системой искусственного интеллекта такого уровня, когда она начнёт совершенствовать себя, превзойдёт наш интеллект, а затем уничтожит нас — либо из антипатии, либо просто из безразличия. И приходит к выводу о том, что вероятность быстрого и устойчивого наращивания возможностей системы ИИ ею же самой крайне мала.
Во-первых, чтобы система искусственного интеллекта смогла выйти за рамки незначительного улучшения своих текущих возможностей, ей пришлось бы достичь прогресса во множестве областей. Это крайне сложно даже в сфере программного обеспечения, не говоря уже об аппаратной части. Как минимум это невозможно сделать быстро.
Во-вторых, прогресс в разработке нового ИИ зависит не только от интеллекта. Как и любая исследовательская и конструкторская деятельность, она требует экспериментов. А, следовательно, значительного времени.
То есть такой системе ИИ понадобились бы исключительно обширная база знаний, доступ к редчайшим производственным мощностям в разных странах, способность проводить эмпирические эксперименты и значительное количество времени. Ничто из этого не происходит само собой и не может быть достигнуто быстро и незаметно.
«Конечно, — пишет автор, — можно представить систему искусственного интеллекта, которая совершенствуется при поддержке большой команды умных и увлеченных профессионалов, обладающих необходимыми знаниями, связями и финансовыми ресурсами. Но ведь именно так сегодня и происходит разработка программного и аппаратного обеспечения для ИИ. Его создают большие команды людей в разных организациях, используя инструменты ИИ. Однако разумнее считать агентом именно людей, а не системы ИИ. А еще точнее было бы назвать реальным самосовершенствующимся агентом компании или даже всю нашу техническую цивилизацию в целом».
Иными словами, Юлиан Тогелиус хочет сказать нам, что создать «зловредную» систему ИИ способны только люди. И вся опасность, которая может исходить из такой системы, — это не проблема самой системы, а проблема кибербезопасности. В отсутствие которой любой более-менее квалифицированный хакер в состоянии захватить контроль над множеством систем и вызвать хаос мирового масштаба.
Отсюда вывод — самый надёжный способ защиты от кибератак с использованием ИИ — обеспечить распределение современных технологий ИИ между многими участниками общества.
Нейросети делают нас глупее?
Резонансные исследованиях последнего времени много говорят о куда более реальной проблеме, связанной с нейросетями — когнитивном долге, который мы копим из-за ежедневного использования генеративного ИИ. А их авторы задаются вопросом — можно ли избежать умственной атрофии, если ChatGPT уже сейчас — наш ежедневный советчик и помощник во всех делах?
Особенно активно о влиянии генеративного ИИ на мышление заговорили после публикации исследования медиалаборатории Массачусетского технологического института (MIT).
В рамках исследования было проведено сравнение процесса написания эссе студентами с использованием ChatGPT, Google и без применения каких-либо технологий.
В эксперименте приняли участие 54 студента из Бостона в возрасте от 18 до 39 лет, в том числе из таких престижных учебных заведений, как MIT и Гарвард.
Участники были разделены на три группы. Каждой из них было предложено написать эссе на заданную тему. Первой группе было разрешено использовать ChatGPT (модель GPT-4o), вторая группа могла воспользоваться поиском, а третья писала эссе без доступа к интернету.
Эксперимент длился несколько месяцев. В первых трёх сессиях участники использовали назначенные им инструменты. В четвёртой сессии LLM-группа писала эссе без помощи ChatGPT, а группе, которая использовала только свои знания (brain-only), наоборот, разрешили использовать нейросети.
В ходе эксперимента все участники использовали специальные устройства для регистрации электрической активности мозга — электроэнцефалографы. С их помощью исследователи отслеживали активность мозга и измеряли уровень нейронной связности.
Кроме того, эссе участников анализировали на предмет лингвистической оригинальности и разнообразия идей. Также исследователи проводили интервью с участниками, чтобы оценить их субъективное восприятие результатов и способность воспроизводить написанное.
Результаты эксперимента показали, что группа, которая не использовала никаких вспомогательных средств, продемонстрировала наивысший уровень нейронной связности, что говорит о более глубоком вовлечении памяти и креативности. Группа, использовавшая поисковик, показала результаты чуть ниже, а группа, использовавшая LLM, — значительно более низкие результаты.
Участники, использовавшие нейросети, показали худшие результаты в воспроизведении своих текстов: 83% из них не смогли точно процитировать свои эссе, а один участник не смог дать точную цитату. В то же время, участники, которые использовали только мозг, к третьей сессии точно цитировали свои эссе.
Субъективно участники группы, использовавшей LLM, говорили о том, что чувствуют себя менее вовлечёнными в процесс создания эссе. Их эссе, хотя и были лучше структурированы, по оценке ИИ и преподавателей, были оценены как более «однообразные» и «бездушные», с меньшим количеством идей.
В ходе четвёртого этапа эксперимента, когда участники поменялись ролями, стало очевидно, что в группе, которая отказалась от использования ChatGPT и поиска информации, проблемы с цитированием собственных текстов остались. Это может быть признаком «когнитивного долга» — накопленного дефицита когнитивных процессов из-за чрезмерной зависимости от искусственного интеллекта.
В то же время группа, которая начала использовать LLM, продемонстрировала повышенную нейронную активность и лучшую способность к запоминанию текстов. Это связано с тем, что участники этой группы меньше полагались на нейросети и предпочитали сначала написать черновик эссе самостоятельно, а затем использовать чат-бот в качестве дополнительного инструмента для поиска и проверки текста.
Исследователи пришли к выводу, что частое использование нейросетей может привести к снижению способности к самостоятельному критическому мышлению и проблемам с креативностью. Однако разумное использование нейросетей, наоборот, может повысить эффективность работы. Участники, которые начали использовать ИИ только на четвёртом этапе эксперимента, справились с заданием быстрее, а структура их текстов стала более чёткой.
Когнитивная «разгрузка»
Важно отметить, что исследований, анализирующих, как нейросети влияют на наши когнитивные способности, пока не так много. Проведённые эксперименты основываются на сравнительно небольших выборках и не все публикации прошли рецензирование, включая и упомянутое исследование MIT Media Lab, пока что опубликованное только как препринт. Однако самих работ на эту тему становится всё больше — и их результаты дают тревожные сигналы.
Так отрицательную корреляцию между частым использованием ИИ и критическим мышлением обнаружили авторы исследования, пытавшиеся ответить на вопрос, как частое использование ChatGPT и других нейросетей влияет на критическое мышление через «когнитивный оффлоадинг» — процесс, при котором люди делегируют поиск информации и принятие решений внешним инструментам, сводя собственную умственную нагрузку к минимуму.
А в ходе эксперимента, проведённого в Турции в прошлом году удалось установить, что из-за когнитивного оффлоадинга школьники не смогли научиться решать задачи на том же уровне, что и ученики, не использовавшие нейросети.
Когнитивная атрофия
Эти и подобные им эксперименты вызывают беспокойство у самих разработчиков нейросетей. С одной стороны, они стремятся к тому, чтобы их продукты становились всё более востребованными, с другой — им важно предотвратить накопление когнитивного долга и злоупотребление когнитивным оффлоадингом со стороны собственных сотрудников.
В апреле Microsoft Research, исследовательское подразделение Microsoft, опубликовало результаты исследования, проведённого совместно с Университетом Карнеги-Меллон. В ходе исследования изучалось влияние использования генеративного ИИ, такого как ChatGPT и Microsoft Copilot, на критическое мышление и когнитивные усилия работников умственного труда, включая разработчиков программного обеспечения.
В исследовании приняли участие 319 человек, которые предоставили 936 примеров использования генеративного ИИ в рабочих задачах. Среди участников были программисты, использующие Copilot для генерации кода, учителя, применяющие нейросети для создания изображений, и юристы, использующие ChatGPT для поиска законов.
Участники исследования прошли опрос, в котором рассказали о том, как они используют нейросети и насколько они уверены в качестве выполнения задач с их помощью. Также в ходе исследования оценивалось, могут ли респонденты выполнить ту же работу самостоятельно, без использования ИИ.
Большинство участников отметили снижение использования критического мышления при обращении к помощи ИИ. Например, 72% участников сообщили о снижении усилий при выполнении задач на запоминание и понимание, а 55% — при оценке. Кроме того, пользователи ИИ предоставляли менее разнообразные результаты по сравнению с контрольной группой. Разработчики, использующие инструменты вроде Copilot, чаще копировали код с минимальными изменениями и реже участвовали в решении проблем.
Исследователи пришли к выводу, что неправильное использование технологий может привести к ухудшению когнитивных способностей.
Они предупреждают, что «главная ирония автоматизации заключается в том, что, механизируя рутинные задачи и оставляя обработку исключений пользователю, мы лишаем человека возможности практиковать свои суждения и укреплять свой когнитивный потенциал, что может привести к умственной атрофии и неподготовленности в случае, когда ИИ-системы будут выдавать ошибочные суждения».
Пора ли впадать в отчаяние?
Пожалуй, всё-таки рано, полагают эксперты. Во-первых, все исследования не позволяют с уверенностью сказать, делает ли ChatGPT нас глупее. Метод исследования активности мозга с помощью электроэнцефалографии имеет свои ограничения и нуждается в дополнительных экспериментах для подтверждения результатов. Кроме того, выборка была небольшой.
Авторы эксперимента MIT Media Lab с ЭЭГ признают, что делать выводы о вредном воздействии нейросетей на мозг пока рано. Однако они считают, что уже сейчас можно начать обсуждение влияния ChatGPT, особенно на развивающийся мозг, учитывая быстрое распространение этой технологии.
А, во-вторых, несмотря на все опасения, которые могут вызвать результаты экспериментов, говорить о полном отказе от нейросетей было бы неразумно и ошибочно.
Исследователи отмечают, что использование генеративного искусственного интеллекта значительно повышает эффективность, особенно в выполнении рутинных задач. Более того, этот инструмент позволяет пользователям снизить когнитивную нагрузку и сосредоточиться на более сложных и амбициозных задачах.
Однако важно использовать нейросети с умом. Например, участники эксперимента MIT Media Lab, которые в четвёртой сессии получили возможность использовать ChatGPT, справились с заданием быстрее, чем в предыдущих сессиях. При этом они продемонстрировали высокую активность мозга.
Участники эксперимента использовали нейросеть не для генерации полного текста, а как инструмент для исследования и поиска информации, а также для редактирования. Это показывает, что использование нейросетей может быть эффективным и не приводит к накоплению когнитивного долга.
Только важно не перекладывать всю умственную работу на ИИ, а писать черновик самостоятельно или тщательно редактировать сгенерированный текст, проверяя первоисточники. Кроме того, необходимо регулярно выполнять даже рутинные задачи самостоятельно, чтобы убедиться в сохранении когнитивных функций.
Подготовил Сергей Михайлов
СамолётЪ