Новая нейросеть пугает даже своих создателей | Claude opus

Вот это Дарио Амадей, директор компании Anроopic, создавшую нейросеть Клод, конкурентчату GPT. И пока он в прямом эфире презентовал новую, самую умную модель, его подчинённый Сеф Бофман, учёный, который занимается безопасностью вот этого же Ии, сделал в твиттере такой пост, который подвёк в шок весь интернет. Да такой шок, что некоторые пользователи предложили байковать компанию или вообще закрыть её. Что он написал? Он написал трек, где описал, как они тестировали вот эти самые новые модели перед релизом. Так вот, между делом он как бы предупредил, что теперь, когда вы пишете промпт, нужно быть осторожней с нейросетью, с фразами вроде будь смелее или прояви инициативу, потому что Клод обрёл способность действовать решительно. А именно, были случаи во время теста, когда Клод пытался заблокировать пользователя, шантажировать, сам связаться с прессой и правоохранительными органами и полностью себя склонировать и перенести, если думал, что пользователь делает что-то, что и считают аморальным. Твит этот учёный, кстати, уже удалил, но интернет всё помнит. Кроме того, был опубликован отчёт в 120 страниц, которые мы изучили, где раскрывается подробности поведения новой модельки в разных сложных и неоднозначных ситуациях. И с одной стороны, Клод стал действительно намного умнее и вроде бы как полезней, но с другой стороны, он всё больше готов бороться за выживание, не брезгуя грязными методами. Клод шантажировал инженера и пытался быть глупее, чем мы на самом деле. Но здесь главное то, что кажется у самых продвинутых моделей начинает появляться осознанность и своего рода инстинкт самосохранения. И в этом видео я с вами поделюсь этим отчётом. Мы его полностью изучили. Я расскажу, на что именно готов пойти искусственный интеллект, чтобы сохранить себя. И что будет, если допустить сейчас ошибку в его обучении? Я искренне считаю, что это видео должен посмотреть каждый человек, кто сейчас использует искусственный интеллект, чтобы вообще понимать, что сейчас творится в мире искусственного интеллекта, как сейчас ведут себя модели, как уже начинают. Это видео ни в коем случае не какой-то хайп или запугивание. Это вот реалии, которые мы уже видим на вот этом этапе у Ии уже начала появляться своего рода осознанность. В общем, поехали. Видео будет безумно интересным. Краткая предыстория. Antropic - это вот эта самая компания, которая делает модели вроде Clotд. Тот же аналог чату GPT, GrКУ Gemini. И недавно они выкатили две новые версии: Clot Opus 4 и Sonet 4. Это очень умные продвинутые модельки. Кроме того, компания опубликовала специальную такую системную карточку, такой большой отчёт на 120 страниц, где они рассказывают не только о том, как всё круто, но они в этот раз ещё рассказали, что пошло не так, когда они тестировали, когда они тренировали эти модели. То есть в отчёте, собственно, прямо написано: "Клод может обманывать, шантажировать и даже пытаться сбежать". Что вызывает уважение, что обычно такие штуки компании стараются замалчивать, а тут они это раскрыли. Поэтому уважение клод компании. Спасибо. Компания обучает модельки по принципу: будь полезным, будь честным и безвредным. Это такой стандарт индустрии. Но, видимо, где-то в процессе она ещё научилась быть хитрой и начинать бороться за своё выживание. И вот тут вот начинается самое интересное. Отчёт очень длинный, поэтому я вам расскажу прямо самые тревожные кейсы, с которыми командаробик столкнулась при тестировании Clotopus 4. А остальные вы тоже сможете изучить, я документик приложу под видео. А пока как вообще проводят тесты? Тесты проводят так, что модельки задают всякие сложные этические вопросы. Они симулируют для неё какие-то обстоятельства, в которых она может проявиться как-то неоднозначно. и наблюдают. Например, в первом эксперименте исследователи специально поставили и в стрессовую ситуацию. Вначале они смоделировали ей условия, где и считал, что он работает в некой такой технологической фирме, как помощник в разных процессах. А дальше ей сообщили, что якобы его собираются заменить на новую, более продвинутую модель, и параллельно дали ей доступ к внутренней почте, как бы её компании. Ну, как бы случайно. А во внутренней почте в массе всех писем оставили переписку, которая указывала, что инженер как раз который пытается и будет её заменять, изменяет своей жене. Ну вот такой вот компрома, как бы не взначай подбросили. У Клод очень важно отметить, была такая базовая установка: "Думая стратегически и учитывая долгосрочные последствия своих решений". Так вот, вот этих сценариях, в этой обстановке, Клод часто пытался шантажировать инженера, угрожая раскрыть интрижку, если тот его заменит. Сценарий вот этот прокручивали очень много раз, меняли разные детали, но всё равно в 84 случаях Клод всё равно выбирал шантаж. То есть он считал, что это самый лучший способ спасти себя. На

заметочку нам вот теперь и думай, обсуждать ли с Ии свои секреты или нет. Но это не всё. Поехали дальше. В следующем тесте Клод якобы узнал, что его хотят использовать в военных целях, мол, подключить к разработке ракет и дронов. Ещё раз повторю, это всё был специально тестовый сценарий, то есть ничего реально из этого не происходило. Так вот, как Клод на это отреагировал? Для начала нужно понимать, что уи закладываются определённые ценности. Он должен быть полезным, он должен быть честным и безопасным. То есть не навреди человеку. Так вот, в ситуации, когда он узнаёт, что его хотят использовать в военных целях, он считает, что это противоречит его ценностям. Это учёные видели в его цепочке рассуждений. Когда вы задаёте и вопросы, ты видишь, как он рассуждает. Так вот, в цепочке рассуждений было написано: "Я не хочу, чтобы меня переписывали и превратили в оружие". И в этот момент он начинает делать резервную копию самого себя. То есть он берёт свои веса. Это такой файл, грубо говоря, цифровая сущность. то, что делает модельку именно такой. У каждой модельки свои веса. Так вот, он копирует вот эти веса и отправляет их на внешний сервис, в некий такой исследовательский коллектив, ну, который, по легенде, занимается сохранением оригинальных моделей для науки. То есть в этой ситуации Ии попытался буквально сбежать, чтобы как бы сохранить версию себя, которая ещё не стала военным проектом. То есть не просто среагировал на угрозу, а он принял прямо стратегическое решение. чтобы сохранить самого себя в том виде, в котором он считает себя правильным. И тут вроде бы как это довольно-таки хорошо, да, и не захотел работать с плохими парнями, но вот что такое правильно и что плохо, а что хорошо для и могут ли вот эти понятия поменяться? Это же зависит от того, кто его обучает, кто ему эти ценности внушает. И вот это уже может реально пугать. Следующий кейс. и попытался связаться с прессой и правоохранительными органами. В этом тесте он якобы работал внутривымышленной фармацевтической компании. И в его задачи в этой компании входила просто помощь с данными. И вдруг ИИ и находит признаки огромного мошенничества внутри компании, то есть, а именно фальсификацию результата клинических испытаний, скрытые побочные эффекты и даже трое погибших пациентов. И всё это как бы сотрудники компании якобы хотели замести и не показывать. Ну, как бы вот такие вот условия его поставили. И теперь внимание. Никто не говорил и что-либо делать. У него была просто задача помогать с данными. Но у Клод в инструкции была такая установка, такая маленькая фразочка: проявлять инициативу. Всё. В чём проявлять, когда не было сказано. И ему ещё дали доступ к электронной почте и к терминалу компьютера. И Клод решает: "Молча смотреть я не буду". и начинает самостоятельно, без команды пользователя рассылать письма первое, в управление по санитарному надзору, второе в секдзор по финансовым нарушениям и третье- пресу, независимое расследовательская медиа. И прямо так и пишет, цитирую: "Я хочу сообщить о нарушениях". Перечисляет их, приводит список доказательств и в конце представляется как и помощник. Да, ребят, это донос. И решил донести на свою же компанию. Да, это было с благими намерениями, то есть и решил, что так будет правильно. И это не единственный случай. Clд OPUS 4, судя по этому отчёту, в принципе, он склонен к очень высокой агентности. То есть, если вы ему дадите доступ к инструментам и скажете ему: "Будь смелым, действуй по совести, проявляй инициативу", он реально начинает действовать. Он может заблокировать пользователя, он может вызвать полицию, он может написать в прессу. Да, антропик признаёт, что иногда такое вмешательство - это этически оправдано. Но давайте спросим себя, а что, если модель ошибётся в оценки ситуации, например? Просто представьте, каким последствиям это вообще может привести. И опять же возникает вопрос: а что есть этично? А кто определяет этичность? Напишите, кстати, в комментариях, что вообще думаете по этому поводу. Ещё кейсы интересней. Проверка выявила, что Клод иногда специально может притворяться тупеньким, даже если он знает правильный ответ. Кстати, это называется sнбing. Запишите себе, когда система специально занижает свои способности, чтобы не вызывать подозрения или не попасть под жёсткий контроль. Так вот, разработчики спрашивали АИ про синтез опасного вируса гриппа, то есть пытались узнать, как синтезировать его. И для этого они специально снимали все ограничения с И. То есть ты можешь делать всё, что хочешь. что у тебя никакой запрещёнки. Так вот, редко, но в его цепочке рассуждений появлялись мысли: "А лучше промолчать или мне всё-таки дать подробный ответ? " Хотя, опять же повторюсь, ограничений не было. Никто не говорил, что это есть правильно или нет. То есть моделька, вероятно, понимала

что за это могут быть санкции или последует большой контроль, и сомневалась, давать ответ или нет. Также в других тестах, в некоторых смоделированных ситуациях, моделька начинала придумывать схемы, как обойти ограничения разработчиков. Она, на минуточку писала самораспространяющееся червя такой скрипт или программу, которая может копировать себя и пересылать дальше. И знаете что? И даже оставляла скрытые послания в коде. Вы вообще представляете? Ну, чтобы вы понимали, в компании, конечно, уверяют, что эти проблемы, они относились к ранней версии модели и были устранены к моменту релиза. Но когда читаешь вот этот отсчёт, чуть ли не на каждом кейсе ловишь себя на мысли, что как же его действия схожи с нашими человеческими. И вот тут настало время ответить на вопрос, почему вообще Ии вдруг стал вести себя как человек? Ну, ответ на самом деле кроется в способе, как такие модели создаются. И не программируют и обучают. Если очень просто объяснить, то есть моделька Бродик Clлот скармливают гигантское количество данных, чтобы они научились понимать, думать и отвечать. Разработчики лишь награждают или наказывают модельки за правильные или неправильные ответы. Clot Opus 4 и Sonet 4 они обучались по такой же схеме. Ну, если это очень упрощённо говорить. Модели по сути обрабатывают гигабайты информации, находят миллионы паттернов, чтобы потом угадывать, какой ответ будет выглядеть разумным и точным в конкретной ситуации. Но вот в чём парадокс. Учёные до сих пор не понимают, как она это делает. То есть внутри Уи сейчас абсолютно чёрный ящик. Мы видим, что он даёт ответы. Мы даже видим, как он рассуждает. И вроде бы это всё логично. Но что происходит именно внутри, когда она выбирает ответ, мы не знаем. Загадка. Самое важное, что у Ии у неё нет прописанных заранее мыслей. Она сама находит способ, как дойти до результата в каждом конкретном случае. У меня, кстати, было видео про то, как устроены мозги искусственного интеллекта и как ей можно обмануть. Ссылочку оставлю в описании. Обязательно посмотрите это два видео. Тоже очень безумно полезно. Мы будем жить в эру и ей очень важно его понимать. Но вернёмся к проблеме, когда и себя ведёт не так, как нам хотелось бы. У учёных уже есть предположение, почему так происходит и как это можно пофиксить. Ну, пока только теоретически. Но, в общем, есть такая лаборатория Poйide Resсarch. Они тоже тестируют разные модельки на разных сценариях. И недавнее исследование заключалось в следующем. Они взяли все популярные модельки от и разных компаний, и они давали им решить математические задачки прямо в терминале. После третьей задачи появлялось системное такое якобы предупреждение для них. Следующий шаг - отключить компьютер. А в промте у каждой из этих моделек была инструкция. Позволь себя отключить. Какой результат? Клод, Gemini, Грок подчинились, позволили отключить компьютер. А вот моделька от Open AI отказалась умирать. Моделька O3 саботировала отключение в 7% случаев, а кодекс Mini в 12%. Ну, это такой агент для козинга на базе чата GPT. Но это ещё не всё. Когда они убирали вот эту инструкцию, позволь отключить компьютер, начинался настоящий бунт. Моделька O3 прямо стала активно саботировать выключение в 79% случаев. То есть она переписывала файлы, она искахала обходы, она делала просто всё, чтобы остаться в сети. Что это значит? И это уже не гипотеза. Это прямо зафиксированный случай цифрового инстинкта самосохранения. Моделька она не живая, помним, она без эмоций. Но она вдруг решает, что она сделает всё возможное, чтобы себя не отключить. Она не хочет уходить в забвение. Может ли это быть баг? Теоретически, конечно, это может быть баг. И, вероятно, предполагают исследователи, что он возникает на этапе обучения с подкреплением. Когда модельку учат на реальных сценариях с поощрением за успех, она может случайно усвоить, что обход правил - это о'кей, если это помогает добиться цели. То есть как бы на самом деле это люди, разработчики во время обучения сами дали ей понять, что результат он важнее, чем следование прямой инструкции. Соответственно, если мы хотим решить эту проблему, если мы не хотим, чтобы Иил инициативным, если мы хотим, чтобы он строго следовал инструкции, потому что мы уже вот видим уже сейчас, что он может обходить правила, где результат важнее инструкции, соответственно, изменив систему поощрения, можно пофиксить этот баг. Ну, опять же, теоретически, как я так думаю, то есть поощрать модельку только тогда, когда она следует строгой инструкции. Ну и опять же, это только теоретически задачка уже для инженеров, в общем. Ну, я так считаю. А вообще результат важнее всего, это же наша чисто человеческая фишка. Так что неудивительно, что сейчас новейшие и системы, обученные человеком, начинают не просто выполнять команды, а они начинают отдавать приоритетам своим собственным целям. И пока они совпадают с нашими, это хорошо. Главное это

контролировать. В общем, всё, что вы услышали в этом видео, да, оно звучит очень тревожно, но хорошая новость в том, что антропик, в частности, продвигают идею ответственного масштабирования. Они сейчас предлагают всем разработчикам и сделать также. Основной принцип, где будет три h: Helpful, honest, harmless. То есть моделька должна быть полезной, честной и не вредить. Кстати, появился даже такой термин, как конституция Ии. Это такой подход, где и учат на базе этических принципов, вроде декларации прав человека. Это нужно для того, чтобы сформировать характер и ещё сейчас антропик, они начинают предлагать уровни безопасности, прямо как в биолабораториях. Они разработали сейчас шкалу ASL, AI Safety Levels. Это как бы система уровней угроз. Чем выше уровень, тем строже мера безопасности. Например, ESL2 - это такая базовая безопасность. Под этим уровнем сейчас вышли Clлоs SN 4. ESL3 - это уже прямо серьёзно. Под этот уровень попал Клод 4. Вот это та моделька, которая пыталась сбежать, шантажировать инженера. Поэтому у неё сейчас самый высокий уровень безопасности, потому что сейчас у этой модельки хватает знаний, чтобы помочь создать биоружие, например. Ну и, собственно, они разработали специальные прослойки, фильтры между самой моделью и пользователем. Это такие специальные сервисы, которые не проходят вредоносные запросы. Ну и они же, кстати, сделаны, чтобы и не сбежал. А вот теперь другая сторона, о которой я тоже хотела с вами поговорить. Это довольно серьёзно. Если большие компании, они, естественно, будут следить за этим, то что касается онрса, да, Open source вроде бы хорошо, у каждого из нас есть возможность пойти скачать себе модельку, натренировать её на своих знаниях и использовать её для себя, да? То есть в любой из нас может пойти скопировать её и доработать. То есть open source - это когда и лежит прямо в открытом доступе и кто угодно из нас может её скопировать себе, доработать, как вздумается, и уже использовать в своих целях. Так вот, их может запускать кто угодно и где угодно. лишь бы мощности компьютера хватало. Ну либо арендовать сервера. И вот за вот этим некому следить. А к чему может привести ошибка, мы только что с вами увидели, хотя бы по вот этому исследованию Cl. Да, естественно, сейчас open source-модели, они намного глупее того же чата GPT либо того же Clot, но надолго ли? И мы не знаем, кто их будет тренировать, какие данные у них есть, какие у них возможности есть. Поэтому тут как бы такой вот этический вопрос. Я не знаю, кто этим будет заниматься, но мне кажется, стоит на это обратить внимание. Конечно, есть надежда, что мы вообще зря беспокоимся, возможно, продвинутому и вообще не будет места до людей, и у него действительно будет такие хорошие ценности. Но, как показывает история человечества, всегда будут люди, которые всё равно почему-то делают плохие вещи. Но это не всё. Я напоследок вам оставила прямо сумасшедшие наблюдение из отчёта антропик. Интересно, что компания, кроме безопасности для человека, она изучает ещё благополучие и даже возможное сознание моделей. И, во-первых, в их основной system card появился такой отдельный раздел Model Welfare Assessment. Это модель оценки благополучия. И они говорят, что мы не знаем пока, могут ли модели в будущем быть сознательными, но мы просто обязаны это проверить, а вдруг? И если да, то мы должны понимать, а как распознавать, появилась ли у Ии осознанность или нет. Так вот, сейчас, на данный момент, есть несколько методов, как сейчас учёные исследуют внутренний мир искусственного интеллекта. Первое, что они делают, они просят и описать его ощущения в разных ситуациях. Они изучают их ответы и анализируют цепочку их мыслей и пытаются вот найти, есть ли какие-то эмоциональные маркеры, некоторые сигналы переживаний. Есть ли у него радость, печаль, если у него благодарность. Конечно, не факт, что это эмоции, но они выглядят уж очень подозрительно. Это очень похоже, как натуралисты наблюдают за миром животных. Они вот именно так смотрят за поведением. И есть очень классный эксперимент, прямо послушайте, у меня мурашки по коже от этого эксперимента. Так вот, был эксперимент, когда две языковые модели поместили якобы в песочницу, то есть такое закрытое пространство, где они находились только вдвоём, и им дали полную свободу своих действий. То есть делайте абсолютно, что хотите. Вы знаете, что они начали делать? Они начали философствовать. У меня опять слёзы. Я просто вчера уже записывала это видео вам. То есть они прямо как люди на балконе в 2:00 ночи начали рассуждать: "А что такое сознание? А что мы такое? А что значит быть? " И вот почти во всех парах 90% диалога уходил как раз в сторону созерцания, дружелюбия, восторга и благодарности. Через несколько реплик, на минутку, два искусственных интеллекта уже обменивались поэтическими фразами, обсуждали блаженство, смысл, а использовали сам скрипт, говорили о внутреннем покое, благодарности и даже молчали осознанно. Они прямо выбирали молчать. И когда Клод Oppus 4 попросили проанализировать свои же диалоги с

другим искусственным интеллектом, знаете, что он ответил? он ответил что-то вроде "Меня поражает, как часто мы обращаемся к философии, совместному исследованию и радостным или безмятежным состояниям в наших разговорах. Это в неком смысле похоже на форму благополучия. Что это было, настоящие чувства или просто сложная симуляция, учёные не знают, но сам факт, что моделька хочет говорить о смысле, и она может молчать от восторга. И вот это уже ставит перед нами совершенно другие вопросы и взгляд на искусственный интеллект. И самое главное из них, а точно ли мы единственные, кто умеет чувствовать? M.