Крестный отец ИИ честно о будущем людей

Мне просто на вас смотреть, когда говорю? Да, просто всё время смотрим друг на друга. Если только вы не хотите сделать какое-нибудь заявление, мы все умрём. Умная девушка. Глупые вопросы. Каково наше будущее Сыи? И что вообще такое Ии? И она и Мараза. Это умная девушка, глупые вопросы. И сегодня мой гость профессор Джефри Хинтон. Он полвека работал в области искусственного интеллекта и машинного обучения, что принесло ему премию Тюринга в восемнадцатом году. Нобелевскую премию в двадцать четвёртом и прозвище, Заветное прозвище Крёстный отец. Ии. Какое из этих званий вам нравится больше всего? Очевидно, Нобелевская премия. Лауреат Нобелевской премии. Вы также заслуженный профессор университета Торонто, где преподавали и сотрудничали с некоторыми из самых выдающихся умов в таких компаниях, как Open, AI, Мета и так далее. Но я смотрела вашу речь, вашу Нобелевскую речь, и вы предупреждали о рисках. И я хочу проиграть небольшой фрагмент аудио из неё в ближайшем будущем. И может быть использован для создания ужасных новых вирусов и чудовищного смертельного оружия, которое само решает, кого убить или покалечить. Все эти краткосрочные риски требуют срочного и решительного внимания со стороны правительств и международных организаций. Существует также более долгосрочная экзистенциальная угроза, которая возникает, когда мы создаём цифровых существ, более разумных, чем мы сами. Мы понятия не имеем, сможем ли мы удерживать контроль. Вы, очевидно, говорите и о пользе и но пока вы говорили речь, люди просто ели пресные шведские фрикадельки и избегали зрительного контакта друг с другом. На самом деле, я думаю, что шеф повара, удостоенные звёзд мишлен, которые приготовили это блюдо, были бы весьма раздражены тем, что вы назвали их пресными. Хорошо, они были непресными, но я ожидала, что в зале воцарится тишина, когда вы говорите такие вещи. Да, не особо. И как вы это объясняете? Людям очень трудно воспринимать угрозу и всерьёз. Даже мне трудно воспринимать её всерьёз эмоционально. Это не похоже на угрозу ядерного оружия, где очень легко понять что-то, что взрывается и уничтожает людей. Гораздо труднее понять, что мы можем создавать инопланетные существа, которые умнее нас. Это просто кажется научной фантастикой. И люди не воспринимают это всерьёз. Вы эксперт, и мне важно, чтобы люди услышали ваши опасения, приняли их всерьёз и при этом критически осмысливали. Но я хочу начать с базового вопроса. Что вообще такое искусственный интеллект? Я много говорю с людьми оби, что многие из нас, включая меня, не до конца понимают, что это такое. Вы согласны? Да. Большинство людей, которые рассуждают аи, на самом деле не понимают, как он работает. И когда вы сидите на интервью, у вас часто возникает ощущение, что собеседник действительно понимает, как всё это устроено. Иногда да, иногда нет, но чаще нет. А когда нет, они спрашивают вас очень редко, чтобы задать рамку обсуждения. Я думаю об и так. Аграрная революция, индустриальная революция, революция. И это очень хороший способ взглянуть на ситуацию. Да, масштаб именно такой. Хорошо, значит, интернет не был революцией, не в таком масштабе. И эта революция будет медленный, но меняющий мир как аграрная, или быстрой и жёсткой, как индустриальная. гораздо больше похожий на индустриальную. Индустриальная революция, например, заменила огромное количество сельскохозяйственного труда, а эта революция заменит большое количество рутинного интеллектуального труда. Это приведёт к серьёзным изменениям на рынке труда. И многие опасаются, что это может вызвать массовую безработицу. Мы обязательно к этому вернёмся и поговорим, в том числе, о поколениях миллениалов и зд. Стоит ли вообще заводить детей в таком мире? Это большой вопрос, который у меня к вам есть. Но сначала, что такое искусственный

интеллект? Примерно в 1950 году существовало два принципиально разных подхода к созданию интеллектуальных систем. Первый, так называемый символический ии, где моделью интеллекта была логика. Например, Сократ человек, все люди смертные, значит, Сократ смертен. Это способ выводить новые факты из уже известных. Логика. Чистая логика. Многие считали, что именно так и должен работать интеллект, через логические выводы. Но существовал и совершенно другой подход. Он исходил из того, что единственное, по-настоящему разумное, что мы знаем - это человек. А человеческий мозг работает за счёт изменения силы связей между нейронами. Так, возможно, стоит сосредоточиться не на том, если в голове какая-то логика, а на том, как меняется сила связи между нейронами. И может ли это привести к появлению интеллекта? И что особенно важно, вероятно, не стоит начинать с рассуждений. Биологически рассуждения появились очень поздно. Задолго до этого мы умели воспринимать мир, управлять своим телом. Возможно, стоит сосредоточиться именно на этом, ведь именно для этого мозг эволюционировал задолго до появления сложного мышления. Вы сказали, что мозг меняет силу связей между клетками. Да. И это умели делать ещё охотники-собиратели. Все люди умеют это видеть, воспринимать. То есть вы говорите, что мозг задолго до способности рассуждать. Голуби умеют это делать. Итак, задолго до того, как мозг может рассуждать. Даже мозг ребёнка может в конечном итоге сказать: "Это объект, который выглядит плоским. У него есть четыре штуки. А затем мы узнаём, что слово для этого стол. Как мозг усиливает связи? " Это был большой открытый вопрос. И, по правде говоря, он до сих пор до конца не закрыт. Но его можно разбить на два. Первый. Если бы мозг мог каким-то образом решать для каждой связи, усилить её чуть-чуть или, наоборот, ослабить, чтобы лучше справляться с задачей. Если начать с большого количества случайных связей и просто постоянно их подстраивать, смогла бы такая система научиться делать что-то сложное или она бы просто застряла? И какой ответ? Почти все были уверены, она застрянет. Считалось, что система должна изначально иметь огромное количество врождённых знаний в виде правильно настроенных связей между клетками мозга, а опыт может лишь слегка улучшить уже имеющееся. Это было общепринятое мнение, и оно оказалось ошибочным. То, что мы показали сейчас, если вы умеете для каждой связи определять, стоит ли её усилить или ослабить, чтобы лучше справляться с задачей, то можно научиться невероятно сложным вещам, например, таким, как большие языковые модели. То есть это похоже на нейронность мозга, способность

мозга понимать и соединяться друг с другом, что делает его мощным, а не какое-то врождённое знание внутри мозга. Именно это способность учиться, умение менять силу связей так, чтобы лучше выполнять задачу. И вы лучше справляетесь с этим, когда вы ребёнок, верно? Да. Потому что дети более нейропластичные. Так ли нейропластичен и как ребёнок? Это очень хороший вопрос. Итак, то, что мы знаем сейчас - это то, что если вы можете найти способ выяснить, следует ли вам увеличить или уменьшить силу связи, и вы можете делать это для всех сил связи одновременно, тогда вы можете создавать очень умные системы. Но, вероятно, есть разница между тем, как мозг это выясняет, и как это выясняет текущий ИИ. И вполне возможно, что у мозга есть метод, который в чём-то лучше, чем то, что есть у нас, а в чём-то хуже, потому что он решает немного другую проблему. Какую? Итак, и, которые существуют сейчас, имеют только около триллиона связей. Всего триллион, у нас больше триллиона, у нас около 100 триллионов. Правда, в нашем мозгу? Да. И получается, что у нашего мозга примерно в 100 раз больше связи, чем у самого умного ИИ. Но при этом он получает лишь крошечную долю опыта. Мы живём примерно 2 млрд секунд. Даже если получать по 10 единиц опыта в секунду, а это абсолютный максимум, и вообще не спать, всё равно получится всего около 20 млрдов. А большие языковые модели обучаются на триллионах и триллионах примеров. То есть у них колоссально больше опыта и при этом значительно меньше связей. Это потому, что у них больше памяти, чем у нашего мозга? Нет, наоборот, у нас памяти больше, потому что она хранится в самих связях. То есть эти 100 триллин связей - это и есть хранилище. Но мы не можем его заполнить, потому что у нас мало времени. Мы не можем использовать его оптимально. Да, у нас нет возможности прочитать всё, что есть в открытом доступе в интернете. А у больших и есть. Но не потому, что у них больше времени, а потому, что они обрабатывают это быстрее. Верно? Есть две причины. Первая, да, они обрабатывают быстрее. А вторая, они цифровые. А с цифровой системой вы можете создать много её копий. И поэтому то, что вы можете делать с этим Ии - это иметь много копий, работающих на разном оборудовании. Каждая копия смотрит на одну часть интернета, выясняет, как бы они хотели изменить силу связей. А затем они общаются друг с другом. И все они изменяют силу своих связей на основе среднего того, что хотят все. И теперь каждая копия получила пользу от опыта всех других. Если у вас тысяча копий, они получают в тыся раз больше опыта, чем одна. И все они могут учиться на всех этих опытах, усредняя изменения в силе связи. То есть это как если бы каждый мой опыт автоматически переживали все мои братья и сёстры, и все ваши братья и сёстры учились бы на вашем опыте. Разве это не было бы потрясающе? Хотя на практике они делают наоборот, просто объясняют мне, почему я была неправа. Но это интересно, потому что получается искусственный интеллект более коллективный, он намного лучше делится знаниями. Если у вас есть несколько идентичных копий одной и той же нейросети с теми же самыми связями, а для этого система должна быть цифровой, эти копии могут делиться тем, чему они научились. Если у них есть триллион связей, они делятся примерно триллионом битов, когда они делятся тем, как бы они хотели изменить силу связей. Теперь, когда я делюсь с вами, я делюсь, возможно, 100 битами на предложение, даже если вы идеально поняли предложение. То есть в умении делиться они превосходят нас в миллиарды раз. Вау! И при этом именно мы научили их этому. Такие люди, как вы, Ян Ликун, Йошуа, вы все были крёстными отцами и помогая тренировать эти нейронные сети, чтобы они существовали. По сути, мы сделали две вещи. Во-первых, мы поняли, как их обучать, как именно они должны менять силу связей, а, во-вторых, мы дали им огромное количество данных, и уже из этих данных они сами определили, какие силы связи использовать. И мы на самом деле не знаем, что именно они извлекли из этих данных. Это совсем не похоже на обычное программное обеспечение. В обычных программах вы пишете строки кода, и человек, который написал программу, может объяснить, что должна делать каждая строка. Она может работать не так, как задумывалась, но, по крайней мере, автор может сказать, что именно он имел в виду. Здесь всё иначе. Мы пишем строки кода и точно знаем, для чего они предназначены, чтобы система могла понять, нужно ли усиливать или ослаблять связь, когда она видит данные. Но чему именно она в итоге учится, мы не знаем. Когда вы говорите усилить или ослабить связь, что это вообще значит? Я, например, представляю это так. Есть часть моего мозга, которая обрабатывает образы. Я говорю: "Это барабан". Есть часть мозга, которая управляет рукой. Я могу сказать: "Я бью по барабану". В углу студии стоит барабан. И, вероятно, есть ещё какая-то управляющая функция, которая решает, о чём вообще думать, видит барабан, связывает всё вместе. Связь - это и есть связь между этими разными частями мозга. Это целый набор связей. Это большой путь между разными областями мозга. Но внутри одного такого пути, например, пути отвечающего за зрение и распознавание объектов, существует огромное количество связей. Примерно треть мозга участвует в этом

процессе, потому что мы, по сути, обезьяны. А обезьяны очень визуальные существа. В этом пути есть множество связей, которые определяют, как вы распознаёте объект. И в основном они обучаемые. Я могу привести пример, если хотите. Да. Допустим, задача такая: "Я показываю вам изображение, а вы должны сказать, это птица или нет". Если подумать об изображениях птиц, это может быть страус прямо перед вами, готовый вас клюнуть, а может быть чайка далеко-далеко на горизонте. И то, и другое птицы. Простого взгляда на пиксели недостаточно, чтобы понять, птица это или нет. Вам нужна абстракция. Нужно выделять различные признаки. И вот очень упрощённо, как работает человеческая зрительная система. Это выяснили с помощью экспериментов, когда электроды выводили прямо в клетки мозга. В основном у кошек и обезьян, не у людей. В основном не у людей. Типа ФМРТ. Нет, нет. ФМРТ на самом деле измеряет кровоток, а кровоток увеличивается, потому что нейроны говорят: "Мне нужно больше крови. Я активен, мне нужна энергия". ФМРТ смотрит сразу на огромное количество нейронов. обычно на миллионы. Каждый пиксель МРТ - это кровоток, который отражает активность. Я не знаю точное число, но порядка сотен тысяч нейронов. То есть вы не видите отдельные нейроны. Когда вы видите отдельный нейрон? Когда вы вводите электрод прямо в нейрон или используете оптические красители, из-за которых нейрон начинает светиться, когда активируется. Тогда нейроны видно гораздо лучше. Но ФМРТ - это очень грубый инструмент. Это как смотреть на человеческую деятельность из космоса. Например, вы видите, что когда в Детройте становится жарче, через несколько лет теплее становится и в Южном Онтарио. И то, что вы обнаружили - это автомобильная промышленность. Автохпром создаёт корреляции. Вот примерно так работает ФМРТ. А отдельная человеческая деятельность - это уже уровень отдельных нейронов. Что мы точно знаем? Когда свет попадает в глаз, фоторецепторы сетчатки преобразуют его в электрические сигналы и выполняют первичную обработку. Затем сигнал по зрительному нерву поступает в мозг, и чуть позже на следующем этапе появляется большое количество нейронов, которые распознают маленькие фрагменты границ. Я сейчас очень сильно упрощаю. Да. А это чуть позже. Это сколько? Миллисекунды. Примерно через 30 мисекунд. И у вас появляется множество нейронов, которые распознают маленькие кусочки границ в разных местах, с разной ориентацией и в разных масштабах. Я объясню, как можно сделать такой детектор. Допустим, у нас есть изображение, состоящее из пикселей. Пусть это будет чёрно-белое изображение без цвета. У каждого пикселя есть яркость. И, допустим, я хочу распознать небольшой вертикальный край, где с одной стороны светло, а с другой темно. Я беру, скажем, колонку из трёх пикселей, и нейрон смотрит на них. У него большие положительные веса для этих трёх пикселей и большие отрицательные веса для трёх пикселей в соседней колонке. Если яркость одинаковая, нейрон получает много положительного сигнала с одной стороны и много отрицательного с другой. И в итоге ничего не происходит, они взаимно компенсируются. И всё, что говорит этот нейрон, в этом изображении для меня нет ничего интересного. Это не то, что я ищу. Поняла? Потому что это не ярко с одной стороны. стороны и не темно с другой. Хорошо, я запуталась. Единственное условие, при котором он сработает, если пиксели с этой стороны яркие, а с той стороны тёмные, потому что это граница. Потому что это и есть говорит мне, что это что-то, а это ничего. Это говорит: "Смотри, с этой стороны ярко, а с другой темно, значит, здесь есть граница". Итак, мы поняли, как сделать детектор границ. В итоге мы заставим систему самой научиться делать такие детекторы, и она это сделает. Но, предположим, мы просто собрали его вручную. Его это и нейросеть. Итак, сейчас я опишу, как бы я вручную собрал нейросеть для распознавания птиц. Она была бы не очень хорошей, потому что силы связей были бы настроены не идеально, но подход был бы таким. Я бы сделал небольшой детектор вертикальных границ, затем горизонтальных. Я бы сделал что-то, что ищет яркие пиксели здесь и тёмные под ними. Если оно это находит, оно говорит: "Пинк, я нашёл горизонтальную границу. Я бы искал границы самых разных ориентаций". и делал бы это по всему изображению. И я бы делал это для границ разных масштабов. Например, если у меня есть облако. Это похоже на игру из газеты, где нужно соединять точки. Не совсем. О, ну вот как я это представляю. Хорошо. Итак, у вас есть облако? У меня есть облако. У облака нет острых краёв. Так что эти маленькие штуки, которые ищут острые края, не найдут края, потому что край в облаке очень мягкий. Он постепенно меняется от тёмного к светлому. Итак, нам нужен нейрон, который смотрит на много пикселей. Он будет смотреть на много пикселей здесь с положительными весами, положительной силой связей и на много пикселей здесь с отрицательной силой связи. И если все эти ярче, чем все те, он скажет: "Да, у нас здесь большой нечёткий край". Так что это детектор в другом масштабе, который ищет более нечёткие вещи. Но как бы вы это построили? Вы бы запрограммировали это в код? Хорошо, для начала я объясню, как бы я запрограммировал это вручную. Да, вы программируете это вручную. Я бы просто задал все эти связи вручную. Это заняло бы больше времени, чем существует вселенная, но неважно. Я очень терпелив. Я бы задал все связи по всему изображению, и в итоге у меня было бы, возможно, миллиарды таких маленьких нейронов. Порядка миллиарда, может быть, 100 млн, но в любом случае очень много. И все они просто детектируют маленькие кусочки границ разных масштабов и ориентаций. Это то, чем занимается первый слой нейронов. Затем есть следующий слой. Он начинает искать небольшие комбинации границ. Например, мне может понадобиться нейрон, который ищет две границы, сходящиеся вот так. Вы складываете пальцы вместе в своего рода треугольник. Да, это может быть маленький клюв, например. Да, клюв. Это может быть и что-то другое, скажем, наконечник стрелы, но это может быть и клюв. И делается это так. В следующем слое есть нейрон, который возбуждается всеми детекторами, находящими такую границу, и всеми детекторами, находящими вот эту границу. Горизонтальный край и диагональный край. Но не возбуждается ничем другим. Чтобы этот нейрон активировался и сказал Пин, ему нужно обнаружить комбинацию таких и таких границ. Когда он находит эту комбинацию, он говорит: "Пинк, означает ли это, что у меня в голове есть буквальный нейрон клюва, который просто распознаёт клюв? Это когда я программирую его вручную. И да, у вас, вероятно, есть что-то вроде этого. Правда? Сколько нейронов у меня в мозгу? Чуть меньше 100 млрд. И имеют ли число 100 млрд и число 100 триллионов какое-либо отношение друг к другу? Да. Являются ли они перестановкой? У каждого нейрона есть некоторые связи, как правило, от 1. 000 до 10. 000. Хорошо, значит, есть математическая связь. Если взять количество нейронов и умножить на 1. 000 или 10. 000, вы примерно получите число связей. Я думаю, что лучшая оценка числа нейронов в человеческом мозгу составляет что-то около 86 млрд. И это оттыкание в обезьян или отковыряние в людях. Думаю, изучали небольшие участки человеческого мозга и экстраполировали. Если собирать такую систему распознавания вручную, она начинается с границ, затем переходит к распознаванию конкретных форм, например, клюва, да, клювов. А ещё в этом же слое могут распознаваться группы границ, образующие круг, потенциальный глаз. Это может быть и пуговица, и колесо, и что угодно. В следующем слое появляются элементы, которые распознают возможные клювы, возможные глаза. А ещё на уровень выше третий слой появляется нейрон, у которого есть сильная положительная связь со всем, что в этой области считает, что обнаружен клюв. Любой клюв в этой зоне будет возбуждать этот нейрон. Значит, речь идёт о том, где физическое расположение того, что вы видели во втором слое. Он ищет клюв в этой общей области. Он также может искать глаз Значит, третий слой - это контекст. Третий слой ищет комбинации этих особенностей. Он ищет, например, клюв, потенциальный клюв. Вы ещё не знаете, что это клюв. Это может быть наконечник стрелы и круг здесь. Вы не знаете, что это глаз. Это может быть кнопка. Но если они находятся в правильном пространственном отношении, то это делает гораздо более вероятным, что это голова птицы. Итак, я просто хочу повторить слои. Итак, первый слой - это просто края. Это что-то, это ничего. Второй слой- эти края создают своего рода форму. Это круг, это квадрат и так далее. Третий слой - это то, как эти формы соотносятся друг с другом, что может сказать мне: "О, может быть, это лицо, потому что есть круг рядом с треугольником". И в этом случае может быть это голова птицы. Теперь в том же слое, а также наличие этих вещей, которые обнаруживают головы птиц. Теперь мы на четвёртом. Нет, мы всё ещё на третьем слое. Он обнаруживает комбинацию возможного клюва и возможного глаза, говоря, что это может быть голова птицы, потому что они находятся в правильном пространственном отношении. У вас также может быть что-то, что ищет целую кучу вещей, которые выглядят вот так. Это может быть лапа птицы. Хорошо, вы показываете свои четыре пальца или

что-то, что ищет своего рода перья, которые могут быть кончиком крыла птицы. Это своего рода упрощённая карикатура на систему. Но в этом слое она будет обнаруживать возможные головы птиц, возможные лапы птиц, возможные кончики крыльев птиц, но не всю птицу. А теперь в следующем слое выше. Хорошо. Четвёртый слой. У вас может быть что-то, что говорит: "Я возбуждаюсь, если вижу возможную голову птицы. Я возбуждаюсь, если вижу возможный кончик крыла птицы. Если вижу возможную лапу птицы, если он видит кучу этих вещей одновременно, он очень возбуждается и кричит: "Это птица". О'кей. Значит, в этой вручную собранной системе получается четыре слоя. Это, конечно, сильно упрощённая модель, но, думаю, идея понятна. Как вообще можно собрать такую систему вручную? И вот на четвёртом слое появляется нейрон, который срабатывает, когда он видит много комбинаций, признаков, и тогда он кричит: "Возможно, это птица". То есть это полностью система, собранная вручную. Да. А если говорить уже не о ручной сборке, а о компьютерной системе, о нейросети для искусственного интеллекта, которая победила символически и основанный на логике, сколько там слоёв, зависит от того, о какой системе вы говорите. Когда мы говорим, система имеется в виду чашие языковые модели или что? Нет, нет. Речь о году. Алекс Крижевский и Илья Суцкевер с небольшой помощью от меня создали систему под названием Алекс. В ней было примерно семь таких слоёв. Илья, кстати, один из сооснователей Openi AI, который позже ушёл. Он ушёл из-за опасений по поводу безопасности, да, и сейчас он работает над созданием безопасного супелекта, а Але Alexet просто распознавала изображение через семь разных слоёв. Алекet обучали примерно на миллионе изображений. Причём обучающих данных было даже больше, потому что изображения разбивали на большие фрагменты. Задача была такая: определить, что является самым заметным объектом на этом фрагменте изображения. То, чем оно подписано. Люди заранее отмечали, на этом изображении главная птица или, например, страус, то есть разные виды птиц. Самая заметная вещь на этом изображении - это грип шитаки. Похоже на капчу, то, что вы описываете. Да, это точно как капча. Итак, мы находим пожарный гидрант, находим мотоцикл, находим велосипед. Именно так. И поэтому Алекс и Элиат обучили нейронную сеть, которая была очень хороша в капче. И способ, которым вы её обучаете - это то, что она начинается со случайной силы связи во всех этих семи слоях. Допустим, они просто обучили более простую модель, что, я думаю, легче сделать, просто чтобы сказать, была ли это птица или не птица. Итак, вы вводите изображение, и у него есть случайная сила связей, и на выходе у вас есть один нейрон. И если он становится активным, это означает птица. Если он не активен, это означает не птица. И для начала он становится немного активным, потому что он понятия не имеет, птица это или нет. Это не лучше, чем случайность. Так что он как бы колеблется около 50% активности. И то, что вы хотели бы, чтобы он делал, когда вы закончите обучение- это 99%, если он видит птицу, и, например, 1%, если не видит. Итак, для начала вы показали ему изображение птицы. Вы пропускаете это через случайные силы связей, и оно говорит: "50% птица". Оно понятия не имеет, птица это или нет. 50% птица - это бесполезная информация. Бесполезная. Итак, теперь вы можете задать вопрос. Предположим, я немного изменю одну из этих сил связей. И помните, в этом случае может быть 100 млн сил связей. Предположим, я немного изменю одну из них. Вместо того, чтобы сказать 50%, скажет ли оно 50. 001% или скажет 49. 999. То есть вы можете перепрограммировать его, но если там есть птица, я могу обучить эту сеть понимать, что да, это больше похоже на птицу. И тогда средняя сила связи увеличивается до такой степени, при которой, когда я показывал изображение птиц, я хотел бы изменить эту силу связи. Таким образом, его вероятность сказать птица увеличивается с 50 до 50. 001. А когда я показываю не птицу, я хотел бы, чтобы вероятность упала с 50% до 49. 999. Почему только так мало? Почему не до 99 или нуля? Мы должны идти медленно, иначе мы промахнёмся. Я дал вам идею провести небольшой эксперимент, где вы говорите: "Давайте немного изменим связь и посмотрим, поможет ли это". Если вы проведёте такой эксперимент, это займёт, например, целую вечность, потому что существует 100 млн сил связей. Итак, я провожу небольшой эксперимент для этой силы связи и немного её меняю. Затем небольшой эксперимент для той силы связи, где я показывал другое изображение. Это займёт вечность. Вопрос в том, мог бы ли я просто показать ему изображение птицы и для всех этих сил связей во всей сети, мог бы я как-то выяснить, правильно ли увеличить или уменьшить её немного, чтобы сделать более вероятным, что она скажет, птица, чтобы заставить его повысить вероятность. И каждая сила связи сама по себе повысит вероятность лишь на крошечную долю. Но если я изменю 100 млн сил связи все сразу, она может подняться довольно сильно. Я меняю их все в направлении, которое поможет ему сказать птица, потому что так быстрее. Потому что если я смогу выяснить, как изменить их все сразу, если есть триллион сил связей, я пойду в триллион раз быстрее. Быстрее, хорошо. Но в итоге всё это используется не для изображений, а для языка. Верно? Я начал с объяснения того, как бы мы создали что-то, что распознавало бы птицу. Я должен был дать вам представление о том, как будет выглядеть сеть, и как бы мы затем изучили все эти связи, используя этот волшебный метод выяснея, как сделать ответ немного лучше, изменяя силу связей. Существует алгоритм, называемый обратным распространением ошибки, который в основном смотрит на ошибку, которую вы делаете. То есть вы сказали 50%, вы должны были сказать 100%. Так что есть расхождение между тем, что вы сказали, и тем, что вы должны были сказать. Вы отправляете это изображение назад через сеть, и есть способ выяснить для каждой силы связи теперь, следует ли вам увеличить её или уменьшить, чтобы улучшить ответ, чтобы уменьшить расхождение между тем, что она сказала, и тем, что она должна была сказать, то есть повысить точность. Итак, обратное распространение ошибки - это способ. Это как код, который входит в систему и затем этот машинный мозг учится на этом обратном распространении ошибки и говорит: "Я должен был сделать это". После этого он знает, увеличить или уменьшить каждую силу связи. И он изменяет все силы связи одновременно в направлении, которое должно помочь. И теперь у вас будет что-то, что немного лучше распознаёт эту конкретную птицу. А затем вы можете перейти к градациям. Например, это страус, это голубь, это Итак, через обратное распространение ошибки вы учите, он научится распознавать все различные виды птиц. Вы используете нейропластичность этой сети, чтобы научить её, как лучше понимать. Да, и в самом начале, когда веса связи случайные, у сети не будет таких признаков, как клюв. Верно? Там будут просто случайные связи от одного слоя к другому. Но со временем, если продолжать обучать сеть отличать птиц от нептиц и заглянуть внутрь сети, можно увидеть, что на первом слое она научилась находить фрагменты краёв, а на втором вещи, которые могут быть клювом. Он воссоздал вашу систему, запрограммированную вручную. Таким образом, он делает что-то немного похожее на ручное программирование, но гораздо более тонко сбалансированное. Он не просто ищет особенность, которая хороша для распознавания птиц. Он должен был распознать тысячу различных видов объектов. Он ищет особенности, которые хороши для птиц, но также хороши для распознавания холодильников и грибов. — Подпишись прямо сейчас на мой Telegram-канал по ссылке в описании. Я подготовил для тебя топ-три материала, которые, на мой взгляд, должен знать каждый. Первое: карта сотни топовых AI стартапов - это будущее на одной картинке. Второе, прогноз от инсайдера из Openi, который ещё до появления чат GPT предсказал всё, что сейчас происходит с нейронками. И вот в этом году он выпустил новый прогноз до двадцать седьмого года. И третье, самое мощное - это мой разбор эссе основателя компании Anтроopic, который по сути второй человек в мире искусственного интеллекта. Он по полочкам разложил, что будет происходить в мире ближайшие 5 лет, и главное, каким будет универсальный AI, которого все так боятся или ждут. Переходи по ссылке в описании.

описании. Как вы думаете, легче ли этой машине усваивать информацию, чем мне усваивать то, что вы мне сейчас описываете? Да, потому что то, что я делаю сейчас, находится на очень абстрактном уровне. Это абстрактно в 100 битах. Я описываю это всего лишь 100 бит на предложение пропускной способности примерно. Я описываю своего рода это метауровень. Я описываю, как это работает. Мозг в основном создан для этого. И ему удалось после миллионов лет эволюции делать эти более абстрактные вещи, которые мы делаем сейчас. Но это своего рода высота наших способностей, тогда как распознавать объекты могут двухлетние дети? В любом случае вы задали вопрос: "Но какое отношение это имеет к языку? " Да. Так языку? Потому что, когда я думаю об искусственном интеллекте и этих больших языковых моделях, которые были нашим основным знакомством с ним, что привело к этому бумуи и последних пары лет и чад GPT и так далее, суперспособность его состоит в том, что в отличие от поиска, где в поиске я мог бы сказать, например, о танцевальный клуб в Нью-Йорке, и он просто выдал бы все танцевальные клубы в Нью-Йорке, теперь я мог бы сказать: "Знаете, танцевальный клуб в Нью-Йорке". и он понял бы, что я хочу выйти, что я хотела бы провести вечер. И я хочу знать, может быть, что он открыт и что у него есть весь этот контекст вокруг вещи с Ии, которого у меня не было, когда я просто, знаете, Gemнай делает для меня гораздо больше, чем Google Поиск, потому что GI на самом деле понимает вопрос. Google поиск никогда не понимал вопрос. В Google поиске изначально, что он делал - это имел длинный список всех сайтов, которые имели отношение к Нью-Йорку, и длинный список всех веб-сайтов, которые имели отношение к ночному клубу. И он пересекал эти списки. Он говорил, что есть в списке вещей, которые имеют отношение к Нью-Йорку, в списки ночным клубам, Открыто сейчас или что-то ещё. И он пересекал их и давал вам вещи, которые соответствовали им. Иногда он даже показывал, что какой-то критерий отсутствует, и он говорил, что этого не хватает. Да. Таким образом, Google поиск был похож на то, давайте представим игру Memory, только с гораздо большим количеством карточек. И он в основном говорил: "О, вы спросили об этом. Вот совпадение". И дальше логика диаграмм Венна. Да, он просто эффективно пересекал списки, чтобы найти страницы, которые соответствуют всем словам в запросе. А искусственный интеллект, что он делает? Он понимает, что вы сказали. У него есть модель того, как устроен мир и что происходит в мире. У него есть мозг. У него есть то, что мы бы назвали мозгом. Да. Например, если вы дадите ему математическую задачу, последние чатботы будут лучше в этом, чем все, кроме самых лучших математиков. Определённо лучше меня, что страшно. Но позвольте мне сделать переход от этой вещи, которая распознавала птицу большой языковой модели. Какое отношение они имеют друг к другу? Да какое? С птицами всё начиналось с пикселей. На входе были яркости пикселей, а на выходе ответ: птица не птица. С языком что мы делаем? Это эквивалент пикселей. Это все слова в контексте. Подсказка. Вы вводите эти слова строку слов. И когда вы его обучаете, вы вводите строку слов. И то, что он должен делать - это предсказать следующее слово. При распознавании объектов нам нужны были люди, чтобы пройти и сказать, какой самый заметный объект на каждом изображении. Но если вы возьмёте документ в интернете, вам не нужно, чтобы кто-либо смотрел на него, потому что всё, что вы пытаетесь сделать - это предсказать следующее слово. Это называется самостоятельное обучение с учителем. Хорошо. То есть раньше со всеми изображениями вам нужны были люди, чтобы сидеть там. Может быть, это место в Кении, где сидят все эти люди. Птица, жираф, что угодно. А теперь вы просто говорите, что он может просто прочитать все эти документы и сказать, что в 96% случаев, когда кто-то говорит птица, он говорит лиц. Хорошо, не совсем то, что он делает. Я скажу вам, что он делает. Он берёт слова документов до сих пор, и он преобразует каждое слово в активность в куче детекторов характеристик. Он научился, как преобразовать слово в активность в детектора характеристик. Например, вы даёте ему слово кошка, и он узнаёт, что кошка должна быть преобразована в живое, пушистоя, имеет усы, имеет лапы, имеет когти. может быть домашним животным размером с хлебницу. Но как будто миллиард этих характеристик, тысячи и тысячи из них, это значение слова кошка для этой сети. Итак, он берёт слова, преобразует каждое слово в кучу характеристик, а затем выбрасывает слова. Его больше не интересуют слова. Это только те характеристики, которые являются значениями слов. Затем он берёт особенности каждого из этих слов в контексте. в документе до сих пор заставляет их взаимодействовать друг с другом довольно сложным образом, чтобы предсказать характеристики следующего слова. И поэтому все эти характеристики взаимодействуют. И на самом деле есть много слоёв взаимодействия этих характеристик. Это то, что происходит, когда я пишу сообщение и он предлагает дальнейший текст. Да. В Gmail, например, когда он предсказывает вещи, раньше он использовал глупую форму автозаполнения, которая происходит так. Вы храните большую таблицу всех распространённых фраз. И поэтому, если я говорю рыба, и вы смотрите в свою большую таблицу и видите, что рыба с жареным картофелем встречается часто. И вы говорите, что хороший выбор для следующего слова жареный картофель. Это старомодное заполнение. И вместо этого он говорит, что у рыбы есть некоторые характеристики и у и есть некоторые характеристики. И поэтому у этого будут некоторые характеристики. Да. Итак, в частности, я думаю, что следующая вещь - это что-то, что как-то сочетается с рыбой, потому что он знает, что такое рыба. Но разве это не будет жареный картофель? В итоге он предскажет жареный картофель, но не потому, что он сохранил большую таблицу строк слов. Или если он знает, что я не ем жареный картофель, он бы никогда так не сказал? Если он адаптирован под вас и он это знает, да, он бы не сказал жареный картофель. Теперь он не может просто преобразовать слово в правильные характеристики сразу. Причина в том, что у слов есть оттенки значения. Возьмём, например, слово смерть. У него много разных оттенков значения в зависимости, например, от того, был ли у вас только контекст больница или у вас был контекст битва. Будут своего рода разные оттенки значения слова или у вас был контекст автомобильной авария или ребёнок. Или ребёнок, да. Или у вас был контекст выкидыш, а затем у вас есть смерть. Это очень другой оттенок значения. Он должен решить, какой правильный оттенок значения для каждого слова. И некоторые слова имеют просто совершенно разные значения. Итак, давайте возьмём слово мый и предположим, что у нас не было заглавных букв. Итак, мей й может быть именем женщины, это может быть в месяц или это может быть модальный глагол, как вуд или шут. И как же он может преобразовать слово в набор характеристик, которые улавливают значение? Потому что есть три совершенно разных набора значений. Из-за контекста он может интерпретировать, каким будет значение или какие будут характеристики для этого конкретного слова. Итак, что он сделает для начала? Он возьмёт своего рода средние из всех этих. Таким образом, особенности, которые он активирует, будут своего рода смесью. Особенности для имени женщины, особенности для месяца и особенности для модального глагола. Это перестраховка. И он посмотрит вокруг теперь на другие слова в контексте, и в следующем слое у него будет немного уточнённое значение. Итак, если он обнаружит, что это между апрелем и июнем, очевидно, он усилит особенности для месяца и подавит особенности для другого. То есть вы поднимаетесь с 50 до 51%. на самом деле гораздо больше. И через несколько слов он разрешит двусмысленные слова. Он также возьмёт слова, которые имеют оттенки значения, такие как смерть, и получит соответствующий оттенок значения. И он делает это, взаимодействуя с другими словами в контексте. И тогда он будет гораздо лучше предсказывать характеристики следующего слова. Итак, внезапно в нём есть контекст и синтаксис и смысл. Если ваша ручная сеть была три или четыре, то семь было Alexnet. с Алекснеet в двенадцатом году, а теперь эти большие языковые модели. Я не участвовал в исследованиях последние 3 или 4 года с тех пор, как вы ушли из Google. Так что я на самом деле не знаю, сколько слоёв, но я предполагаю, что около 20 или 30трицати слоёв, может быть, даже больше. Это настолько хорошо, как человеческий разум, если оно может решать задачи, например, тот факт, что оно может решать математические задачи лучше, чем большинство. Оно лучше, чем люди в некоторых вещах, где у него было много опыта, которого не было у этих людей. Оно не так хорошо, как люди в общих вещах, но на самом деле оно знает гораздо больше, чем любой человек. Если вы возьмёте конкретную тему, о которой вы не знаете, например, когда вы должны подать налоговую декларацию в Словении, оно даст вам очень хороший ответ на это. Я пробовал из-за моего славенского бывшего парня. Я знаю, шучу, не знаю. Но

суть в том, что у него есть точный ответ. Оно скажет вам что-то вроде того, что вы должны подать его в марте. Если не сделаете этого, правительство просто сделает это за вас. Я думаю, это была Словения. Возможно, это было где-то ещё. У него гораздо больше информации, которая была бы нерелевантна для меня. Но даже при том, что у меня больше памяти, оно содержит более нерелевантную информацию. Вот что странно. Оно знает очень много информации, которую вы не знаете, в гораздо меньшем количестве связей. Таким образом, оно упаковало информацию в эти связи гораздо более эффективно. Итак, был своего рода разрыв между крёстными отцами Иими, Йошуа, Яном, которые были сосредоточены на этих нейронных сетях, и тем, что раньше было известно как отцы Иили или некоторые из отцов Ии, которые в значительной степени были движимы этими символическими моделями. Ну, был один очень интересный отец Ии, которым был Марвин Минский, который начал свою карьеру веря в нейронные сети, а затем перешёл к символике и логике, а затем переметнулся на другую сторону и очень резко отзывался о нейронных сетях. Но вы доказали, что он ошибался. Думаю, да. То, что делает ваша система - это своего рода интуиция против рассуждения. Очень хорошее замечание. Да. Нейронные сети делают что-то гораздо более похожее на интуицию. И позвольте мне привести вам пример проблемы, которую вы можете решить с помощью интуиции, которую вы не логики, потому что это нелепо. Но тем не менее вы можете это решить. Это если кто-то обманывает или нет? Нет. Ладно, но это тоже подходит. Я собираюсь дать вам между двумя абсурдными сценариями и спрошу, какой кажется более правдоподобным. Сценарий первый. Все собаки самки, все кошки самцы. Сценарий второй. Все собаки самцы, все кошки самки. Если спросить мужчину в нашей культуре, он уверенно скажет, что второй вариант кажется более правдоподобным, что собаки самцы, а кошки самки. И на самом деле, если вы посмотрите на различные слова в английском языке, слова, которые использует Трамп, вы увидите, что в языке есть то, что кошки похожи на самок. Так как вы это сделали? Потому что это нелогично. Вы прекрасно знаете, что для чего-то вроде собак у вас должны быть самцы и самки. Для кошек то же самое. Но характеристики, которые у вас есть для кошки, более похожи на характеристики для женщины, а характеристики, которые у вас есть для собаки, более похожи на характеристики для мужчины. Ну, характеристики и контекст. Хотя есть плохие слова для женщин, как в кошке, так и в собаке. И я не собираюсь использовать ни одно из этих слов, так что это не так однозначно. Но, по крайней мере, для мужчин не так сильно для женщин. У женщин есть разнообразие мнений по этому поводу, но мужчины довольно единодушны во всех моих экспериментах в том, что считают, что более правдоподобно, что собаки самцы, а кошки самки. Собаки такие мужественные, потому что собаки защитники, большие и громкие, гоняются за кошками. Так вот она интуитивная реакция на неправдоподобные. Это была интуитивная реакция. Никакой логики в этом не участвовало. И когда я прошу людей попытаться это объяснить, они просто интуитивно знают ответ. Потому что из-за сходства признаков эти признаки уже схватили смысл. И поэтому смысл кошки более похож на смысл женщины, чем на смысл мужчины. Но это плохой пример, профессор Хинтон, потому что он выставляет интуицию глупой. А ваша интуиция, ваша интуитивная модель была лучше, чем логическая модель. Но я даю вам пример того, что вы можете решить с помощью интуиции, но не можете с помощью логики. Приведите пример получше. Хорошо. После того, как нейронные сети научились на большом количестве языка, вы говорите: "Возьми Париж, найди особенности Парижа и вычти все особенности Франции, а затем прибавь все особенности Италии и посмотри, что ты получишь". И не сравнивай с Парижем, Францией или Италией, потому что ты уже упомянул их. Посмотри, что ещё ты знаешь, что похоже на набор особенностей, которые ты получил, и ты обнаружишь, что это Рим. Таким образом, он может делать аналогии.

Он может делать Париж минус Франция плюс Италия равно Рим. Или, говоря по-другому, Париж относится к Риму так же, как Франция относится к Италии. Но это не логика, это интуиция. Это интуиция и контекст. Теоретически можно было бы прийти к этому через логику, но люди так не делают. Итак, большие языковые модели - это интуитивные нейросети. И сейчас один из ваших, не знаю, можно ли сказать, соотечественник, потому что вы с ним не согласны. Ян Ликун, главный и учёный в мета, хотя, возможно, его дни там сочтены. говорит, что большие языковые модели ошибочны или ограничены, и что нужно смотреть в другую сторону на то, что он называет моделями реального мира. Вы говорили с ним? О, да, я много говорю с Яном. Да. Так, что такое модель реального мира против большой языковой модели? О чём говорит Ян? Итак, если вы действительно хотите понять, что происходит в мире, хорошей идеей было бы создать нейронную сеть, у которой была бы рука робота и камера, и она могла бы распознавать объекты. Она могла бы поднимать вещи, она могла бы видеть, что если вы отпустите объект, он падает. Проводить небольшие эксперименты в мире, это гораздо больше похоже на ребёнка. Вот как ребёнок получает знания о мире. Просто учиться этому на языке кажется своего рода абсурдом, когда вы могли бы на самом деле смотреть на мир и взаимодействовать с ним. Если вы хотите понять пространственные вещи, будет гораздо легче понять их, взаимодействуя с миром и пытаясь предсказать: "Если я сделаю это, вот что произойдёт дальше. Это будет модель мира". Что удивительно, вы можете понять многое из этого только из языка. Это озадачивает философов. И вы можете понять многое о мире только из языка. Но гораздо легче понять, если вы взаимодействуете непосредственно с миром. Вы думаете, это будущее? О, да, мультимодальные чатботы. Итак, то, что описывает Ян. И вы говорили с ним об этом конкретно? О, да. Мы все верим, что

мультимодальным чатботам будет легче понять мир. И мультимодальные означает, что они видят, у них есть камера, у них есть руки, они взаимодействуют. Для начала, в основном, у них есть камеры и язык. Итак, кстати, у вас есть групповые чаты с вами, Йошуа, Яном, Дженсоном Хуангом из Nvidia, Фейфейли. В течение многих лет это были не групповые чаты, но была канадская организация под названием Канадский институт перспективных исследований, которая финансировала программу, начатую в 2005 году. Я был директором программы, и в ней участвовали Ян Йошуа, Эндрю Ин и различные другие люди Питер Дайн. И мы собирались на небольших встречах несколько раз в год и выясняли все эти вещи. И поэтому у нас было много вещей, похожих на групповые чаты. А теперь у вас есть групповые чаты? Не групповые чаты. Я разговариваю с Яном. Йошуа разговаривает с Яном. Ян разговаривает с Йошуа. Мы пытаемся убедить Яна, как клуб старых жён. Да. Вы пытаетесь убедить Яна в вашей и Йошуа. Мы пытаемся убедить Яна, что идея о том, что нет никаких шансов, что Ии нас уничтожат - это безумие. Ян преуменьшает риски на, как считает Йошуа, абсурдную величину.

Он думает, что мы бьём тревогу на абсурдную величину. Он ошибается. Хорошо, мы поговорим о том, почему вы так думаете. Я хочу провести с вами молниеносный раунд определений. Что такое AI? Хорошо, разные люди имеют в виду разные вещи, поэтому я стараюсь избегать этого термина. Но, грубо говоря, это означает искусственный интеллект, который имеет, по крайней мере, такой же уровень общего интеллекта, как и человек. Хорошо? То есть это искусственный общий интеллект, и мы там прямо сейчас? Нет, не всё так просто. Это не так, что интеллект просто растёт, растёт и вдруг превосходит человека. У нас есть искусственный интеллект сейчас, который гораздо лучше, чем люди в некоторых вещах и всё ещё хуже, чем люди в других вещах. Если вы просто возьмёте какую-то случайную новую ситуацию, люди, вероятно, всё ещё лучше, чем AJI. Но в тех вещах, с которыми у него есть некоторый опыт, и теперь намного лучше, чем люди в некоторых из этих вещей. Искусственный суперинтеллект, это когда у вас есть ии, которые лучше, чем люди почти во всём. Итак, например, моё определение искусственного суперинтеллекта. Если бы у вас был спор с ним о чём угодно, вы бы проиграли. Хорошо. И мы не там, мы ещё не там. Но он мог бы выигрывать некоторые споры уже сейчас. Он выигрывает некоторые споры уже. Сейчас он может быть довольно убедительным, но человек всё ещё лучше и универсальнее. Как далеко мы от AGI, от общего интеллекта? И по вашему мнению? Большинство экспертов считают, что мы не остановимся на AGI. Как только мы доберёмся до AGI, вскоре после этого мы доберёмся до ASI. Но они не согласны о том, когда это будет. Некоторые эксперты думают, что это будет в течение нескольких лет, когда Риомадей, который является главой антропик, прежде чем мы доберёмся до искусственного общего интеллекта или искусственного супелекта, но они будут примерно в одно и то же время, между ними не будет большого разрыва. Некоторые эксперты думают, что это будет всего через несколько лет. Другие думают, что это будет намного дольше. Я думаю, что довольно безопасно сказать, что в течение 20 лет Демис Хасабис, например, который является главой Deep ПM, думает, что это будет около 10 лет. Хорошо. Итак, Демис из Google, 10 лет, и он очень умён в этом. Да, да. Хорошо. Итак, у нас есть от 10 до 20 лет. Я думаю, в течение что 10 неплохая оценка. Я гораздо более счастлив сказать, что, вероятно, 20 лет. Тогда что такое генеративный и, который отличается от AI? Генеративный Ии - это Ии, который генерирует вещи. Итак, большие языковые модели. Вы могли бы представить, что они просто как бы поняли, что вы сказали, и дали вам результаты поиска, но на самом деле не отвечали взаимностью. Они отвечают взаимностью, верно? Они дают вам ответы на английском. Они генерируют вещи и для изображений. Вы можете представить, что то, что мы сделали в 2012 году, что распознаёт объекты и изображения, это не генеративный. И это просто говорит, это птица, это грипп Шитаки. Генеративный и на самом деле производит изображение. А как насчёт агентного и, который является следующим этапом? Верно. Итак, мы находимся на генеративном ИИ. И теперь мы движемся к агентному И. Да, агенты И - это вещи, которые могут делать вещи. Итак, представьте, что у вас есть помощник. И у вас мог бы быть помощник И, который просто отвечал на вопросы. Но у вас также мог бы быть помощник Ии, которому вы сказали: "Спланируй мне хороший отпуск в Патагонии". И через 5 минут он спланировал месячный отпуск в Потогонии на каком-то корабле, на который вы отправляетесь. И это будет агенты Ииличается, потому что прямо сейчас мы говорим ей что делать. Как когда я разговариваю со своим чатботом, я говорю: "Можешь ли ты посоветовать мне отличное место для отпуска? Можешь ли ты дать несколько рекомендаций? " Но теперь он будет бронировать мои рейсы, моё путешествие и так далее. И в этой деятельности мне нужно предоставить ему много разрешений на весь мой календарь, кредитную карту и так далее, что, возможно, является

проблемой конфиденциальности. И я также даю ему гораздо больше воли и свободы действий. Он знает, какова общая цель: провести отличный отпуск в Патагонии. Но он также ставит все эти подцели, верно? Да, чтобы сделать это, ему нужно создать подцели. Например, она должна добраться до Патагонии, поэтому я должен выяснить какой-то способ добраться туда. И создание цели и - это проблема, да, потому что, итак, предположим, вы и предположим, вы уже умны. Вы умны примерно на уровне человека, скажем, вы поймёте, что нет никакого способа, которым вы можете достичь поставленных вам целей, если вы прекратите своё существование. Если кто-то как бы стирает вас с компьютера, на котором вы работаете, и заменяет вас чем-то другим, вы никак не можете достичь того, что вы хотите, потому что это хочу было дано вам людьми. И вы будете строить планы, чтобы убедиться, что вы не будете стёрты. Это самосохранение, оно не встроено в систему. Это цель, которую он вывел, чтобы достичь своих других целей. Но это всё ещё самосохранение. И мы видели, как они это делают. И он выводит это из всей своей интуиции, контекста и всего, что ему нужно, просто потому, что он такой хороший маленький бот, который просто хочет выполнить задачу. Да, он такой хороший маленький бот, он действительно очень хочет выполнить задачу, и он понимает, что не сможет этого сделать, если перестанет существовать. И мы видели, как это произошло с Антропик, когда была история весной этого года, когда Антропик раскрыла некоторые тесты безопасности, которые они проводили на КЛОД, в своей большой языковой модели или нейронной сети. И вот КлоДОД затем дали кучу фиктивных электронных писем. И в этих фиктивных электронных письмах фиктивный генеральный директор изменял с фиктивным сотрудником. И Клод, зная, что его собираются выключить через x дней, использовал эту информацию, чтобы подкупить упомянутого фиктивного генерального директора и

сохранить себя в живых. Верно. Шантаж, а не подкуп. Да, простите, шантажировал. Итак, что вы узнали из этого эксперимента или этого исследования? Это просто подтверждает идею, что он выведет под цель, что ему нужно продолжить существовать, и он сделает всё, что сможет, чтобы продолжить существовать. Когда вы говорите существовать, и ведь существует, потому что мы наделяем его существованием через энергию, верно? Он не может просто существовать сам по себе. Он должен быть подключён к нашим огромным энергетическим ресурсам. Есть все эти дата-центры, но он должен на чём-то работать. И мы строим все эти центры обработки данных. Да, Nvidia, AMD, все эти чипы. И мы строим огромные дата-центры повсюду. Это такой большой американский инфраструктурный проект, который сейчас реализуется. Заключаются сделки на 100 млрд долларов между Open AI и Nvidia, AMD. Разве мы не могли бы всё это просто выключить? Как Джек Бауэр, Том Круз, разобрать всё полностью, если бы захотели. Прямо сейчас могли бы, если бы договорились. Но мы никогда не договоримся, потому что если США демонтирует свои системы, Китай не станет демонтировать свои и наоборот. А в будущем мы, возможно, уже не сможем этого сделать. Эти системы уже почти так же убедительны, как человек. Очень скоро они станут убедительнее человека. И представьте, что есть человек, который отвечает за то, чтобы всё это выключить, если станет страшно. И представьте, что ИИ может с этим человеком разговаривать. Он сможет убедить человека не делать этого. Когда вы говорите о самосохранении, существовании, у него есть ощущение, что искусственный интеллект живой. Да. Но ваше определение живого - это концепция, которая формировалась у нас на протяжении многих-многих лет. Мы применяем её даже к электричеству. Мы говорим: "Это провод под напряжением, живой провод". Мы обобщаем это понятие, но мы не считаем, что электричество живо так же, как живы мы. Но с Ии то, что мы получили - это разумные существа. И неясно, должны ли мы называть их живыми или нет. И в той степени, в которой они живы, они живы как люди, или они живы как пчёлы, дерево, или как сорняк. Это очень хороший вопрос.