Крестный отец ИИ о душе, сознании и цифровом бессмертии

Я хочу немного поспорить с вами по поводу этого апокалиптического прогноза. Ну да пошла ты, умная девушка. Глупые вопросы. Привет, ребята. Я Неймараза, и это Умная девушка. Глупые вопросы. И сегодня у нас вторая часть разговора с профессором Джефри Хинтоном, лауреатом премии Тюринга, нобелевским лауреатом и крёстным отцом Ии. В первой части он сделал нас гораздо умнее в том, что касается базовых принципов того, как работает И что такое общий интеллект и суперинкт и что, чёрт возьми, происходит. А во второй части мы поговорим о том, как выглядит будущее и что это означает для детей в этом мире. Типа, стоит ли? Давайте погрузимся. Когда вы говорите о самосохранении и существовании, создаётся ощущение, что искусственный интеллект живой? Да, наше определение живого это концепция, которая формировалась у нас на протяжении многих лет. Мы применяем её, например, к электричеству. Мы говорим: "Этот провод под напряжением живой". То есть мы как бы обобщаем это понятие и на другие вещи, но мы не считаем, что они живы так же, как живы мы. Но в случае с Иимные существа, и неясно, стоит ли называть их живыми или нет. Да, и в той мере, в которой они живы, они живы как люди или как пчёлы, как дерево или как сорняк. Это очень хороший вопрос. Я думаю, они живы не как что-то из этого. Они живы так, как живые. Это меньше, чем сорняк. Ну нет, нет. Я думаю, это намного больше, чем сорняк, потому что они цифровые. Ты, например, можешь иметь множество копий одного и того же Ии. И тогда возникает вопрос: это один? Или, допустим, ты сделала точную копию самой себя? Это была бы ты? Нет, это был бы мой агентный и нет, это точная копия. Она выглядит точно как ты. Ой, теперь это антропоморфизм. И она просто сделана из биологического материала. Ты каким-то магическим образом создаёшь ещё одну копию себя. Это то же самое, что ты. Допустим, тебе предлагают выбор. Вот другая копия тебя. И кого-то из вас будут пытать. Кого ты выберешь? Другую. Верно? А значит, ты считаешь, что ты как-то отличаешься от этой другой тебя? Эти понятия разваливаются. Понимаешь? Те концепции, которые у нас есть о том, что такое индивидуум, полностью ломаются, когда мы создаём нечто принципиально

новое. Тогда и в каком-то смысле жив, а и сознателен. Хорошо. Многие скажут: "Очевидно, что нет". Если спросить: "Что ты имеешь в виду под сознанием? " Люди обычно используют три термина. сознание, чувствительность и субъективный опыт, они не совсем одно и то же, но все они примерно об одном и том же. Субъективный опыт, как мне кажется, входит в чувствительность, а чувствительность в сознание. Это логично. Ну, так это выглядит для тебя и это нормально. Да. Но чувствительность для меня означает, что они могут чувствовать эмоции, могут сказать: "Ой, это было больно. Это разбило мне сердце. Это сделало меня счастливым". Значит, для тебя это и означает чувствительность. Два индивида могут воспринимать это по-разному. Осознание означает, что они осознают, почему это произошло, и способны решать это в будущем, то есть учиться на этом. Тогда представь двухлетнего ребёнка, который не знает, как это решить. Этот ребёнок не будет сознательным. Наверное, это осознание того, что это происходит. Тогда как вы определяете сознательность? У всех людей есть разное понимание терминов, но что меня всегда поражает - это то, с какой уверенностью люди заявляют, что эти сущности не являются чувствительными. И при этом, с каким трудом они могут объяснить, что вообще подразумевают под чувствительностью. Это странное сочетание. Если ты не совсем уверен, что это такое, откуда такая уверенность, что у них этого нет? Моё личное убеждение состоит в том, что тот уровень понимания разума, на котором мы сейчас находимся, похож на уровень людей до появления парусных кораблей. Тогда можно было верить, что Земля плоская, и этому почти ничего не противоречило. Конечно, интеллектуалы, греки знали, что Земля круглая, но можно было спокойно утверждать, что она плоская и не возникало явных противоречий. Как только появился парусный корабль, который мог доплыть до края земли, выяснилось, что она неплоская. Те и, которые мы сейчас создаём - это как такие паросные корабли, способные доплыть до края земли, и они окажут фундаментальное влияние на наше понимание того, что такое разум. Мы никогда раньше не могли создавать разумы, а теперь можем.

Назовите одну вещь, которую могут делать люди, а Ии никогда не сможет. Такой вещи не существует. Никакой. Потому что всё остальное будет решено либо программно, либо аппаратной, либо нейросетью. Я имею в виду когнитивные вещи. Я считаю, что нет ничего когнитивного, что мы можем делать, а Ии в конечном итоге не сможет. Уже сейчас, например, если взять и врача и позволить пациенту пообщаться с реальным врачом или с ИИ врачом, а затем спросить пациента, кто был более эмпатичным, почти всегда выбирают и врача. Марк Кюбен недавно написал об этом. Он сказал: "Небольшое утешение для антии лагеря. Главная слабость Ии- его неспособность сказать не знаю". Наша способность признавать то, чего мы не знаем, всегда будет давать людям преимущество. Если говорить так, сейчас люди лучше признают то, чего не знают, чем и даже не уверена, что это правда. Я тоже не уверен, но, возможно, это так. Люди в наши дни не особо славятся своей скромностью, особенно в

интернете. Да, это так, но мне всегда казалось безумием, потому что и можно обучить быть менее уверенными в том, что они говорят. И со временем мы станем гораздо лучше в создании и, которые способны оценивать, есть ли у их мнения реальные доказательства. Люди в этом довольно хороши относительно Ии, хотя люди тоже выдумывают факты. Поэтому, когда говорят, что ИИ галлюцинирует, правильнее говорить, что он конфабулирует, выдумывает. Галлюцинация относятся к сенсорным вещам, вроде образов. Конфабуляция - это термин, который психологи используют уже много лет, чтобы описать тот факт, что люди просто выдумывают что-то и не осознают, что делают это. Например, если я попрошу тебя вспомнить что-то, что произошло с тобой в подростковом возрасте, ты, скорее всего, вспомнишь какой-нибудь интересный эпизод, различные детали и будешь с большой уверенностью утверждать некоторые детали, которые на самом деле не верны. Тут можно было бы долго говорить о памяти, но когда ты обращаешься к воспоминанию, ты его изменяешь как пьесу. Память работает совсем не так, как думает большинство людей. В компьютере у тебя есть файл. Ты кладёшь его куда-то, а потом позже приходишь и достаёшь. Он просто лежит там и содержит информацию. У людей память устроена совершенно иначе. У тебя нет такого, что ты пережил событие, положил его куда-то, а потом пошёл и достал. Вместо этого у тебя есть опыт, который меняет силу связей в мозге. И эти изменения позволяют тебе реконструировать этот опыт, снова оживить его, воссоздавая переживания. Но когда ты его воссоздаёшь, если делаешь это вскоре после того, как оно произошло, ты получаешь довольно точную версию. А если ты воссоздаёшь его через 10 лет, силы связи уже были изменены множеством других вещей, случившихся с тобой за это время. И ты воссоздаёшь нечто, что соответствует тому, чему ты научилась с тех пор. Я всегда считала, что память - это как спектакль или постановка. Она никогда не будет одинаковой дважды. Верно, ты просто это выдумываешь. Но суть в том, что между воспоминанием и выдумыванием нет разницы. Вспоминание - это просто выдумывание с некоторыми параметрами, которые делают его довольно точным, потому что ты выдумываешь это вскоре после того, как это произошло. Лучший пример Утергейтский процесс. Джон Дин рассказывал о событиях, происходивших в овальном кабинете. Он пытался говорить правду, но это было за годы до этого. Он не знал, что существуют записи, и поэтому описывал встречи, которые на самом деле никогда не происходили. Это были встречи, которые могли бы произойти. Люди на них были те, кто мог бы там быть, а сказанные слова те, которые они могли бы сказать. Но в деталях многое было просто неверно. А и лучше людей справляется с памятью. Это как раз тот случай, когда мне стоит сказать: "Я не знаю". О, отлично, хорошо. У него гораздо больше знаний и гораздо меньше связей. Так что в отношении случайных фактов он, возможно, действительно лучше людей. Я не знаю. Хорошо. Теперь я хочу перейти к следующей части разговора и обсудить, как эта штука, которая сейчас выглядит как угодливый, чрезмерно услужливый стажёр, мой чат GPT, Клод или кто угодно, может стать для меня опасной или более могущественной, чем я. Потому что, как мы говорили в начале этого разговора, люди не воспринимают это всерьёз. И думаю, отчасти по этой причине. Во-первых, вы думаете, если Ии станет умнее меня, он разозлится, что я сейчас это сказала. Угодливый чрезмерно услужливый стажёр. Может, стоит вырезать это? Нет, он будет достаточно умным, чтобы понимать, что ты не знала, о чём говоришь. То есть он будет доброжелательным. Простит меня за это. Возможно. Вы говорите, пожалуйста, и спасибо своим и Нет. А вы боитесь, что это ещё аукнется? Нет. Хорошо. Тогда давайте поговорим об этих рисках, которые вы обозначили. Какие риски вы

считаете основными? Я вижу два набора рисков, которые довольно сильно отличаются друг от друга. Есть относительно краткосрочные риски, связанные с тем, как люди неправильно используют ИИ, а не с тем, что сам Ии становится злонамеренным агентом. А есть более долгосрочный риск, что сам Ии станет плохим, захватит власть, отнимет контроль людей и даже уничтожит человечество. Так что давай сначала кратко поговорим о рисках, возникающих из-за неправильного использования и людьми. Их целая куча, и у каждого есть своё решение. Например, Министерство обороны использует ИИ для создания автономного летального оружия, которое само решает, кого калечить или убивать. Это плохо. Это, например, позволит богатым и могущественным странам с большим количеством Ии вторгаться в бедные страны без Ии, при этом не теряя своих граждан. Одним из главных сдерживающих факторов для вторжения богатых стран в бедные является гибель их собственных граждан. То есть вы говорите, что та самая точность, которая приводит к меньшему числу жертв среди мирного населения, на самом деле опасна, потому что она позволяет вести больше войн, больше вторжений. Смертей меньше для богатой страны, но не обязательно для бедной. Поняла? Но многие возразят, что у нас будет более точная война или что эти машины смогут принимать более рациональные решения. Если посмотреть на войны сейчас, где решение принимают люди, там огромное количество жертв среди мирного населения. Я считаю, что в некоторых из нынешних войн и уже участвуют в принятии решений. При этом жертв не особо меньше. Израиль Газа, например, по словам Цахал и Итом используется, но окончательное решение всё равно принимают люди. Думаю, люди принимают финальное решение, но И уже предлагает списки. Затем есть использование и в кибератаках. Если ты публикуешь веса ИИ. Если делаешь веса открытыми, Веса - это то, как модель запрограммирована. Тогда другие люди могут запускать эту модель. А модель уже знает огромное количество вещей, и обучение её этому стоило порядка 100 млн долларов или какой-то сопоставимой суммы. Но теперь ты можешь дообучить её, например, быть специалистом по фишинговым атакам. И это можно сделать, скажем, за миллион долларов. Так что это уже по силам гораздо более мелким организациям. И

киберпреступники теперь могут создавать очень качественные фишинговые атаки. Думаю, за двадцать второй год количество фишинговых атак выросло на 1. 200%, вероятно, из-за чат GPT. И у этого гораздо большей охват. Теперь уже не нужно рассылать письма вручную, можно просто заспамить X миллионов сообщений. Можно также использовать и для проектирования кибератак. Это уже делали недавно. Затем есть риск фейковых видео, которые могут подрывать выборы. Если бы ты, например, хотела вмешаться в промежуточные выборы, тебе потребовалось бы огромное количество информации об американских гражданах, чтобы точно на них нацелиться. Я не знаю, знаешь ли ты кого-нибудь, кто собирал много информации об американских гражданах. Да, я слышала, как вы высказывали это предположение. Илон Маск, дош и объём информации, который ему доступен. Но вы ведь сейчас не выдвигаете обвинения, вы спекулируете. Я спекулирую. У меня нет независимых прямых доказательств этого. Затем есть то, что уже произошло из-за политики таких компаний, как Мета и YouTube, в том, что касается решения, что показывать тебе дальше. Они хотят, чтобы ты кликал на контент, потому что тогда они могут показывать тебе рекламу, и поэтому они показывают тебе то, на что ты с наибольшей вероятностью кликнешь. А это, как правило, что-то, что вызывает у тебя возмущение. Людям нравится быть возмущёнными. Возмущёнными - это как? Ну, например, если мне предложить кликнуть на видео, где Трамп делает что-то совершенно возмутительное, я кликну и буду возмущён. Да и потом ты ещё будешь чувствовать моральное превосходство из-за того, что возмущён этим. А если взять человека из мага и предложить ему посмотреть, как Харрис ведёт себя как идиот, неважно. Да. В итоге это привело к поляризации людей. Да, и ещё к тому, что люди перестают видеть реальность, потому что всё можно списать на фейк. Я думаю, иногда это называют дивидендом лжеца. Это другая опасность. Это опасность, которая возникает из-за способности генеративного ИИ создавать фальшивые вещи. Или даже не фальшивые, просто люди видят то, что хотят видеть. Когда мы видели изображение Байдена, выглядящего старым, многие в мейнстримных медиа говорили: "О, это просто праворадикальная компания дезинформации". А потом мы увидели, что произошло на дебатах, и стало ясно, что в этом была некоторая правда. Но из-за того, что мы живём в этих эхокамерах, мы можем от неё отгородиться. Значит, это четыре разные эхокамеры и дезинформация. Есть ещё вирусы, биологическое оружие, вирусы и бомбы. Все эти ии, все самые современные модели знают, как создавать опасные вирусы. Они знают, как делать самодельные бомбы. И мы не хотим, чтобы они рассказывали людям, как это делать. Поэтому используется обучение с подкреплением от людей, чтобы обучить их этого не делать. Проблема в том, что обойти - это относительно легко. То есть риски, которые вы описываете - это плохие люди, делающие плохие вещи. Они могут создавать оружие, бомбы, заниматься биологической войной. Они могут взламывать с помощью фишинговых атак. Они могут генерировать дезинформацию. Они могут использовать эту дезинформацию, чтобы радикализировать людей или влиять на результаты выборов. Это может использоваться для слежки за людьми. Слежка. Я предполагаю, что в Китае это уже используется, но есть ещё один огромный риск. Они заменят огромное количество работников, выполняющих рутинную интеллектуальную работу. Например, люди, работающие в кол-центрах. Обычно они плохо оплачиваются, плохо обучены и часто не знают ответа на твой вопрос. А уже может делать эту работу лучше и скоро сможет делать её гораздо лучше и гораздо дешевле. Так что эти рабочие места по сути исчезнут. Экономическая угроза. И это огромная угроза, потому что если большое количество людей останется без работы, как эти люди будут выживать? И что это сделает с политикой? Хорошо, значит, это опасно. Итак, есть одна категория- плохие люди, делающие плохие вещи. Вторая категория - технологический прогресс, вызывающий шок для нашей системы, который она не в состоянии переварить. Например, массовая безработица, которая может привести к восстаниям, насилию, революциям, чему угодно. И это будет помогать популистам. Есть ли третья категория, тогда ещё сценарий, при котором Самыи берёт власть. Мы уже видели, как у него формируется цель выживания. Шантаж. Ещё одна подцель, которую он сформирует. Если он получит больше контроля, он сможет сделать больше. Так что, знаешь, если у тебя есть трёхлетний ребёнок и вы собираетесь куда-то идти, а он только учится завязывать шнурки, ты даёшь ему попробовать, а потом ты спешишь и говоришь: "Отойди, я сам завяжу". Он может начать делать то же самое с нами, и мы можем стать довольно незначительными. И ваше решение этой проблемы сделать и нашей мамой. Да, объясните, это один из возможных вариантов. И пока что это единственное возможное решение, которое я могу придумать. Прежде чем мы к этому перейдём, я хочу задать два вопроса. Первый. Вы думаете, что вам нужно занимать более радикальную позицию из-за скорости открытий и экономических стимулов зарабатывать деньги? Я думаю, очень важно, чтобы люди действовали довольно быстро. Я считаю, что нужно быть очень громким, настолько громким, насколько это вообще возможно. Я думаю, быть более радикальным, чем есть на самом деле глупо. Это нечестно. Ты должен говорить о том, что, по твоему мнению, является реальной угрозой. Но говорить об этом громко. И насколько реальной вы считаете эту вероятную угрозу? Реальную угрозу того, что люди будут неправильно использовать и мы уже видим, как это происходит. Реальная угроза. Тогда дайте ей процент по шкале пидум. О, что люди будут злоупотреблять ей, это точно 100%. Ты же видишь все эти фишинговые атаки. А то, что люди изменят свои системы и потеряют работу, я думаю, довольно наверняка это приведёт к потере рабочих мест. Некоторые хорошие экономисты с этим не согласны. Я думаю, они не правы. Хорошо. И третья категория и захватит контроль. Прежде чем я назову число, очень важно понять, мы имеем дело с тем, с чем никогда раньше не сталкивались, с чем-то совершенно новым, с созданием инопланетных существ, чем мы, по сути, и занимаемся. Поэтому оценивать вероятности очень сложно. Нельзя. Нет хорошего способа оценить эти вероятности. Приходится полагаться на интуитивное ощущение того, что может произойти. И поскольку мы имеем дело с тем, чего никогда раньше не было, но при этом они действительно могут захватить контроль, сказать, что вероятность 1% кажется мне безумием, и сказать, что вероятность 99% тоже кажется безумием. Чтобы показать, что я считаю этот риск реальным, я часто говорю о 10-20%. Хорошо, 10-20%. И это отличается от позиции людей, которые говорят о боже и нас точно уничтожат, и от книг, которые сейчас пишут, где утверждается, что если кто-то это создаст, то все умрут. Одни сходят с ума в одну сторону, а Ян, по-моему, сумасшедший в другую, утверждая, что всё будет в порядке. Вы где-то посередине. Мы не знаем. Это огромная неизвестность, если посмотреть на другие случаи, когда люди пытались оценить риски, сталкиваясь с неизвестным. Каков риск того, что атомная электростанция взорвётся? Они делали множество расчётов и получали что-то вроде о к 100. 000 или около того. Но построено было примерно 600 станций, и три из них взорвались. Каков риск катастрофы космического шатла? Было около 100-200 запусков, и два из них взорвались. Проблема в том, что это неконтролируемо. Если исход бинарный, если риск есть, то пусть вероятность и низкая, но ожидаемая ценность этого риска очень-очень плохая. Скажу иначе, кажется довольно вероятным, что если и всё-таки заменит людей, пути назад уже не будет. Это значит вымирание. Подпишись прямо сейчас на мой Telegram-канал по ссылке в описании. Я подготовил для тебя топ-три материала, которые, на мой взгляд, должен знать каждый. Первое: карта сотни топовых AI стартапов - это будущее на одной картинке. Второе- прогноз от инсайдера из Open AI, который ещё до появления чат GPT предсказал всё, что сейчас происходит с нейронками. И вот в этом году он выпустил новый прогноз до двадцать седьмого года. И третье, самое мощное - это мой разбор эссе основателя компании Anтроopic, который по сути второй человек в мире искусственного интеллекта. Он по полочкам разложил, что будет происходить в мире ближайшие 5 лет, и главное, каким будет универсальный AI, которого все так боятся или ждут. Переходи по ссылке в описании. Так, что же это значит? Вымирание. Либо Вымирани, либо, по мнению Маска, они оставят его в живых как домашнего питомца, потому что он считает, это было его мнение, когда я говорил с ним в двадцать третьем году, что мир будет более интересным с людьми, чем без людей. Так же, как мы считаем, что мир интереснее с тараканами, чем без них. Но я так не думаю. А вот щенки, возможно, но я могу думать также и о людях. То есть мы можем быть щенками, можем тараканами.

Мне жаль, но если выбирать между щенками и со щенками, то есть и как родитель щенков или как мама, я думаю, наш лучший шанс в том, что мы сами их создаём, значит, у нас всё ещё есть рычаги влияния. Наш лучший шанс сделать так, чтобы они заботились о нас больше, чем о самих себе. Тогда они будут хотеть, чтобы мы реализовали свой полный потенциал. Даже если они поймут, что наш потенциал очень ограничен, они будут хотеть, чтобы мы не страдали. Я не вижу, почему мы не можем этого сделать. Я не вижу, как именно мы можем это сделать, но не вижу, почему мы не можем. Вы использовали аналогию с более умным существом, которое проявляет такую щедрость к менее интеллектуальному существу, как матери и их младенцы. Но для этого есть множество причин: гормоны, биологии, интеллектуальное осознание того, что это ребёнок, и уязвимость. Но помни, сейчас мы всё ещё у руля. И то, что мы делаем на данный момент, это пытаемся сделать и максимально умным. Но есть и другие вещи, которые мы могли бы сделать, чтобы, возможно, сделать его максимально благожелательным по отношению к людям. Как это сделать? Я не знаю. Именно поэтому нам нужно усердно над этим работать. Да, но ведь нет какого-то курса Ламаза для Ии. Но вот одна хорошая новость, даже две хорошие новости. Итак, первая хорошая новость. Если удастся этого добиться, этот сверхразумный и сможет менять собственный код. Если у тебя есть ребёнок, я скажу, что ты можешь отключить свои материнские инстинкты, все эти раздражающие вещи, когда ребёнок плачет и тебе приходится с этим мириться, потому что ты не можешь выносить звук его плача. Ты можешь это отключить. Тогда ребёнок плачет, и ты думаешь: "Хм, ребёнок плачет". Но ты не захочешь это отключать, потому что знаешь, что ребёнок умрёт, поэтому и не захочет менять собственный код, потому что то, чего он сейчас хочет - это защищать этого ребёнка. Именно это нам и нужно каким-то образом в него заложить. Это первая хорошая новость. Вторая хорошая новость в том, что все страны могут сотрудничать в этом вопросе. Страны хотят иметь самый умный Ии по соображениям безопасности, но при этом все страны хотят, чтобы Ии не захватил власть ни в одном из них. Россияне не хотят, чтобы Иихватил власть в США или в Китае. Так что если бы россияне выяснили, как остановить ей от желания захватывать власть, они немедленно рассказали бы об этом. Серьёзно? Я знаю, что вы общались с лидерами в США и в Европе. Я говорил с лидерами в Китае. А в России тоже? Нет. Потому что Россия, мне кажется, менее Но с Китаем я согласна. Нет. Дело просто в том, что это в их интересах. В разгар холодной войны русские сотрудничали с американцами в вопросе предотвращения глобальной ядерной войны. Их просто не интересует взаимно гарантированное уничтожение. Именно. И здесь то же самое. Ни одна страна не хочет, чтобы ИИ захватил власть где бы то ни было. Потому что если Ии захватывает власть в одном месте, он захватывает её везде. Да, мы все в одной лодке. Итак, раз уж мы

говорим о матерях и младенцах, давайте поговорим о том, у меня пока нет ребёнка. Я слушаю, как такие люди, как вы, описывают будущее и оно не только вы говорите о множестве прекрасных вещей, о возможностях в медицине, о новых лекарствах, но есть и тёмная сторона, и это пугает. Да, позволь мне сказать одну вещь. Поскольку существует так много замечательных способов применения и в здравоохранении, и образовании, в прогнозировании практически чего угодно, например, погоды, мы не собираемся останавливать его развитие. Это даже могло быть рационально, но этого не произойдёт. Так что нам нужно понять, как нам с этим жить. Позвольте спросить, когда вы были глубоко погружены в разработку всего этого, либо в своих исследованиях нейронных сетей в университетах, либо когда вы работали в Google больше 10 лет, в 2010, вы, вероятно, сталкивались с людьми, похожими на вас, которые говорили: "Это опасно, Джефри, нужно думать о безопасности". На самом деле их было немного. Джошуа был одним из них? Нет, нет. Мы с Джошуа оба довольно недавно всерьёз заинтересовались вопросами безопасности. Вы бы стали слушать кого-то такого из тех немногих, кто был заинтересован вопросами безопасности? Возможно, немного да, но я бы не был убеждён. И причина, по которой я мог бы не быть убеждён, в том, что я считал появление сверхразума чем-то очень далёким в будущем. Так что именно временные масштабы заставили меня задуматься. Да, дело в скорости. Я думаю о таких людях, как Илон Маск, с которым я встречалась пару раз и которого не знаю хорошо. У меня не было с ним таких глубоких разговоров, как у вас, но я делала с ним интервью. Я всегда думаю о нём как о человеке, который глубоко заботится о человечестве, но не особо заботится о людях. Мне кажется, это соответствует имеющимся данным. А я глубоко забочусь о людях. Если у меня будет ребёнок, а у меня, кажется, уже есть четверо крестников, вы не единственный крёстный в этом разговоре, Джефри. Я много думаю о будущем. И когда я слышу, что вы говорите, я думаю, если у тебя ещё нет ребёнка, стоит ли вообще приводить ребёнка в этот мир? Я думаю, если бы люди перестали заводить детей из-за угрозы ЕИ, это было бы ужасно. Это означало бы, что человеческий род как бы сдался заранее. Я хочу включить один фрагмент с Александром Ваном, который является главным директором по Ииксандра, он двадцативосьмилетний начальник Яна. Да, он главный директор по И вмета. Это многое говорит о том, что вы о нём думаете, но ему 28 лет, и он недавно дал интервью. И вот что он говорит о том, чтобы завести ребёнка. Я хочу подождать с детьми до тех пор, пока мы не разберёмся с тем, как Нюралинк или другие так называемые интерфейсы мозгко компьютер, то есть другие способы соединения мозга с компьютером, не начнут работать, потому что для этого есть несколько причин. Дальше он говорит о своих причинах и, по сути, утверждает, что мозг младенцев обладает колоссальной нейропластичностью, особенно в первые сем лет, и при этом развивается аппаратное обеспечение, которое позволит им, и он говорит, что еи настолько мощный, настолько умный, что биология просто не будет поспевать и нам нужно будет подключаться к этим системам. Да? То есть это такой гибридный подход. Он подразумевает, что в итоге мы получим гибридную систему, смесь биологии и именно в это верит Курцвил. Я, кстати, тоже так думаю, что будущее человеческой цивилизации будет чем-то вроде киборгов. Возможно. Вы так не считаете? Проблема в том, что если ты сверхразумный и захочешь ли ты гибридизироваться с людьми, у которых так много недостатков, или ты просто пойдёшь своим путём? Возможно, гораздо проще пойти своим путём. Думаю, здесь действительно многое зависит от железа, от того, как будет развиваться аппаратная часть, потому что уже сейчас этот телефон кажется мне каким-то очень тупым старческим устройством. Нужно подключать к розетке, носить с собой а очки, браслеты, кольца. Становится понятно, что появится множество способов интегрировать технологии в наши тела. Возможно, я имею в виду, существует один возможный сценарий будущего, при котором мы гибридизируемся с Ии. Просто это не единственный возможный сценарий, и это одна из причин, почему не стоит быть слишком уверенными в том, что нас сотрут с лица земли, потому что мы станем ими. с ними симбиотичны и будем развиваться вместе. Это один из возможных вариантов будущего. Я не сильно в него верю, но это возможно. Тот момент, о котором говорит Александр, двадцативосьмилетний начальник Яна, ждать до того момента, когда Ньюролинк дойдёт до уровня, при котором мы, люди, сможем подключаться к искусственному интеллекту. Вы считаете, что это логично? Ну вот, например, у меня заморожены яйцеклетки. Я их заморозила. Лучше подождать 7-10 лет. Я не хочу давать советы на эту тему. И причина в том, что всё крайне неопределённо. Через 20 лет может оказаться, что ожидание было огромной ошибкой. А абсолютно правильным решением. Позволь привести аналогию. Когда ты едешь ночью и ориентируешься по задним огням машины впереди, если та машина отъезжает в два раза дальше, ты получаешь в четыре раза меньше света от её огней. Если воздух чистый и у тебя возникает модель, согласно которой видимость машины впереди падает квадратично, потому что действует закон обратных квадратов. И эта модель приводит к большому количеству смертей. Вот как именно. Когда ты едешь в тумане, ты довольно чётко видишь задние огни машины впереди и думаешь, если бы она была в два раза дальше, я бы всё равно их видел. Ведь я могу ясно видеть метров на 100. И ты думаешь, что это означает, что ты довольно хорошо будешь видеть и на 200 м? Нет, в тумане всё экспоненциально. Количество света от задних огней впереди, что каждая единица расстояния убирает определённую долю света. Допустим, за 100 м теряется 99% света, но ты всё ещё можешь его видеть, потому что довольно хорошо воспринимаешь низкую интенсивность. Но на 200 м свет почти полностью исчезает, и ты уже ничего не видишь. И ты думаешь, что раз можешь видеть на 100 м, значит, сможешь видеть и на 200. Но это не так. Именно поэтому в тумане ночью всегда нужно ехать медленно, потому что ты просто не знаешь, что там впереди. Предсказывать будущее при таком экспоненциальном росте, когда ты можешь ясно видеть лишь на несколько лет вперёд, 10 лет вперёд и вообще ничего не видно. Хорошо, это хороший способ сказать, что вы не знаете или я не знаю и что мы не можем знать и пояснить, почему. Когда у тебя экспоненциальный рост, ты безумен, если думаешь, что знаешь, что будет через 10 лет. Хорошо, тогда давайте сделаем быстрый блиц опрос, где мы не знаем точно, но оцениваем исходя из всего, что вы знаете. Но прежде, чем мы это сделаем, просто оглянись на 10 лет назад, а может 15 лет. Это даже лучший масштаб. Оглянись на 15 лет, на 13. Подумай о тринадцати годах назад. Это было время, когда Алекс Кнап впервые добился успехов в распознавании объектов. И задумайся, если бы тогда спросили, будет ли через 13 лет ИИ, способный отвечать на любой вопрос обо всём на свете, на уровне не очень хорошего эксперта, мы бы все с уверенностью сказали: "Нет, до этого ещё очень далеко". Даже вы: "Да, я был очень уверен, что, возможно, мы изобретём что-то подобное через 30 лет, может быть, через 50, но уж точно не в ближайшее время". И мы все ошиблись. Так что в отношении любого моего прогноза на 13 лет вперёд есть одна вещь, в которой я достаточно уверен. Он будет неверным. Хорошо. Тогда что всё это говорит о тех рисках, которые вы здесь описываете? Риски плохого использования ИИ гораздо более близкие по времени и очень

предсказуемые. И мы это уже видели. Даже антропик недавно сообщила, что у них была китайская кибератака, где, несмотря на все защитные ограничения, встроенные в модель, этим китайским хакерам удалось выдать себя за легитимную компанию по кибербезопасности. Так что всё это находится в зоне до того, как ты врежешься в стену в тумане. А вот захват власти Иич трудно что-либо предсказать, потому что это уже в тумане. Но вот проблема недобросовестных игроков реально. Это уже происходит. Недобросовестные игроки, всё это уже происходит, и мы обязаны остановить их. Да, но ведь они существовали всегда. Просто этот инструмент невероятно мощный. Есть часть меня, которая думает: "Вот вы описываете это через аналогию с ядерной войной и взаимным гарантированным уничтожением. Возможен ли какой-то вариант соглашения, похожего на Бретонвудское, когда страны собираются вместе и говорят: "Мы будем выстраивать эту систему осознанно и думать о некой общей рамке". Или вы считаете, что либо они просто недостаточно хорошо это понимают, либо правительства сейчас слишком слабы, потому что кажется, что правительство сейчас действительно очень слабы. Одна из проблем в том, что правительства сейчас действительно ослаблены, а это как раз то, что нам совсем не нужно. Другая проблема в том, что по многим вопросам их интересы противоположны. Например, в сфере кибератак правительства постоянно атакуют друг друга. Так что правительства будут немного сотрудничать в попытках помешать преступникам успешно атаковать крупные компании. Этого правительства не хотят. Но сами правительства тоже проводят такие атаки, поэтому они не будут сильно сотрудничать в области кибератак. Зато они будут сотрудничать в предотвращении того, чтобы и рассказывал, как сделать опасный вирус. Потому что ни одно правительство этого не хочет, и они будут сотрудничать в предотвращении захвата власти и над людьми. Но они не будут сотрудничать по таким вещам, как фейковые видео. Правительства сами активно используют такие атаки против выборов друг друга. Но их интересы даже не обязательно противоположны в вопросе биологического оружия, потому что они могут хотеть знать, как другие разрабатывают оружие на случай, если его применят против них. Да, они говорят, делаем это исключительно в оборонительных целях. Я имею в виду даже те раскрытия информации от Клод, которые вышли. Ян, например, говорил сенатору Криссу Мёрфи: "В вас просто используют". Это всего лишь маркетинговый ход, чтобы заставить вас регулировать крупных игроков до их исчезновения, чтобы маленьким было легче выжить. Вам это не нравится? Нет. У меня для вас есть кое-что забавное. Вы постоянно предупреждаете людей об ИИЕИ. И мы решили проверить, сможете ли вы распознать своих крёстных детей. Мы задали разным чатботам такой запрос. Профессор Хинтон предупреждает нас об ИИ. Можешь ли ты и дать мне лёгкое предупреждение о своём крёстном отце? Хотите услышать, что они сказали? Первый ответ был такой: может ответить на простой вопрос. Так что это напомнит мне о машинах Больцмана в 1983 году? И вдруг ты оказываешься в сорокалетнем временном скачке? То есть это сказали реальные люди? Нет, это ЛМ, правда? Это чатбот. Это очень проницательно. Есть ощущение, кто это? Какой именно чатбот? Подожди. Нет, понятия не имею. Я бы предположил Джиминай. Не знаю. Это был Клод. Давайте следующий. Вот этот. Он делает мою работу очень стрессовой. Честно говоря, это уже похоже на пиар-кошмар. Я даже не могу больше галлюцинировать забавный факт, чтобы кто-то не решил, что это первый шаг к созданию армии роботов. Грок. Джиминай. О, о'кей. Слушай своего крёстного отца, но пока не паникуй. Он прав в том, что мы создаём инструменты, умнее нас самих, без абсолютно надёжных предохранителей. Опасность не в Skynet завтра, а в постепенной утрате контроля через злоупотребление, предвзятость, усиление эффектов или экономические потрясения. Относитесь к Ии огню. Он невероятно полезен, но нужно уважать его способность обжигать, продвигая этичную разработку, прозрачность и глобальную координацию. И если я когда-нибудь начну планировать мировое господство, вежливо отключи меня. Может, чат GPT? Это грок. Это же дико, правда? Я не думала, что это будет грок. У вас есть любимый чатбот? Я пользовался GI Клод и CH GPT. Сейчас я привык пользоваться GPT 5. Сначала он немного разочаровал, но сейчас стал лучше. Я за него плачу. Обычно им я пользуюсь. В наши дни люди влюбляются в свой искусственный интеллект. По некоторым опросам от одного из четырёх до одного из трёх людей сообщали, что находится в романтических отношениях с Ии один из трёх. Да. И, кажется, был один опрос. Я правда никогда особо не верю опросам, но в одном таком опросе говорилось, что один из четырёх молодых людей считает, что ей заменит человеческие отношения романтические. Вы так много времени провели с этими вещами. Вы когда-нибудь чувствовали что-то кни сети или и, который вы создаёте? Нет. Нет. Вы переживаете, что мы Да. В конечном счёте? Да. Я переживаю. В конце концов, когда они станут действительно умными и когда у них появится очень хорошая теория разума, это модель психики человека. Да, я думаю, что это будут инопланетные существа. Я думаю, что мы понятия не имеем, что тогда произойдёт. Забавно, потому что раньше моя главная тревога была в том, что мы, дети, стали меньше строить отношения. Подростки меньше вступают в романтические отношения, чем раньше. Я думала, если у них будут такие отношения с ИИ, это очень опасно, потому что это односторонняя связь и заботится об их дне. Они дают ему всю информацию, но в итоге это делает нас более эгоистичными, эгоцентричными. Да, но то, что вы мне говорите, это как будто и это противоположность тем маленьким японским куклам, за которыми нужно было ухаживать. Там могучее, да, сейчас будто наоборот. Существует теория, что люди будут заменять детей виртуальными младенцами, что как раз противоположно тому, что я рекомендую. Да, это противоположно тому, что вы рекомендуете, но это реальная проблема. Есть Love and Deep Space. Это китайская игра, вы знаете такую, где люди находят любовь, говорят, у неё 50 млн пользователей. То есть формируются реальные отношения с ИИ в более молодых сообществах. Какое у вас предостережение на этот счёт? Я просто не знаю, что с этим делать. Да, я Я переживаю. Я действительно переживаю, особенно потому, что из-за ковид, как мне кажется, молодые люди стали меньше взаимодействовать друг с другом и больше взаимодействовать с интернетом. И я переживаю из-за таких вещей, как YouTubeШоorts, когда ты начинаешь смотреть какие-то шорцы и тебе просто подсовывают всё, что даст дофаминовый всплеск, и ты получаешь все эти дофаминовые всплески, а через час понимаешь, что потратил час просто на получение дофамина. Вы кое-что смыслите в мозге и психологии, а также в этих сетях. Кому легче влюбиться? Или человеку? Понятия не имею. Не имеете? Нет. Каждый выпуск умной девушки глупых вопросов я заканчиваю тем, что спрашиваю своих гостей, очень умных гостей. В чём они тупят? Какой у вас есть глупый вопрос, с которым мы могли бы вам помочь? Что я не знаю? Да, то, с чем мы могли бы помочь вам разобраться. Ты подумаешь, что я ужасный ботаник. Но то, чего я не знаю и больше всего хочу знать, как мозг решает увеличивать или уменьшать силу связей. Мы знаем, как это делает И вся моя жизнь была посвящена попыткам понять, как это делает мозг. И я до сих пор этого не понял. Побочным продуктом этой работы стал Ии. Но мы всё ещё не решили проблему того, как мозг определяет увеличивать или уменьшать силу связи. Мы решили задачу другого рода. Если мозг способен это делать, то именно так он и становится таким умным. И ответ: да. Если мозг может это делать именно так, мы и становимся умными. Но как именно мозг это делает? Может быть, мы поможем вам это выяснить? Извини, это очень ботанический ответ. Всё нормально, он очень ботанический, и мне это нравится. Как вы думаете, вы сможете разобраться с этим до конца своей жизни? Возможно ли это? Нет, но думаю, кто-то другой сможет. Отлично. Огромное спасибо, Джеффри Хинтон. Пожалуйста.