Эксклюзив от человека, который придумал AGI

Будет ли человеческий интеллект пределом возможного? Я думаю, абсолютно нет. Мне действительно интересно, что всё это значит для людей. Я имею в виду, если мы доходим до точки, где, по сути, человеческий интеллект меркнет на фоне сверхинтеллекта, что это означает для общества? Это означает масштабную трансформацию. Это то, что структурно изменит экономику, общество и многое другое. И нам нужно подумать о том, как нам обустроить этот новый мир. Добро пожаловать на подкаст Google Deep Mind. С вами ведущая профессор Ханна Фрай. Уже близко, кажется, это говорят все. Что ж, сегодня мой гость Шейнк, главный научный сотрудник по вопросам AI и соучредитель Google Deep Mind. Шейн говорит о Бейджай уже десятилетиями, даже тогда, когда это считалось, по его словам, уделом сумасшедших. Именно ему приписывают популяризацию этого термина. И одни из первых попыток разобраться, чем же AI может быть на самом деле. В сегодняшней беседе мы поговорим с ним о том, как следует определять AI, как мы сможем распознать его появление, как гарантировать его безопасность и этичность. И что критически важно, как будет выглядеть мир, когда мы его достигнем? Должна сказать, Шейн был наредкость откровенен в вопросах того, как всё общество изменится в ближайшие десятилетия. Определённо стоит остаться с нами ради этой дискуссии. Добро пожаловать на подкаст Шейн. Последний раз мы общались 5 лет назад, и тогда вы делились своим видением того, каким может быть AI. Если говорить об и системах, которые у нас есть сегодня, как вы считаете, проявляются ли в них искры AI? Да, я

думаю, это гораздо больше, чем просто искры. Больше, чем искры? Да. Моё определение AI, иногда его называют минимальным AI, это искусственный агент, который может выполнять как минимум те когнитивные задачи, которые обычно под силу людям. Мне нравится эта планка, потому что если она ниже, кажется, что система не справляется с тем, чего мы ожидаем от человека. То есть мы как бы ещё не у цели. С другой стороны, если я установлю минимальную планку намного выше, то многие люди сами не смогут делать то, что мы требуем от AI. Мы верим, что у людей есть некий, скажем так, общий интеллект. Поэтому кажется, что если и может выполнять когнитивные задачи на типичном человеческом уровне, а возможно и выше, то мы должны рассматривать его именно в этой классификации. То, что у нас есть сейчас, на каком оно уровне. Что ж, ситуация неоднородная. В чём-то системы уже гораздо, гораздо лучше людей. Например, в знании языков модель может говорить на 150 языках. На это не способен ни один человек, и её общие знания феноменальны. Я могу спросить её о пригороде, где я вырос, маленький городок в Новой Зеландии. И она знает о нём факты. С другой стороны, они всё ещё не справляются с вещами, которые обычно под силу людям. Они не очень хороши в непрерывном обучении, освоении новых навыков в течение длительного периода времени. И это невероятно важно. Например, когда вы выходите на новую работу, от вас не ждут, что вы будете знать всё и сразу, и станете сверхпродуктивным. Но вы должны со временем этому научиться. Также у них есть слабые места в рассуждениях. Особенно в том, что касается визуального мышления. Ии уже давно отлично распознают объекты кошек, собак и всё в таком духе. Но если попросить их порассуждать об объектах внутри сцены, они начинают плавать. Например, вы видите красную и синюю машины и спрашиваете, какая из них больше. Люди понимают, что здесь замешана перспектива. Синяя машина может быть больше, но выглядеть меньше, потому что она дальше, и в этом не очень хороши. Или если взять диаграмму с узлами и связями между ними. как сеть, да, сеть или граф, как сказал бы математик. Если задавать вопросы по нему, системе нужно сосчитать количество рёбер или спиц, выходящих из одного узла. Человек делает это, концентрируя внимание на разных точках и, возможно, мысленно их подсчитывая. И не очень силён в подобных вещах. Мы сейчас видим массу таких примеров, но я не думаю, что здесь есть какие-то фундаментальные препятствия. У нас есть идеи, как разрабатывать системы, способные на это. Мы видим, что показатели во многих из этих областей со временем улучшаются. Мои ожидания таковы: в течение нескольких лет все эти вопросы будут решены, но пока мы ещё не там. Думаю, потребуется время, чтобы пройти через это, потому что существует довольно длинный хвост всевозможных когнитивных задач, в которых Ии всё ещё уступает человеку. Когда мы достигнем этого уровня, а я думаю, это случится через несколько лет, точно сказать сложно, и станут гораздо более надёжными, что во многих отношениях значительно увеличит их ценность. Но также за этот период они станут всё более способными, вплоть до профессионального уровня и выше. Возможно, в программировании, математике, знании множества языков и общем понимании мира они уже там. Так что развитие идёт довольно неравномерно. Если вы считаете, что со временем они станут надёжнее, то как именно? Это просто вопрос увеличения моделей, масштабирования или большего объёма данных? Есть ли у вас чёткий путь, как сделать их более надёжными? Думаю, да. И дело не в чём-то одном, не просто в размере модели или количестве данных. В некоторых случаях нужны данные определённого рода. Когда вы собираете данные, требующие, скажем, визуального мышления, модели учатся это делать. В других случаях требуются алгоритмические решения, новые внутренние процессы. Например, если вы хотите реализовать непрерывное обучение, чтобы и продолжал учиться со временем, вам может понадобиться процесс, при котором новая информация сохраняется в какой-то системе поиска. Назовём это эпизодической памятью. И затем нужны механизмы, чтобы эта информация со временем интегрировалась обратно в базовую модель. Это требует не просто большего объёма данных, а определённых алгоритмических и архитектурных изменений. Так что, думаю, ответ кроется в комбинации этих факторов. И всё зависит от конкретной проблемы. Я знаю, вы не считаете, что - это некий единый порог, да нет, который мы просто переступаем. Вы видите это скорее как спектр или систему уровней. Расскажите об этом подробнее. Да, у меня есть

понятие, которое я называю минимальный AJI. Это момент, когда у нас появляется искусственный агент, способный выполнять все те когнитивные задачи, которых мы обычно ожидаем от человека. Мы ещё не там, но это может занять от года до 5 лет. Моё предположение около двух. То есть это самый нижний уровень. Это то, что я называю минимальным AI. О'кей. Этот и больше не совершает ошибок в тех задачах, которые не вызывали бы затруднений у обычного человека. Я считаю это минимальной планкой. Однако это не означает, что мы полностью постигли, как достичь пределов человеческого интеллекта. Ведь есть выдающиеся люди, совершающие невероятные когнитивные подвиги, создающие новые теории в физике или математике, пишущие гениальные симфонии и литературу. То, что наш Ииправляться с типичным набором человеческих когнитивных задач, ещё не гарантирует, что нам известны все рецепты и алгоритмы для достижения экстраординарных результатов. Когда же наш Иис может охватить весь спектр возможностей человеческого познания, тогда мы сможем сказать, что полностью освоили человеческий уровень, и мы назовём его полноценным AI. А есть ли уровень выше этого? Да. Как только вы выходите за пределы того, что доступно человеческому познанию, вы попадаете в область, называемую искусственным сверхинтеллектом, ASI. Для этого термина пока нет чётких и хороших определений. Я сам несколько раз пытался сформулировать удачное определение, но в каждом из них были свои изъяны. В общих чертах это означает систему, которая обладает универсальностью AI, но при этом настолько способна, что находится далеко за гранью возможностей любого человека. Я знаю, что вы были одним из тех, кто помог ввести в обиход сам термин AI. Считаете ли вы его полезным до сих пор? Сейчас ведь столько конкурирующих определений. Это стало своего рода модным словом, которые используют все подряд. И вы правы. Обычно его описывают как некий бинарный переход до нет, а не как континуум уровне, о котором говорите вы.

вы. Когда я предложил этот термин, я рассматривал его скорее как область исследования. Я общался с Беном Герцелем, на которого работал около года, и он хотел написать книгу о старом видении ИИ, о мыслящих машинах, которые могут выполнять множество самых разных задач, а не быть узкоспециализированными, уметь только играть в покер, синтезировать речи с текста и так далее. Подобная специализация была типична для того времени. И я подумал: "А как же старая мечта об ИИ? создание системы с очень широкими возможностями, которая может учиться, рассуждать, владеть языком, писать стихи, заниматься математикой или, скажем, рисовать картины, делать всё подряд. Как нам это назвать? И я сказал ему: "Ну, раз нам нужна именно универсальность Gраalлити, почему бы просто не добавить это слово в название и не назвать его искусственным общим интеллектом? " Artificial General Intelligence. Agi звучит довольно складно. Давай так и сделаем. Но затем произошло вот что. Люди начали использовать этот термин в интернете и очень быстро пошли разговоры в духе: "Ну и когда же у нас появится AJI? " Таким образом, AJ превратился из области исследований в категорию объектов, артефактов. А раз эта категория, ей нужно определение. Возможно, с моей стороны, была ошибкой не дать определения сразу тогда. Спустя несколько лет, выяснилось, что был человек по имени Майк Брат, который ещё в девяносто седьмом году написал статью, где использовал этот термин. Никто из нас не знал об этом. Примечательно, что он определял это через когнитивные задачи, которые люди выполняют в промышленности и других сферах. Так что это очень близко к тому, что использую я сейчас. Да, если бы определение закрепили чётко в самом начале, это бы помогло. Вы не жалеете, что назвали это именно так? Нет. Вовсе нет. Я думаю, это дало людям способ назвать саму идею создания систем, которые были бы по-настоящему универсальными или хотя бы универсальными в той же степени, что и человеческий интеллект. В этом была потребность, и именно поэтому термин прижился. Как ещё вы назовёте это, если не так? Если использовать фразы вроде продвинутый и, что ж, альфафолд в каком-то смысле продвинутый и, и он очень важен, но он крайне узконаправленный. Или Alльpha Go. Опять же, это продвинутая система, но узкая. Как называть системы, которые очень многогранны? Но со временем разные люди стали интерпретировать этот термин по-своему, глядя на него через разные призмы. Например, ещё в те ранние дни некоторые представляли Agч из далёкого будущего, до чего ещё десятилетие и что полностью перевернёт мир. Они начали определять AI через те трансформации, которые он вызовет в обществе, через экономический рост и тому подобное. Я же склонен рассматривать это скорее как историческую точку во времени. Это момент, когда нам придётся признать, что ж, эти системы в каком-то смысле относятся к той же категории, что и наш интеллект, и они могут выполнять те же когнитивные задачи, что и мы. Это не обязательно сразу производит революцию в мире. Обычный человек, идущий по улице, - это не Моцарт и не Эйнштейн. Он не изобретает квантовую теорию. Но это крайне интересный момент, потому что ещё 10 или 20 лет назад у нас не было систем, которые бы хоть близко подошли к когнитивным способностям обычного человека. Я считаю, что это важный исторический рубеж и теперь в некотором роде в одной лиге с нами. Кроме того, мне кажется полезным дать чёткое определение, потому что возникает путаница с прогнозами. Кто-то говорит, что AGI появится уже через 3 года. Часто люди говорят: "О, я думаю, до этого ещё 15-20 лет" и всё в таком духе. Но когда я начинаю это обсуждать с ними, то обнаруживаю, что они используют другое определение. Это приводит к большой путанице, потому что люди вкладывают в этот термин разный смысл. В некоторых случаях я на самом деле согласен с их прогнозами. Просто они используют это слово иначе. — Подпишись прямо сейчас на мой Telegram-канал по ссылке в описании. Я подготовил для тебя топ-три материала, которые, на мой взгляд, должен знать каждый. Первое, карта сотни топовых AI стартапов - это будущее на одной картинке. Второе- прогноз от инсайдера из OpenI, который ещё до появления чат GPT предсказал всё, что сейчас происходит с нейронками. И вот в этом году он выпустил новый прогноз до двадцать седьмого года. И третье, самое мощное - это мой разбор эссе основателя компании Anтроopic, который по сути второй человек в мире искусственного интеллекта. Он по полочкам разложил, что будет происходить в мире ближайшие 5

лет. И главное, каким будет универсальный AI, которого все так боятся или ждут. Переходи по ссылке в описании. Я как раз хочу сравнить некоторые другие определения AI. Кто-то предлагает составить контрольный список задач, другие упоминают последний экзамен для гуманитариев. Это бенчмарк для языковых моделей из 2. 500 вопросов по разным предметам, от гуманитарных до естественных наук. Есть те, кто говорит, что ИИ должен уметь работать на кухне, обучиться как шеф-повар, а затем быть способным справиться на любой другой кухне, куда его поместят. Или даже такое. Сможет ли он превратить 100. 000 долларов в миллион. Что вы думаете об этих определениях? У меня есть мнение по каждому из них. Валяйте. Что касается сделать миллион из тысячи или чего-то подобного, это явно чисто экономический взгляд на вопрос. Думаю, многим людям было бы нелегко это сделать. На мой взгляд, это довольно узкий подход. Возможно, какой-то торговый алгоритм на бирже и смог бы это провернуть, но мы и так это умеем. Я говорю не об этом. Важна именно буква G в аббревиатуре AI, универсальность Gнералити. Вот что мне интересно. Я считаю гибкость и универсальность человеческого разума. его способность сделать множество самых разных вещей чем-то невероятным. Если у вас есть конкретный набор задач, ладно, можно построить систему, которая с ними справится, но она всё равно может провалиться в базовых когнитивных вещах, которые под силу почти любому человеку. Это неудовлетворительно. Получается, о, нашеи снова облажался, потому что он не понимает ту простую вещь, которую бы понял практически кто угодно. Поэтому я бы операционализировал своё определение так. Я бы взял набор задач, для которых известна типичная производительность людей. Людей, и посмотрел бы, может ли и выполнить их все. Если он провалит хоть одну, он не соответствует моему определению, потому что он недостаточно универсален. Именно он не справляется с какой-то когнитивной задачей, которую люди обычно выполняют. Если же он проходит этот этап, я бы предложил перейти ко второй фазе, состязательной. Мы говорим: "Хорошо". Он прошёл набор тестов и не провалился ни в чём из нашей стандартной коллекции. Пусть там будут тысячи тестов. Теперь устроим проверку на прочность. Соберём команду людей и дадим им, скажем, месяц или два. Им разрешено заглядывать внутри, делать что угодно. Их задача - найти хотя бы что-то когнитивное, что люди обычно могут делать, а и нет. Если найдут, значит, по определению, это не AI. Если же после нескольких месяцев зондирования, проверок и ломания голов они так ничего и не найдут, то для большинства практических целей мы у цели, потому что найти то, что он не умеет, так сложно, что даже группы специалистов за долгое время не могут ничего обнаружить. Как вы думаете, мы когда-нибудь придём к единому мнению о том, что такое интеллект или чем на самом деле является AI? Что касается самого AGI, я предполагаю, что через несколько лет и станут настолько универсально способными в самых разных областях, что люди будут просто называть их AI. И этот термин как раз и будет означать такой набор умений. Возможно, люди станут меньше беспокоиться и спорить о том, является ли система настоящим AJI или нет. Будут говорить: "О, у меня последняя версия Gemini 9 или как она там будет называться". И она очень хороша, пишет стихи, ей можно объяснить правила карточной игры, которую ты только что выдумал, и она будет играть с тобой. Она знает математику, переводит, может спланировать отпуск и так далее. Она будет обладать по-настоящему широкими возможностями, и людям станет очевидно, что она наделена неким универсальным интеллектом. Но если говорить о сегодняшнем дне, прежде чем мы туда попадём, насколько важно иметь чётко определённый маршрут KJI? Вы упоминали о рисках отсутствия такого плана. Например, ИИ может овладеть определёнными знаниями раньше других. Скажем, он станет экспертом в химической инженерии, прежде чем по-настоящему освоит этику. Насколько важно проводить эту работу сейчас, заранее? Работа по пониманию способности и в разных измерениях, на мой взгляд, критически важна. Мы должны думать о том, как нам, как обществу, ориентироваться в условиях появления мощного и умелого машинного интеллекта. И здесь нельзя ограничиваться только одним измерением. Система может обладать сверхчеловеческими способностями в одних вещах и при этом быть очень хрупкой и слабой в других. И если вы не понимаете, как выглядит это распределение способностей, вы не поймёте ни существующих возможностей, ни рисков, ни способов неправильного применения. Вы будете видеть: "О, здесь система суперэффективна". Но при этом важно осознавать, что в другом аспекте она крайне слаба, и именно там всё может пойти не так.

Поэтому я считаю это важной частью адаптации общества, понимать реальное положение дел. Сейчас в дискуссиях Абы часто впадают в крайности. Либо говорят, что он невероятно всемогущ, либо что он вообще ни на что не способен. И всё это лишь хайп. Реальность гораздо сложнее. В чём-то он поразительно силён, а в чём-то весьма уязвим. По сути, нужно видеть картину целиком, именно всю картину. с человеческим интеллектом также. Кто-то потрясающе владеет множеством языков, кто-то силён в математике или музыке, но при этом они могут быть не так хороши в чём-то другом. Раз уж мы заговорили об универсальности и эффективности, есть и другая сторона, которую я хочу с вами обсудить. Этика, как она вписывается во всё это. У этики в контексте и много аспектов. Один из них прост. Обладает ли сам и глубоким пониманием того, что такое этичное поведение, и способен ли он анализировать свои возможные действия с точки зрения этики, причём делать это надёжно, так чтобы мы могли ему доверять. То есть сам Ии может рассуждать об этичности того, что он делает. Да, но как это работает? Как это в него заложить? У меня есть несколько мыслей на этот счёт, хотя это далеко не единственная проблема, но я считаю её очень важной. Мне нравится подход, который некоторые называют мониторингом цепочки рассуждений. Я об этом уже упоминал в своих выступлениях. Я называю это безопасностью системы 2. Это именно та концепция мышления системы О и системы 2 Даниэла Канонемана. Именно основная идея такова. Представьте, что вы, как человек столкнулись с трудной этической ситуацией. Зачастую недостаточно просто положиться на интуицию. Вам нужно сесть и подумать: "Так вот ситуация, вот различные сложности и нюансы, вот возможные действия, которые можно предпринять, а вот вероятные последствия каждого из них". И затем проанализировать всё это с точки зрения вашей системы этики, нормы морали. Возможно, вам придётся долго рассуждать, чтобы действительно понять, как всё это стыкуется, и на основе этого понимания решить, что следует делать. То есть, если мы говорим о том, как человеческий мозг работает в такой ситуации, это как раз по канеману. Кто-то вас раздражает, вы чувствуете прилив гнева, хотите отреагировать. Это ваша система один, быстро инстинктивное мышление. Но вы делаете вдох, обдумываете всё, взвешиваете последствия. Это уже мышление системы 2. И в итоге вы можете выбрать другой путь. Да, вы можете сказать, к примеру, лгать - это плохо, поэтому мы не будем лгать. Но вы можете оказаться в ситуации, когда какие-то плохие люди ищут человека.

Если вы солжёте, вы спасёте ему жизнь. В таком случае этичным поступком будет как раз ложь. Простого правила не всегда достаточно для принятия верного решения. Иногда требуется логика и рассуждение, чтобы понять, в данном конкретном случае этично будет именно солгать, чтобы спасти чью-то жизнь. Но всё очень быстро усложняется. Вы наверняка слышали о проблеме вагонетки и подобных вещах, где наши инстинкты и анализ в некоторых случаях начинают расходиться, что вызывает массу споров. Это совсем непростая область, но сейчас у нас уже есть размышляющие и, и вы действительно можете видеть цепочку рассуждений, которую использует Ии. Когда вы задаёте ему вопрос с моральным или этическим подтекстом, вы видите, как он анализирует ситуацию. Если мы сможем сделать эти рассуждения безупречно логичными и дадим системе глубокое понимание этики и морали, которых мы хотим от неё добиться, то, в принципе, и может стать даже более этичным, чем люди, потому что он сможет более последовательно применять и анализировать, возможно, на сверхчеловеческом уровне варианты выбора, с которыми он сталкивается, и всё в таком духе, потому что это превращает этику так сказать, в задачу на рассуждение, а не просто во что-то эмоциональное. Но в то же время, когда вы это говорите, я немного задумываюсь о приземлении. Я имею в виду, что эти системы, по крайней мере, сейчас не живут в мире так, как люди. Возможно ли взять само человеческое восприятие мира и по-настоящему укоренить эти машины в человеческой этике? Ну, здесь есть несколько сложностей. Одна из них заключается в том, что не существует единой человеческой этики. Существуют разные представления об этом, которые различаются не только между людьми, но и между культурами, регионами и так далее. Так что системе придётся понимать, что в определённых местах нормы и ожидания немного отличаются. И в некоторой степени модели уже знают об этом довольно много, потому что они поглощают данные со всего мира. Но да, им нужно будет стать в этом действительно хорошими. Что касается связи с реальностью, на данный момент мы создаём этих агентов, собирая огромное количество данных со всего мира. В итоге они становятся относительно статичными объектами, с которыми мы затем взаимодействуем. И они не узнают почти ничего нового в процессе. Сейчас ситуация меняется. Мы внедряем больше алгоритмов обучения и всё в таком духе. Мы также делаем системы более агентными, чтобы это была не просто система, с которой вы разговариваете, а она обрабатывает запрос и выдаёт ответ. Это будет система, которая может пойти и что-то сделать. Вы сможете сказать ей: "О'кей, напиши программу, которая делает то-то и то-то или составь план моей поездки в Мексику. Я хочу увидеть это и это, но мне не нравится вот это". И со временем эти агенты начнут обретать физическое воплощение в работотехнике и подобных вещах. Некоторые останутся программными агентами для выполнения цифровых задач, но со временем, я думаю, их станет больше. Они появятся в роботах и так далее. По мере движения по этому пути и будет всё теснее связываться с реальностью через самые разные каналы. И им придётся учиться через взаимодействие и опыт, а не только на огромном наборе данных, заложенном в самом начале. Именно в этой точке связь с реальностью значительно усиливается. Тем не менее, большая часть данных, которые были загружены в них изначально, тоже откуда-то взялась, и многое пришло от людей. Так что через этот процесс связь с реальностью также устанавливается. Идея о том, что и может быть лучше в этике, чем сами люди. Но пока вы этого не достигли, пока способность системы рассуждать не сравнялась с нашей, как убедиться, что всё внедряется безопасным образом? Как остановить? Ну, например, есть утилитарный аргумент, который неплохо работает для беспилотных автомобилей. Вы хотите спасти как можно больше жизней. Но в медицине та же идея уже не работает. Мы не можем пожертвовать одним здоровым пациентом, чтобы спасти жизни пяти других. Как гарантировать, что рассуждения ИИ в конечном итоге пойдут в правильном направлении? Невозможно гарантировать всё. Пространство вариантов действий в мире настолько огромно, что стопроцентной надёжности просто не существует. Но её нет и во многих сферах нашей нынешней жизни. Если вам нужна операция, вы идёте к хирургу и говорите: "Мне нужно что-то удалить". А хирург отвечает: "Это на 100% безопасно". Как математик, вы понимаете, что он говорит неправду. Ничто не бывает безопасным на все 100%. Поэтому нам нужно тестировать эти системы и делать их максимально безопасными и надёжными. Мы должны соотносить выгоды и риски. Также необходимо предпринимать и другие меры, например, мониторинг. Когда системы уже внедрены, мы следим за ними и отслеживаем происходящее. Если мы увидим случаи сбоев, выходящие за рамки того, что мы считаем приемлемым, нам, возможно, придётся откатить изменения, остановить их работу или принять другие меры. То есть существует целый спектр необходимых действий. Нам нужно проводить тестирование перед выпуском. Нам нужен мониторинг, когда системы уже в полях. Нам нужны такие вещи, как интерпретируемость, возможность заглянуть внутрь системы. В этом и заключается прелесть безопасности системы 2. Если она реализована правильно, вы действительно можете видеть логику рассуждений. Но нужно проверять, действительно ли это рассуждение точно отражают то, что система пытается сделать на самом деле. Если у вас есть способы заглянуть внутрь и понять истинные причины поступков, это может дать дополнительный уровень уверенности в том, что система пытается действовать правильно. Ведь есть ещё один важный нюанс. Дело не всегда только в результате. Важны намерения. Есть большая разница между тем, когда кто-то причиняет вам боль намеренно, и тем, когда кто-то, скажем, случайно задевает вас и вам больно. Мы интерпретируем эти ситуации совершенно по-разному. Так что если мы сможем видеть внутренность еи, мы сможем принять тот факт, что он оказался в сложной ситуации. Он пытался сделать всё возможное согласно своему анализу, но возник побочный эффект. Мы можем отнестись к этому с пониманием, потому что даже людям в такой ситуации было бы крайне трудно поступить правильно. Но если он намеренно сделал что-то не так, это совсем другое дело. Всё это аспекты безопасности и над каждой из этих тем у нас работают люди. То есть вы как-то ограничиваете степень взаимодействия этих систем с реальным миром, скорость их выпуска и так далее, пока не почувствуете уверенность, что порог безопасности достигнут. Да, у нас есть всевозможные бенчмарки и тесты. Мы прогоняем их внутри компании в течение долгого времени. И у нас есть специфические проверки для зон повышенного риска. Например, мы проверяем, не поможет ли система в разработке, скажем, биологического оружия или чего-то подобного. Очевидно, что она не должна

этого делать. И если мы видим, что нам удаётся как-то обмануть систему или заставить её быть полезной в этой области, это проблема. Хакерство- ещё один пример. Поможет ли система взламывать что-либо и так далее. На данный момент у нас есть набор подобных тестов, который постоянно пополняется, и мы оцениваем, насколько система сильна в каждой из этих областей. Затем мы применяем меры по смягчению рисков, соответствующие каждому уровню выявленных способностей. Это может означать, что мы не выпустим модель или предпримем другие шаги в зависимости от того, что обнаружим. Что ж, давайте поговорим о влиянии всего этого на общество, когда мы получим действительно способный AI. Я знаю, что это то, о чём вы очень много размышляли. Да, мой основной фокус сейчас направлен на понимание следующего. Допустим, мы получили AGI, и он достаточно безопасен для своего уровня возможностей. А как быть со всем остальным? Список этого всего остального огромен. Возникают вопросы, вроде: "Окей, у нас есть мощный AI, и он вполне безопасен. А обладает ли он сознанием? Является ли этот вопрос вообще осмысленным? У вас есть мнение на этот счёт? Что ж, у нас есть группа, изучающая это, и мы общались со многими ведущими мировыми экспертами в этой области. Думаю, краткий ответ таков: на самом деле никто не знает. Чтобы быть абсолютно точной, мы сейчас говорим о полноценном AGI, а не о том, что имеем на сегодняшний день. Да. Вы уверены, что нынешние системы им не обладают? Я не думаю, что обладают. Но когда мы перейдём к какому-то будущему AGI через несколько лет, лет через 10 или около того, который будет очень-очень способным, будет ли такая система обладать сознанием? Когда я говорю с самыми известными экспертами, изучающими этот вопрос, я вижу, что у одних есть аргументы за, у других против. Но когда я предлагаю им конкретный сценарий, говорю: "Смотрите, вот же минай 10. Он воплощён в гуманоидном роботе. Он учится, он интегрирует информацию от разных органов чувств. Он помнит свою собственную историю как агента в мире и делает всё в таком духе. И к тому же он рассуждает о своём собственном сознании. Ведь уже сейчас можно заставить модели и говорить о своём сознании, если дать им правильный промк. Так, обладает ли он сознанием? И когда я спрашиваю об этом людей из индустрии, они отвечают: "Ну, я думаю, скорее нет". Или: "Я думаю, скорее да". Но на самом деле никто не уверен до конца. Кто знает, может быть, мы найдём ответ. Я считаю, что это давний и очень сложный вопрос, который трудно даже превратить в строго научный, потому что мы не знаем, как сформулировать это в виде измеримых величин. В чём я уверен, так это в том, что одни люди будут считать, что у Ии есть сознание, а другие, что нет. Это точно произойдёт, особенно в отсутствии общепринятого научного определения и способа измерения. И как мы будем в этом ориентироваться, это

тоже очень интересный вопрос, но это лишь один вопрос из множества. Есть и другие. Перейдём ли мы от AI и скажем полноценного AI к сверхинтеллекту, который далеко за пределами человеческого? Произойдёт ли это быстро, медленно или никогда? И если мы придём к сверхинтеллекту, то что это будет за интеллект? Каков его когнитивный профиль? Есть ли определённые вещи, в которых он будет намного, намного превосходить человека? Мы уже видим, что он может говорить на 200 языках. Это очевидно. А есть ли другие области, где, возможно, из-за вычислительной сложности или чего-то ещё, он на самом деле не будет намного лучше людей? Есть ли у нас хоть какое-то представление об этом? Это кажется действительно важным вопросом, о котором человечеству стоит задуматься. Придём ли мы к сверхинлекту через 10-20 лет или около того? У вас есть мнение на этот счёт? Как вы считаете, дойдёт ли дело до сверхинтеллекта? Я имею в виду, вот, например, Эйнштейн вывел общую теорию относительности. Окажемся ли мы в ситуации, когда появятся AI, способные теоретизировать о мире, приходить к подлинному научному пониманию, выходящему за рамки того, что удалось людям? Я думаю, да, исходя из вычислительных мощностей. Человеческий мозг - это мобильный процессор. Он весит пару килограммов. Он потребляет, кажется, около 20 Вт. Сигналы передаются внутри мозга через дендриты. Частота канала составляет чуть более 100 Гц, может быть 200 Гц в коре головного мозга. Сами сигналы представляют собой электрохимические волны. Они движутся со скоростью около 30 м/ску. Теперь сравните это с тем, что мы видим в дата-центре. Вместо 20 Вт у нас может быть 200 МВт. Вместо пары килограммов несколько миллионов килограммов. Вместо 100 Гц в канале 10 млрд Гц. И вместо электрохимической волны со скоростью 30 м/ску скорость света- 300. 000 км/ точки зрения энергопотребления, пространства, пропускной способности канала и скорости распространения сигнала, у вас есть преимущество в шесть, семь, а может и восемь порядков по всем четырём измерениям одновременно. Так будет ли человеческий интеллект верхним пределом возможного? Я думаю, абсолютно нет. И поэтому я считаю, что по мере развития нашего понимания того, как строить интеллектуальные системы, мы увидим, что эти и далеко превзойдут человеческий разум. Точно так же, как люди не могут обогнать Дрекстер на дистанции 100 м. Мы не можем поднять больше, чем подъёмный кран. Мы не можем видеть дальше, чем телескоп Хабл. Мы уже видим машины в конкретных областях, которые летают быстрее самой быстрой птицы и всё в таком духе. Я думаю, мы увидим то же самое и в когнитивной сфере. В некоторых аспектах мы это уже наблюдаем. Вы не знаете больше, чем Google. В хранении информации и подобных вещах мы уже вышли за пределы возможности человеческого мозга. Думаю, мы начнём видеть это в рассуждениях и во многих других областях. Так что, да, я думаю, мы движемся к сверхинтеллекту. Вот почему меня интересуют такие вещи, как безопасность системы 2. Если мы не можем остановить движение к сверхинтеллекту из-за глобальной конкуренции и прочих факторов, нам нужно очень серьёзно подумать о том

как сделать сверхинтеллект сверхэтичным. И если у вас есть система, которая может направить мощь своего интеллекта не только на достижение целей, но и на принятие этических решений, то этика может масштабироваться вместе с её способностями. Мне действительно интересно, что всё это значит для людей. Если мы доходим до точки, где человеческий интеллект меркнет на фоне сверхинтеллекта, что это означает для общества? Означает ли это просто массовое неравенство, когда люди, которые больше не представляют ценности для экономики, окажутся полностью выброшенными за борт? Это означает масштабную трансформацию. Думаю, нынешняя система, при которой люди отдают свой умственный и физический труд в обмен на доступ к ресурсам, создающим экономику, может перестать работать в прежнем виде. Нам могут понадобиться иные способы устройства дел. При этом общий пирог должен стать намного больше. Проблемы нехватки товаров и услуг не будет. Если уж на то пошло, ситуация в этом плане станет намного лучше. Но нам нужно тщательно продумать, какой будет система для людей, как нам распределять богатство, существующее в обществе. Я считаю, что нужно гораздо больше размышлений о том, как функционирует экономика эпохи после появления AI, а также как устроена структура общества в это время. Я выступал с докладом перед вице-канцлерами группы Рассел. В Великобритании группа Рассел - это объединение ведущих университетов. Я сказал им: "Слушайте, эра AI приближается, и это не так уж далеко, знаете, через 10 лет он у нас будет". И он начнёт выполнять значительную часть всех видов когнитивного труда и работы, которой занимаются люди. И нам действительно нужно, чтобы люди во всех этих различных аспектах жизни и функционирования общества задумались о том, что это означает конкретно в их сфере. Нам действительно необходимо, чтобы каждый факультет и каждая кафедра в вашем университете отнеслись к этому серьёзно и подумали, что это значит для образования, права, что это значит для инженерного дела. математики, городского планирования, литературы, политики, экономики, финансов, медицины и так далее по списку. По сути, каждый факультет, каждая кафедра изучают нечто, где человеческий интеллект является критически важным фактором. Если появится дешёвый, доступный и способный машинный интеллект, этот предмет изучения нужно переосмыслить. Каковы последствия? Стоит ли делать это иначе? Какие открываются возможности? Каковы риски и так далее? Так что я вижу здесь колоссальные возможности. Но как и любая революция, будь то промышленная или любая другая, это сложный процесс. Он оказывает самое разное влияние на общество во всех направлениях. И чтобы извлечь выгоду, минимизировав при этом риски и издержки, нам нужно действовать осторожно. На данный момент, как мне кажется, ещё слишком мало людей задумываются о том, что именно AGI принесёт в их конкретную область. И нам нужно гораздо больше людей, занимающихся этим. Помните март двадцатого года, когда эксперты твердили: "Приближается пандемия, мы стоим на пороге экспоненциального роста". А в это время все продолжали ходить по пабам на футбол и так далее. И эксперты кричали о грядущим: "Всё громче". громче. Вы чувствуете себя сейчас примерно так же. Я хорошо помню эти дни. И да, ощущения похожие. Людям очень трудно поверить в то, что грядут действительно большие перемены, потому что в большинстве случаев история о том, что вот-вот случится нечто грандиозное, оказываются неправдой. Всё сходит на нет. Именно всё затихает. Поэтому в качестве своего рода эвристики, если кто-то говорит вам, что произойдут безумные масштабные вещи, но иногда всё же стоит обратить внимание. Порой за этими вещами стоят фундаментальные факторы. И если вы понимаете эти факторы, вам нужно всерьёз допустить мысль, что большие перемены действительно наступают, а большие перемены иногда действительно случаются. Но что это означает на практике? Хорошо, вы описываете долгосрочное видение, где у нас есть полноценные AGI и процветание, которое потенциально можно распределить между всеми. Но на пути к этому мы же говорим о действительно крупных и ещё, мягко сказано, масштабных экономических потрясениях и структурных рисках. Опишите, какими вы видите ближайшие несколько лет. Скажите нам то, чего мы не знали в марте двадцатого. Я думаю, в ближайшие несколько лет мы не увидим тех масштабных потрясений, о которых вы говорите. Скорее, мы увидим, как системы ИИ из просто полезных инструментов превратятся в нечто, берущее на себя всё большую нагрузку в плане выполнения экономически значимой работы. И я думаю, это будет происходить неравномерно. В одних областях быстрее, чем в других. Например, в разработке программного обеспечения в ближайшие несколько лет доля кода, написанного И, будет расти, и через несколько лет там, где раньше требовалось 100 инженеров, возможно, понадобится 20. И эти 20 будут использовать продвинутые инструменты. И за несколько лет мы увидим, как ИИ пройдёт путь от просто полезного инструмента до выполнения по-настоящему значимой продуктивной работы. Это повысит производительность труда людей, работающих в этих сферах. Но это также вызовет определённые сбои на рынке труда в некоторых областях. И по мере того, как это будет происходить, дискуссия вокруг ИИ, как мне кажется, изменится и станет гораздо более серьёзной. Она сместится от простого о, это круто. Можно попросить его спланировать отпуск или помочь ребёнку с домашкой. пониманию. Так, это не просто новый удобный инструмент. Это нечто, что структурно изменит экономику, общество и многое другое. И нам нужно подумать, как структурировать этот новый мир. Потому что я искренне верю, если мы сможем обуздать эту мощь, это может стать настоящим золотым веком. Ведь у нас появятся машины, способные кардинально увеличить производство многих вещей, продвинуть науку и освободить нас от любого труда

который нам, возможно, не нужно выполнять, если его могут делать машины. Так что здесь открываются огромные возможности, но это пойдёт на пользу только в том случае, если мы сможем каким-то образом трансформировать эту невероятную мощь машин в виде общества, где процветают как отдельные личности, так и группы людей, пользуясь всеми этими возможностями. Потому что тем временем у нас есть те самые 80 инженеров-программистов, которые больше не нужны. и все остальные люди, сотрудники начального уровня, выпускники, которые уже сейчас замечают, что они первыми попадают под удар. Остались ли вообще отрасли, на которые это не повлияет? В краткосрочной и среднесрочной перспективе, думаю, таких вещей будет довольно много. Часто приводят в пример водопроводчика, и это верно. Думаю, в ближайшие годы, даже если Ии будет развиваться очень быстро, в чисто когнитивном плане, работотехника не достигнет того уровня, чтобы заменить водопроводчика. А когда это станет возможным, пройдёт ещё немало времени, прежде чем это станет конкурентоспособным по цене по сравнению с трудом человека.

Существует масса видов деятельности, которые не являются чисто когнитивными, и они будут относительно защищены от некоторых последствий. Любопытно то, что многие виды работ, которые сейчас очень высоко оцениваются, это своего рода элитарный когнитивный труд. Это юристы высшего звена, сопровождающие сложные сделки по слиянию и поглощению по всему миру. Люди, занимающиеся сложными финансовыми операциями, те, кто сейчас занимается продвинутым машинным обучением, разработкой ПО и тому подобным. Математики. Есть одно практическое правило, которое мне нравится. Если вы можете выполнять свою работу удалённо через интернет, используя только ноутбук, то есть безо всяких тактильных костюмов или роботов, через обычный интерфейс, клавиатуру, экран, камеру, динамики, микрофон, мышь. Если вы полностью справляетесь так, то это, скорее всего, чисто когнитивный труд. Если вы попадаете в эту категорию, я думаю, что продвинутый ИИ в той или иной степени сможет работать в этой нише. Другой фактор, который, на мой взгляд, служит защитой, даже если работа когнитивная, в некоторых её видах важен человеческий аспект. Например, возьмём инфлюенсеров. Вы можете работать удалённо, но тот факт, что вы конкретный человек с определённым характером, и люди знают, что за всем этим стоит реальная личность, во многих случаях может иметь ключевую ценность, но это всё равно оставляет не удел огромное количество людей. Я считаю, что нам нужно именно то, что я предложил группе Рассел, чтобы люди, изучающие все эти различные аспекты жизни общества, начали воспринимать ИДжа всерьёз. У меня сложилось впечатление, что многие из них этого не делают. Когда я общаюсь со специалистами в какой-то конкретной области, они обычно говорят: "Ну да, это любопытный инструмент, забавная штука и всё в таком духе". Но они не осознали мысль. что то, что они видят сейчас и любые текущие ограничения, о которых они знают, которые, к слову, часто уже не актуальны, это лишь этап. Часто такие люди говорят: "О, я попробовал сделать с его помощью кое-что год назад". Послушайте, год назад - это уже древняя история по сравнению с тем, что умеют нынешние модели, а через год они станут ещё намного лучше. Эти специалисты не

видят тренда. И в некотором смысле, я думаю, что многие обыватели даже опережают экспертов, потому что такова человеческая природа. Когда я говорю с людьми далёкими от технологий, об актуальных системах Ии, некоторые спрашивают: "Подождите, а разве у него уже не человеческий интеллект? " Он знает больше языков, чем я. Он решает задачи по математике и физике лучше, чем я когда-либо мог в школе. Он знает больше рецептов, он помогает мне во всём. Я запутался в налоговой декларации, а он мне всё объяснил. Они спрашивают: "Так в чём же он неразумен? " Вот что я слышу от многих людей, не связанных с IT. Но при этом эксперты в конкретных областях очень любят тешить себя мыслью, что их дело - нечто очень глубокое и особенное, и их по-настоящему не коснётся. Я бы хотела закончить вашим теперь уже довольно знаменитым прогнозом относительно AI. На самом деле, вы остаётесь поразительно последовательны в этом вопросе уже последние 10 лет. Вы говорили, что шансы на появление AI к 2028 году составляют 50 на50. Речь о минимальном AI. Да. Вы всё ещё придерживаетесь прогноза 50 на50 к двацать восьмо? Да, двадцать восьмой год. Вы можете найти это в моём блоге ещё от 2009 года. А что насчёт полноценного AI? Какие сроки здесь? На несколько лет позже. Может быть через 3че 5 или 6 лет, но в пределах десятилетия. Да, думаю, в течение 10 лет. У вас когда-нибудь возникает чувство нигилизма от осознания всего этого? Я считаю, что здесь заложены колоссальные возможности. Множество людей тратят массу усилий на работу, которая далеко не всегда приносит удовольствие. Я вижу в этом невероятный шанс точно так же, как промышленная революция позволила обуздать энергию для выполнения механической работы, что создало гораздо больше богатства в обществе. Теперь мы можем обуздать данные, алгоритмы и вычисления для выполнения когнитивной работы. Это может обеспечить людям доступ к огромным ресурсам. И под богатством я подразумеваю не только производство товаров и услуг, но и новые технологии, новые лекарства и тому подобное. Это технология с невероятным потенциалом для общего блага. Теперь задача состоит в том, как получить эти преимущества. одновременно справляясь с рисками и возможными издержками. Можем ли мы представить будущий мир, где мы действительно извлекаем пользу из интеллекта, помогающего нам процветать? Как он выглядит? Я не могу просто взять и ответить на этот вопрос. Мне это крайне интересно, и я буду стараться понять это в меру своих сил. Но это по-настоящему глубокий вопрос. Он затрагивает философию. экономику, психологию, этику и множество других областей. И нам нужно гораздо больше людей, размышляющих об этом. Шейн, спасибо вам большое. Это было, мягко говоря, расширяющее сознание интервью. Люди не очень сильны в понимании экспонент, а прямо сейчас мы стоим в точке изгиба кривой. Больше не является далёким мысленным экспериментом. Что мне показалось наиболее интересным в разговоре с Шейном, так это его мнение, что обычные люди понимают это лучше экспертов. И если его прогнозы хоть в какой-то степени верны, а он уже имел привычку оказываться правым в прошлом, у нас может не оказаться роскоши времени на медленные раздумья и осознания. Перед нами стоят сложные, срочные и потенциально по-настоящему захватывающие вопросы, которые требуют серьёзного внимания уже сейчас.