Глава AI Meta о крахе хайпа вокруг ChatGPT и тупике нейросетей

Я очень рада видеть здесь Адама, моего коллегу и друга и Яна, который уже был у нас раньше. Ян, ты сейчас буквально во всех новостях. Столько людей пересылали мне статьи о тебе. На этой неделе всё началось в среду. Хочешь обсудить? Я могу просто озвучить заголовок. Заголовок был примерно таким: "Ян Ликун, главный учёный, покидает мета. Не хочешь прокомментировать? Я не могу ни подтвердить, ни опровергнуть". Значит, вся пресса, которая собралась здесь в надежде на эксклюзив, сегодня его не получат. Что ж, можете подойти после и купить Яну выпивку. Может, тогда чего-то добьётесь. У меня уже был один бокал. На этом всё. Француз выпил немного вина наверху. Мы живём в эпоху, когда каждый раз, включая новости, заглядывая в компьютер или читая газету, мы сталкиваемся с разговорами о социальных последствиях и будь то экономические потрясения, потенциал для политических манипуляций или и психоз. Множество экспертов обсуждают это, и это очень важный вопрос, но я бы хотела оставить это на конец нашего разговора, потому что многим из тех, кто это обсуждает, не хватает технической экспертизы, которая есть на этой сцене. Поэтому я хочу начать с технического научного разговора. Я начну с тебя. Поговорим о нейросетях. Есть пример своего рода биомимикрии, когда у нас есть вычислительные

нейронные сети, имитирующие человеческие сети. Можешь описать нам, что это значит? Машина имитирует нейронные сети человека. Ну это не совсем имитация, это скорее вдохновение. Точно так же, как, скажем, самолёты вдохновлены птицами. Верно? Но это не сработало. копировать птиц при создании самолётов. Ну, в том смысле, что у самолётов есть крылья, как у птиц, и они создают подъёмную силу, толкая себя через воздух. Но на этом аналогия заканчивается. Крыло самолёта намного проще, чем крыло птицы. И всё же основной принцип тот же. Нейронные сети похожи на это. Они относятся к реальному мозгу также, как самолёты к птицам. Они во многом упрощены, но, возможно, некоторые из базовых принципов совпадают. На самом деле мы этого не знаем, потому что нам не совсем понятен основной алгоритм работы коры головного мозга или метод, с помощью которого мозг самоорганизуется и обучается. Поэтому мы изобрели заменители. Это как, ну, птицы машут крыльями, а самолёты нет. Верно? У них есть пропеллеры или турбореактивные двигатели. В нейросетях у нас есть алгоритмы обучения, и они позволяют искусственным нейронным сетям учиться способом, который, как мы считаем, похож на работу мозга. Мозг - это сеть нейронов, и они взаимосвязаны друг с другом. Мозг учится, изменяя эффективность связи между нейронами. И нейросеть обучается точно так же путём изменения эффективности связей между этими симулированными нейронами. Каждую из них мы называем параметром. Вы видите это в прессе. Количество параметров нейросети. Так вот, крупнейшие нейросети на данный момент имеют сотни миллиардов параметров, если не больше. И это те самые отдельные коэффициенты, которые изменяются в процессе обучения. А как в этой дискуссии возникло глубокое обучение? Ведь оно появилось на пути развития идей о нейросетях.

Это происходит с восьмидесятых или даже раньше. Да, примерно с восьмидесятых. Ранние нейросети, первые из тех, что были способны к обучению или, по крайней мере, к обучению чему-то полезному, в пятидесятые годы были неглубокими. По сути, можно было обучить только один слой нейронов. Вы подавали входные данные и обучали систему выдавать определённый результат. Это можно было использовать для распознавания или классификации относительно простых образов, но не для по-настоящему сложных вещей. И люди в то время, даже в шестидесятые, понимали, чтобы добиться прогресса, нужно научиться обучать нейросети с несколькими слоями. Они строили такие сети, но не могли обучить все слои сразу. Обучался, например, только последний. И до 1980х никто не находил по-настоящему хорошего способа обучения этих многослойных систем. В основном потому что нейроны, которые они использовали тогда, были неправильного вида. У них были бинарные нейроны. Нейроны в мозге бинарны. Они либо срабатывают, либо нет. И люди хотели это воспроизвести. Поэтому они строили симулированные нейроны, которые могли быть либо активными, либо неактивными. Но оказалось, что для работы современных алгоритмов обучения, мы называем это методом обратного распространения ошибки, нужны нейроны с непрерывным, градиентным откликом. Это стало практически возможным только тогда, когда люди осознали, что это может сработать в восьмидесятых. Идеи были и раньше, но их никак не удавалось реализовать. Это вызвало всплеск интереса к нейросетям в восьмидесятые годы. В конце шестидесятых почти забросили, а в середине конца восьмидесятых они снова вышли на первый план. Как раз тогда, в восемьдесят третьем году я поступил в аспирантуру. Волна интереса длилась около 10 лет, а затем в середине девяностых снова пошла на спад до конца дсячных, когда мы провели ребрендинг в глубокое обучение. У термина нейронная сеть была плохая репутация. Люди в компьютерных науках и инженерии считали, что нейросети - это что-то бесперспективное. Репутация была испорчена. Поэтому мы назвали это глубоким обучением и снова вывели тему на передний план. А затем подоспели результаты в компьютерном зрении, понимании естественного языка и распознавании речи, чтобы окончательно убедить людей, что это стоящая вещь. Адам, вы в очень юном возрасте интересовались теоретической физикой, а не конкретно компьютерными науками. И вы в каком-то смысле наблюдали за всем этим со стороны? Что послужило катализатором, который захватил столько людей десятилетия спустя? Ведь был период огромного интереса, были большие успехи в распознавании рукописного текста или изображений, но это не захватывало весь

мир так, как сейчас. Что происходит такого, что приводит нас к этому моменту, когда мы все обсуждаем большие языковые модели? За последние годы столько физиков переключились, скажем так, совершили поворот теоретической физики на работу над. И всё это, на самом деле, восходит к трудам Яна и других исследователей, доказавших, что это работает. Пока это не работало, это было просто чем-то там из области компьютерных наук. одной из многих вещей в мире, которые, может, и интересны, но физики не обращали на них внимания. Но после того, как Ян и другие новаторы этой области доказали работоспособность метода, это стало захватывающей темой для физики. Вы соединяете эти нейроны определённым образом, и внезапно возникает эмерджентное поведение, которого не существовало на уровне отдельного нейрона. Это сразу привлекло внимание физиков, которые всю жизнь пытаются понять, как всё многообразие мира может возникать из простых законов. Сегодня это очень распространённый карьерный путь. Защитить докторскую по физике, а затем применить знания к эмерджентной системе. Только теперь это эмертная система сеть нейронов, которая коллективно порождает интеллект. Давайте проведём блиц опрос. раз уж вы упомянули это пугающее слово интеллект, вероятно, каждый в этом зале

взаимодействовал с тем, что мы сейчас называем и всё это большие языковые модели. Прежде чем я попрошу вас дать им определение, я хочу услышать ваши краткие ответы да или нет. Адам, понимают ли эти и эти большие языковые модели? Смысл разговоров, которые они ведут с нами. Да или нет? Да. Ян, в некотором роде. Идеально. Яну нельзя давать бинарный выбор. Да, именно так. Моя вина, что предложила бинарный выбор. О'кей. Это позволяет мне задать следующий вопрос, так как ответ не очевиден. Если вы не говорите да на предыдущий вопрос, интересно, что вы скажете на этот? являются ли эти и сознательными? Абсолютно нет. Адам, вероятно, нет. Станут ли они ими в ближайшее время? Я думаю, однажды они обретут сознание, если прогресс будет продолжаться в том же ключе. Трудно сказать, когда, но да, при соответствующих определениях сознания. Понятно, у нас в зале есть философы, но мы не будем пускаться в философские определение сознания. Иначе наш час выйдет, а мы всё ещё будем сидеть здесь. Кажется, я слышу стон с галерки. Но у меня есть ещё один вопрос. Нет, два. Два вопроса для блица. Мы на пороге апокалипсиса или ренессансасса человеческого творчества. Ян, Ренессанс. Адам, скорее всего, ренессан. Я должна задать тот же вопрос аудитории, но сформулирую его более красочно. Восстанут ли роботы повелители против человечества? Кто зада, поднимите руки. О, интересно. Рук нет. Ладно. А сколько в зале роботов? Поднимите руки. О'кей. Что ж, любопытно. Кажется, большинство занят. Хотя свет прожекторов ослепляет. Хорошо, мы вернёмся к этому вопросу и зададим его ещё раз в самом конце. Итак, эти нейросети обучались с помощью процесса, который мы теперь называем глубоким обучением. Но развиваются и другие виды обучения. Что же представляют собой конкретно большие языковые модели? Ведь именно они захватили заголовки новостей и вошли в личный опыт каждого. Так что же такое большие языковые модели, Адам? Да, большие языковые модели. Вы

наверняка пробовали некоторые из них ch GPT, Gini, созданную моей компании и многие другие. Это особый вид нейронной сети, обученный на конкретных входных и выходных данных определённым способом. По сути, это та самая глубокая нейронная сеть, путь которой проложили Ян и другие, но со специфической архитектурой, предназначенной для следующей задачи. Она принимает текст на вход, например, читает первые несколько слов предложения или первые абзацы книги и пытается предсказать, каким будет следующее слово. Вы берёте глубокую нейронную сеть с определённой архитектурой и заставляете её прочитать в первом приближении весь интернет. И для каждого слова, которое встречается во всём интернете, во всех текстовых данных, а теперь и в других видах данных, которые можно найти, вы спрашиваете её: "Как ты думаешь, какое слово будет следующим? " Если она угадывает правильно, вы даёте ей небольшое вознаграждение и укрепляете эти нейронные связи. Если ошибается, вы ослабляете эти связи. Если начать с нуля, она будет выдавать абсолютно случайные слова. Но если обучить её на миллионе слов, она всё равно будет выдавать случайности. Если на миллиарде, возможно, она только начнёт понимать структуру, подлежащее сказуемое дополнение и основы построения предложения. А если обучить её так, как мы делаем сегодня, на триллионе слов и более, на десятках триллионов слов, тогда она станет тем собеседником, с которым вы, надеюсь, уже сегодня успели пообщаться. Знаете, меня это порой интригует и даже забавляет. Люди иногда приходят в ярость от общения со своим чатботом, когда он сбивает их с толку или лжёт. Иногда я говорю: "Ну, это ведь не обязательно должны быть слова". С тем же

успехом это могли бы быть цвета или символы. Это просто математическая игра. И поэтому у системы нет чувства смысла. Я знаю, что Адам вроде как возразил против такого моего резюме. Как вы считаете, извлекают ли они смысл в том же значении, что и мы, когда составляем предложение? Но они определённо извлекают какой-то смысл, но он гораздо более поверхностный, чем тот, который извлекает из текста человек. Интеллект большинства людей связан с объективной реальностью. Он на ней основан, а язык - это способ выразить явления или концепции, укоренённые в этой реальности. У большинства языковых моделей нет представления о лежащей в основе реальности, поэтому их понимание относительно поверхностно. У них нет здравого смысла в том виде, в каком мы его понимаем. Но если обучать их достаточно долго, они будут правильно отвечать на большинство вопросов, которые люди могут догадаться задать. Именно так их и обучают. Вы собираете все вопросы, которые им когда-либо задавали, и тренируете их выдавать правильные ответы. Однако всегда будут появляться новые вопросы, новые промпты, новые последовательности слов, на которых система не обучалась и на которые она может выдать полнейшую бессмыслицу. В этом смысле у них нет истинного понимания реальности или оно есть, но поверхностное. И следующий вопрос: как нам это исправить? Я могла бы выступить в роли адвоката дьявола и спросить: "А откуда мне знать, что действия человека так уж сильно отличаются? Нас обучают на огромном массиве языка. Мы получаем всплеск дофамина или какую-то иную награду за то, что сказали нужное слово в нужное время, соблюдая правильную грамматическую структуру языка, в которой мы погружены. И мы занимаемся обратным распространением ошибки, стараемся в следующий раз справиться лучше в каком-то смысле. Чем это отличается от того, что делает человек? Вы говорили, что дело возможно в сенсорном опыте погружения в реальный мир. Хорошо. Типичная нейросеть LLM, как упомянул

Адам, обучается на десятках триллионов слов. Это всего лишь несколько сотен тысяч слов. Вы же просто произносите предложение. Нет, 30 триллионов слов - это типичный размер набора данных для предварительного обучениям. Слово на самом деле представляется как последовательность токенов. Это не так важно. А токен - это примерно 3 байта. Таким образом, общий объём составляет около 10 вче степени байт. единица с 14ю нулями обучающих данных для тренировки этих ЛМ. Это соответствует практически всему тексту, который есть в открытом доступе в интернете. Плюс ещё кое-какие материалы. Любому из нас потребовалось бы около полумиллиона лет, чтобы просто прочитать это всё. То есть это колоссальный объём текстовых данных. А теперь сравните это с тем, что воспринимает ребёнок за первые несколько лет жизни. Психологи говорят нам, что четырёхлетний ребёнок бодрствовал в общей сложности 16. 000 часов через зрительный нерв, через каждое его волокно, а у нас их 2 млн, проходит примерно 1 байт в секунду. Получается, что в зрительную кору поступает около 2 Мб в секунду. За 16. 000 часов. Посчитайте сами, это примерно 10 вче степени байт. четырёхлетний ребёнок видел столько же визуальных данных, сколько самая большая ЛМ получила из всех текстов, когда-либо созданных человечеством. И это говорит нам о том, что в реальном мире информации гораздо больше, но она и намного сложнее. Она зашумлена многомерно, непрерывно, и методы, которые исполняются для обучения ЛМ, в реальном мире просто не работают. Это объясняет, почему у нас есть ЛМ, которые могут сдать экзамен на адвоката, решать уравнения или вычислять интегралы на уровне студентов и щёлкать математические задачи. Но у нас до сих пор нет домашнего робота, который мог бы, знаете, прибраться в доме. У нас даже нет беспилотных автомобилей пятого уровня. То есть они как бы есть, но мы жульничаем. У нас точно нет беспилотников, которые могли бы научиться вождению за 20 часов практики, как любой подросток. Очевидно, что нам не хватает чего-то очень важного, чтобы довести машины до уровня человеческого или даже животного интеллекта. Не будем говорить о языке, возьмём интеллект кошки или собаки. Системы И пока не достигли даже этого уровня. Адам, вы на данном этапе приписываете ЛМ больше способности к пониманию. Думаю, это верно. Ян приводит отличные аргументы в пользу того, что ЛМ гораздо менее эффективны в обучении на малых выборках, чем люди. Человек или даже ваша кошка или просто кошка, не

знаю, была ли это ваша кошка в примере, способен учиться на гораздо меньшем количестве примеров, чем большая языковая модель, которой требуется в разы больше данных, чтобы достичь того же уровня эффективности. И это правда. В этом плане архитектура разума животных совершеннее тех искусственных умов, которые мы строим. С другой стороны, эффективность обучения это ещё не всё. Мы часто видим это на практике. Ещё до появления больших языковых моделей, когда мы пытались создавать искусственный разум для других задач. Даже самые знаменитые шахматные боты, построенные на принципах, схожих с ЛМ в плане обучения, такие как Альфа Zeroро и другие, играли сами с собой в шахматы огромное количество раз. Поначалу они делали совершенно случайные ходы, но каждый раз, когда партия заканчивалась победой или поражением в игре против самих себя, система поощеряла этот конкретный нейронный путь или наказывали этот нейронный путь, и они играли в шахматы снова и снова. К тому моменту, когда они сыграли столько же партий, сколько гросместер человек, они всё ещё делали практически случайные ходы, но они не были ограничены тем количеством партий, которое может сыграть человек. Благодаря скорости кремниевых чипов и параллельным вычислениям они смогли сыграть гораздо больше партий, чем любой человек за всю свою жизнь. И мы обнаружили, что, сделав это, они достигли и затем намного превзошли уровень шахматистов людей. Они менее эффективны в обучении на малых выборках, но это не значит, что они хуже играют в шахматы. Очевидно, что они играют намного лучше. То же самое и с пониманием. Верно, что этим системам требуется больше примеров, чтобы достичь того же уровня мастерства. Но вопрос в том, можем ли мы использовать их универсальность, скорость и безошибочность, чтобы пойти дальше, как только они достигнут этого уровня. Другой пример с кошкой. На самом деле кошка обучается даже эффективнее человека. Ребёнку нужен год, чтобы научиться ходить. Кошка учится ходить примерно за неделю. Это гораздо быстрее, но это не значит, что кошка умнее человека. И большой языковой модели. Итоговый вопрос должен звучать так: каковы возможности этих систем? Как далеко мы можем их продвинуть? И почти по каждому показателю, за исключением довольно скудного критерия эффективности обучения на малых выборках, мы продвинули эти большие языковые модели далеко за пределы кошачьего интеллекта. Да, я не понимаю, почему мы не делаем кошек. Прости, что ты сказал? Безусловно, у обсуждаемых ЛМ накоплено гораздо больше знаний, чем у кошек и даже у людей. У нас много примеров того, как компьютеры значительно превосходят людей в ряде задач, например, в шахматах. Это заставляет смирить гордыню. Это просто означает, что люди в шахматах полные профаны. Только и всего. Нет, мы правда ужасны в шахматах, а вго ещё больше. И есть много других задач, которые компьютеры решают гораздо лучше нас. Безусловно, ЛМ могут накапливать огромный объём знаний, и их можно обучить переводить с тысячи языков на тысячу других в любом направлении, понимать устную речь и переводить её. Ни один человек на это не способен. У них есть сверхчеловеческие возможности. Но способность учиться быстро и эффективно, осознавать новую проблему, которую систему никогда не учили решать, находить решение и по-настоящему понимать, как ведёт себя мир. Это всё ещё недосягаемо для системы. И на данный момент у нас были недавние успехи в этом, где дело было не в том, что они просто брали задачи, которые видели раньше. символ в символ и искали ответ в таблице поиска. И даже не в том, что они в каком-то смысле занимались распознаванием паттернов. Они делали это на достаточно высоком уровне абстракции, что позволяло им совершать вещи, которые они никогда не видели и на которые не способен человек. Каждый год проходит международная математическая олимпиада.

В ней участвуют самые умные подростки математики, заканчивающие школу со всего мира. Каждый год им дают шесть задач. Это вершина человеческого интеллекта. У меня есть математические способности, но я смотрю на эти задачи и даже не знаю, с чего начать. В этом году мы скормили их нашей машине, как и ряд других компанийразработчиков ЛМ. И она взялась за эти задачи. Она их никогда раньше не видела. Они были абсолютно свежими. Их не было в обучающих данных. Они были полностью выдуманными. модель взяла кучу разных идей, скомбинировала их и получила балл, который был выше, чем у всех, кроме 10-1 лучших людей на планете. Я считаю, что это весьма впечатляющий интеллект. — Подпишись прямо сейчас на мой Telegram-канал по ссылке в описании. Я подготовил для тебя топ-три материала, которые, на мой взгляд, должен знать каждый. Первое: карта сотни топовых AI стартапов - это будущее на одной картинке. Второе, прогноз от инсайдера из Openi, который ещё до появления чат GPT предсказал всё, что сейчас происходит с нейронками. И вот в этом году он выпустил новый прогноз до двадцать седьмого года. И третье, самое мощное - это мой разбор эссе основателя компании Anтроopic, который по сути второй человек в мире искусственного интеллекта. Он по полочкам разложил, что будет происходить в мире ближайшие 5 лет. И главное, каким будет универсальный AI, которого все так боятся или ждут. Переходи по ссылке в описании. Думаю, вопрос снова возвращается к идее. Понимают ли они? Мы можем изучать математику модели. Есть входные данные, мы понимаем, что она делает. Это чёрный ящик, и это по-своему завораживает. Она настолько сложна, что мы не можем проделать то же самое и с человеческим разумом. Нельзя просто заглянуть во внутренние механизмы и в точности увидеть, что они делают. В какой-то степени это чёрный ящик, но мы предполагаем, что она просто производит эти вычисления. Оно перемешивает эти матрицы, оно работает в каком-то векторном пространстве, оно делает что-то в многомерном пространстве. У меня есть некий опыт понимания. Думаю, люди всё ещё пытаются это осмыслить. Есть ли у него какой-то опыт понимания? Важно ли то? Итывают ли они понимание? Достаточно ли этого, чтобы называть это постижением смысла? Вы описываете понимание как поведенческую характеристику, когда система даёт правильные ответы на вопросы или же как глубокое понимание на нейронном уровне. Да, здесь я полностью во власти философов. Нет, я не знаю, понимаю ли я это на человеческом уровне. Я ведь тоже не могу сказать вам, какой процесс выполняю в данный момент. Но у меня есть некий интуитивный, субъективный опыт того, что я понимаю данный разговор. Очевидно, не всегда хорошо. Но когда я говорю с вами, я чувствую, что вы понимаете. А когда я говорю с чат GPT, я этого не чувствую, а вы говорите мне, что я ошибаюсь. Оно понимает так же хорошо, как я или вы. На мой взгляд, оно понимает, да. И я думаю, есть два разных доказательства этому. Во-первых, если вы поговорите с ними и спросите о сложных концепциях, я часто удивляюсь. С каждым месяцем и каждой новой моделью я всё больше поражаюсь уровню сложности, с которым они способны обсуждать вещи. И на этом уровне это просто супер впечатляюще. Я бы очень советовал всем здесь поговорить с этими большими языковыми моделями. Если вы ещё этого не сделали, знаете, когда писатели фантасты воображали, что

мы построим некую машину, проходящую тест тюринга, какой-то новый инопланетный разум в коробке, они все представляли, что мы спрячем её в подвале, в замке с рвом и вооружённой охраной, и только каста жрецов сможет приходить и общаться с ней. На деле всё вышло иначе. Первое, что мы сделали, сразу подключили её к интернету. И теперь любой может пойти и поговорить с ней. Я настоятельно рекомендую вам пообщаться с этими системами и исследовать те области, в которых вы разбираетесь, чтобы увидеть как их ограничения, так и силу и глубину их понимания. Это первое доказательство. Второе, вы сказали, что это чёрный ящик. Это не совсем чёрный ящик. У нас есть доступ к их нейронам. На самом деле, у нас гораздо лучше доступ к нейронам этих систем, чем к человеческим. Очень сложно получить одобрение этического комитета на то, чтобы препарировать человека, пока он сдаёт тест по математике, и смотреть, как сработают его нейроны. А если вы это и сделаете, то только один раз для каждого человека. В то время как эти нейросети мы можем заморозить, воспроизвести их работу заново, записать всё, что произошло. Если нам любопытно, мы можем воздействовать на их нейроны определённым образом и смотреть на

результат. Это всё ещё на зачаточном уровне, но существует целая область. Интерпретируемость, механистическая интерпретируемость, попытка понять не только то, что они говорят, но и почему они это говорят, как они об этом думают. И когда вы это сделаете, вы видите, когда вы даёте им математическую задачу, там образуется небольшая схема, которая вычисляет ответ. Мы не программировали её для этого, она сама научилась. Пытаясь предсказать следующий токен во всех этих текстах, она поняла, чтобы максимально точно предсказать следующее слово, ей нужно научиться математике и построить внутри себя своего рода протосхему для математических вычислений. Я на одной из своих программных лекций вывели на экран слайд, очень провокационный и учёный. Там было написано: "Машинное обучение отстой". Кажется, и это разлетелось повсюду. Ян Ликун говорит, что машинное обучение - отстой. Почему вы так говорите? Адам только что рассказал нам, насколько оно феноменально. Он сам говорит с моделями и хочет, чтобы мы делали то же самое. Почему вы считаете, что оно никуда не годится? В чём проблема? Ну, это утверждение было широко истолковано неверно, но мысль, которую я проводил, совпадает с тем, что мы оба уже упоминали. Почему подросток может научиться водить машину за 20 часов практики, а десятилетний ребёнок может убрать со стола и загрузить посудомоечную машину с первого же раза, как вы его об этом попросите? Захочет ли десятилетка это делать, другой вопрос, но точно сможет. У нас нет роботов, которые были бы даже близко к этому. И у нас нет роботов, которые хотя бы приближались к физическому пониманию реальности на уровне кошки или собаки. И в этом смысле машинное обучение отстой. Это не значит, что метод глубокого обучения алгоритм обратного распространения ошибки или неросети отстой. Это было совершенно потрясающе. Да, это здорово. И у нас нет этому альтернативы. Я искренне верю, что нейронные сети, глубокое обучение и обратное распространение ошибки останутся с нами надолго и станут основой будущих систем И как получается, что маленькие дети

узнают, как устроен мир за первые несколько месяцев жизни? Человеческому младенцу требуется 9 месяцев, чтобы освоить интуитивную физику, тому как гравитация, инерция и тому подобные вещи. Детёныши животных учатся этому ещё быстрее, и у них меньше мозг, так что им учиться легче. Они не достигают того же уровня, но учатся быстрее. Именно этот тип обучения нам нужно воспроизвести. Мы будем делать это с помощью обратного распространения нейросетей и глубокого обучения. Просто нам не хватает концепции архитектуры. Я предлагаю типы архитектур, которые могли бы обучаться подобным вещам. Почему ЛМ так легко справляется с языком? Потому что, как описал Адам, вы обучаете модель предсказывать следующее слово или токен, неважно. В словаре конечное число слов, поэтому вы никогда не сможете точно предсказать, какое слово идёт за последовательностью. Но вы можете обучить систему выдавать, по сути, оценку для каждого возможного слова в вашем словаре или распределение вероятности по всем возможным словам. По сути, ЛМ выдаёт длинный список чисел от нуля до единицы, сумма которых равна единица. Для каждого слова в словаре это число показывает вероятность того, что оно появится прямо сейчас. Так можно представить неопределённость в предсказании. Теперь попробуйте перенести это на другое. Тот же принцип: вместо обучения системы предсказывать следующее слово, дайте ей видео и попросите предсказать, что произойдёт в нём дальше. И это не работает. Я пытаюсь сделать это уже 20 лет. Это совершенно не работает, если вы пытаетесь предсказывать на уровне пикселей. Реальный мир хаотичен. Может произойти масса вещей. вполне вероятных вещей. И вы не можете представить распределение всех возможных вариантов будущего, потому что это бесконечный список. Мы не знаем, как представить это эффективно. Поэтому методы, которые отлично работают для текста или последовательности символов, не работают для сенсорных данных реального мира, абсолютно не работают. Нам нужно изобрести новые подходы.

Один из вариантов, который я предлагаю, система изучает абстрактное представление того, что она наблюдает, и делает предсказания в этом пространстве абстрактных представлений. Именно так функционируют люди и животные. Мы находим абстракции, которые позволяют нам делать прогнозы, игнорируя все детали, которые мы не можем предсказать. То есть вы действительно считаете, что, несмотря на феноменальные успехим, они ограничены и их предел быстро приближается. Вы не думаете, что их можно масштабировать до уровня общего искусственного интеллекта, AGI или сверхинтеллекта? Нет, не думаю. На самом деле мы видим насыщение производительности. Мы видим прогресс в некоторых областях, таких как математика или генерация кода. Программирование - это область, где манипуляция символами действительно даёт результат. Как физик, вы это знаете. Вы пишете уравнение, следуете ему, и оно в какой-то мере направляет ваше мышление. Вы ведомы интуицией, но сама манипуляция символами имеет смысл. С такими задачами ЛМ справляются довольно хорошо, так как рассуждение в них заключается в поиске через последовательности символов. Но таких проблем лишь небольшое количество. Игра в шахматы ещё одна. Вы ищете хорошую последовательность ходов или последовательность выводов в математике для получения результата. Но в реальном мире, в многомерных непрерывных вещах, где поиск связан с тем, как мне пошевелить мышцами, чтобы, например, взять этот стакан, я не буду делать это левой рукой. Мне придётся перехватить его и взять. Вам нужно планировать и иметь понимание того, что возможно, а что нет. Я не могу притянуть стакан телекинезом. не могу заставить его просто появиться в левой руке. Я не могу пропустить руку сквозь собственное тело. Все эти интуитивные вещи мы узнали ещё младенцами. Мы узнали, как наше тело реагирует на команды и как мир реагирует на наши действия. Знаете, если ятолкну этот стакан, я знаю, что он заскользит. Если я надавлю сверху, возможно, он перевернётся, а может и нет, потому что трение здесь не так велико. Если я с той же силой надавлю на стол, он не перевернётся. У нас есть все эти интуитивные представления, которые позволяют нам постигать реальный мир. Но это, как выясняется, гораздо сложнее, чем манипулировать языком. Мы привыкли считать язык воплощением человеческого интеллекта и всё в таком духе. На самом деле это не так. язык - это как раз просто. Это тот самый парадокс Моровика. То, в чём хороши компьютеры, плохо даётся людям, а люди, плохо даётся компьютерам. Мы сталкиваемся с ним всё чаще и чаще. Адам, я знаю, что вы настроены менее пессимистично относительно потенциала нынешней парадигмы глубокого обучения на нейросетях. Вы видите возможность для дальнейшего стремительного роста и успеха и не считаете, что потенциал исчерпан. Что вы думаете по этому поводу? Совершенно верно. За последние 5 лет мы стали свидетелями самого экстраординарного роста возможностей систем, какой я когда-либо видел. Это то, что приковало моё внимание. Это то, что заставило многих других специалистов в области Иимежных областях сосредоточить всё своё внимание на этом вопросе. Я не вижу никакого замедления в развитии способностей. Если посмотреть на все метрики, которые мы используем для оценки качества больших языковых моделей, они становятся всё сильнее, сильнее и сильнее. Модель годичной давности сегодня считалась бы крайне слабой. Это был бы лишь базовый минимум. Каждые несколько месяцев эти системы расширяют свои возможности. И если отслеживать их прогресс во всех этих задачах, они приближаются к сверхчеловеческому уровню почти в каждой из них. Модель уже даёт лучшие юридические советы, чем юрист. Она пишет стихи лучше, чем почти любой поэт, которого вы встретите. В моей узкой области физики я использую её, когда сталкиваюсь с чем-то, что мне следовало бы знать. Но я не знаю. Я спрашиваю языковую модель, и она не только даёт правильный ответ, но и терпеливо и замечу неосуждающе выслушивает, как я объясняю ей свои заблуждения и аккуратно их развенчивает. Экстраординарный рост возможностей, который мы наблюдали последние 5 лет и который продолжается по сей день, кажется крайне многообещающим мне и многим другим людям Сан-Франциско. И возможно, Ян прав. И мы внезапно достигнем насыщения. И все эти прямые линии, которые неуклонно шли вверх

последние 5 лет, вдруг перестанут расти. Но мне чертовски любопытно посмотреть, сможем ли мы продвинуться дальше. И пока я не видел ни малейшего намёка на замедление, все признаки указывают на то, что они совершенствуются, и нам осталось пройти не так уж и много, потому что как только система станет кодить лучше, чем почти все наши лучшие программисты, она сможет начать совершенствовать саму себя, и тогда нас ждёт по-настоящему безумная поездка. Ну, у нас уже около шестидесятилетий есть кодеры, которые лучше тех первых программистов пятидесятых. Они называются компиляторами. Мы постоянно путаемся в том, что если машины хороши в ряде задач, то они якобы обладают всем тем глубинным интеллектом, который мы привыкли ожидать от человека с теми же способностями. Мы обманываемся, считая эти машины разумными только потому, что они умеют манипулировать языком. Мы привыкли к тому, что люди, которые очень хорошо владеют языком, по умолчанию умны. Но нас дурачат. Да, эти системы полезны, бесспорно. Мы можем использовать их так, как вы сказали. Я сам использую их для похожих вещей. Отлично. Это великолепные инструменты. Такими же были компьютеры. последние пять десятилетий. Но позвольте мне привести интересный исторический пример. Возможно, это говорит мой возраст. С пятидесятых годов сменялись поколения учёных в области Ии, и каждая заявляла, что только что открытая ими техника станет билетом к интеллекту человеческого уровня. Посмотрите на заявление Марвина Минского, Ньюэла и Саймона или Фрэнка Розенблата, который изобрёл Перцептрон, первую обучающуюся машину в пятидесятых. Они говорили: "Через 10 лет у нас будут машины такие же умные, как люди". Они все ошибались. И нынешнее поколение СЛМ тоже ошибается. На моём веку сменилось уже три таких поколения. Так что это просто очередной пример того, как нас водят за нас. В пятидесятых годах Ньюэл и Саймон, первооткрыватели и создали программу, исходя из идеи. Но на самом деле то, что люди делают при рассуждении - это просто поиск. Любое рассуждение можно свести к своего рода поиску. Вы формулируете задачу, пишете программу, которая сообщает, является ли конкретное предложение решением. А затем вам просто нужно перебрать все возможные комбинации и гипотезы, пока одна не совпадёт и не удовлетворит ограничениям. И всё. Мы напишем программу, которая это делает, и назовём её General Problem Solver, универсальный решатель задач GPS. Кажется, 1957 год. Они получили премию тюринга за подобные вещи, и это было здорово. Но тогда они не осознавали, что сложность всех интересных задач растёт экспоненциально по мере увеличения их масштаба. Поэтому, на самом деле, нельзя использовать эту технику для создания разумных машин. Она может быть компонентом, но это не основа. Одновременно Фрэнк Розенблад придумал перцептрон, машину, которая могла учиться. И он сказал: "Если мы можем обучить машину, она может стать бесконечно умной. Через 10 лет у нас всё будет. Нам просто нужно строить перцептроны больше". Он не понимал, что нужно обучать несколько слоёв, а найти решение для этого оказалось трудно. Затем в восьмидесятых появились экспертные системы. Мол, рассуждать это просто. Запишите кучу фактов и правил, а затем выведите все новые факты из исходных. Теперь мы можем втиснуть в это все человеческие знания. Самой крутой работой станет инженер по знаниям. Вы будете сидеть рядом с экспертом, записывать все его правила и факты и превращать их в экспертную систему. Все были в восторге, инвестировались миллиарды. Япония запустила проект компьютерных систем пятого поколения, который должен был перевернуть науку. Полный провал. Это создало индустрию и было полезно в ряде случаев.

Но стоимость сведения человеческих знаний к правилам оказалась слишком высокой для большинства задач. В итоге всё рухнуло. Затем наступила эра нейросетей, вторая волна в восьмидесятых, то, что мы сейчас называем глубоким обучением. Было много интереса, но это было до интернета. У нас не было достаточно данных, мощных компьютеров, и сейчас мы снова проходим тот же цикл, и нас снова дурачат. Если говорить в целом, о, Адам, пожалуйста. В технологиях каждый рассвет предворяют ложные рассветы. Это не значит, что настоящего рассвета никогда не будет. Я бы хотел спросить, Ян, если ты считаешь, что ЛМ-модели достигнут потолка, можешь назвать конкретную задачу, которую они никогда не смогут выполнить. Задачу, с которой ЛМ, даже усиленная теми инструментами, что у нас есть сегодня, никогда не справится. убрать со стола после ужина, загрузить посудомоечную машину. И это ещё мелочи по сравнению с Я настроен скептически. Это невероятно просто по сравнению, скажем, с ремонтом сантехники. Сантехник, да. У вас никогда не будет сантехника на LLM. Он просто не понимает реальный мир. Я хочу уточнить для аудитории. Ты не говоришь, что машины или роботы вообще не смогут этого делать. Это не твоя позиция. Ты считаешь, что смогут? Безусловно, смогут. Просто не с помощью этого подхода. глубокого обучения на нейросетях. Если программа, над которой мы работаем, окажется успешной, а на это может уйти время, речь о Джипа. Да и обо всех связанных с ней вещах, мировых моделях и так далее. Если это сработает, а на это могут уйти годы, то у нас, возможно, появятся и системы. Нет никаких сомнений, что в какой-то момент

в будущем у нас будут машины, превосходящие людей во всех областях, где у людей есть способности. В этом нет никаких сомнений. Это обязательно произойдёт. Просто, вероятно, позже, чем сейчас ожидают некоторые люди в Кремвой долине. И это будут нелм, это не будут генеративные модели, предсказывающие дискретные токены. Это будут модели, которые учатся абстрактным представлениям, делают предсказания в пространстве этих абстракций и способны рассуждать о том, к каким последствиям приведёт то или иное действие. Вы называете это самосупервизируемым обучением? Нет. Супервизируемое обучение используется и в ЛМ. Самосупервизируемое обучение - это идея обучения системы не под конкретную задачу, а для того, чтобы она схватывала внутреннюю структуру данных, которые ей показывают. Один из способов взять фрагмент данных исказить его, убрав часть, например, замаскировав кусок, а затем обучать нейросеть, предсказывать недостающую часть. ЛМ делают именно это. Вы берёте текст, убираете последнее слово и обучаете модель предсказывать отсутствующее слово. Есть и другие типы языковых моделей, которые заполняют сразу несколько слов, но, как оказалось, они работают хуже. По крайней мере, для ряда задач. Тоже можно делать с видео. Но если пытаться предсказывать на уровне пикселей, это не работает или работает очень плохо. Мои коллеги Вме, вероятно, вскипятили пару небольших озёр на западном побережье, пытаясь заставить это работать и охлаждая GPU. Так что это просто не работает. Поэтому нужно придумывать новые архитектуры, такие как джипы и подобные, и они уже начинают работать. У нас есть модели, которые действительно понимают видео. Адам, а исследуют ли сейчас другие способы построения архитектуры или, если угодно, компьютерного разума? саму фундаментальную структуру такого разума, то, как он учится и как приобретает знания. Одна из критик, насколько я понимаю, заключается в том, что многие обучаются под одну конкретную задачу: дискретное предсказание токенов. А есть ведь вещи гораздо более непредсказуемые. Например, как распределена аудитория в этом зале или что будет с погодой дальше. Феномены, основанные на человеческом опыте и реальном мире. Безусловно, сейчас ведутся самые разные исследования в самых разных направлениях, в том числе и в направлении Яна. Пусть расцветают тысячи цветов. Но если говорить о ресурсах, то есть львиной доли ресурсов, то сейчас они направлены на большие языковые модели и приложения, похожие на них, в том числе работающие с текстом. И говорить, что это всего лишь специализированная задача в предсказании

следующего токена, мне кажется, не самый полезный способ на это смотреть. Да, правда в том, что обучают их так. Дают корпус текста и снова просят: "Предскажи следующее слово, предскажи следующее слово. Предскажи следующее слово". Есть и другие вещи, которые мы делаем, но основная вычислительная мощность уходит именно на это. Однако, делая это, мы обнаружили нечто по-настоящему экстраординарное. Чтобы надёжно предсказывать следующее слово или делать это достаточно хорошо, тебе фактически нужно понимать устройство Вселенной. И мы наблюдаем, как это понимание Вселенной возникает по мере такого обучения. Я бы провёл здесь аналогию с физикой. В физике мы хорошо знакомысь с системами, где берётся очень простое правило, и за счёт его многократного применения возникает крайне сложное и впечатляющее поведение. То же самое мы видим и с ЛМ. Другой пример: эволюция. На каждом этапе биологической эволюции цель формулируется предельно просто. Максимизируй количество потомства. Очень примитивная, неутончённая цель обучения. Но в результате многократного повторения этой простой цели мы в итоге получаем всё великолепие биологии, которое видим вокруг себя и даже в этом самом зале. И имеющиеся данные говорят о том, что предсказание следующего токена, хоть и очень простая задача, именно благодаря своей простоте может быть масштабирована до колоссальных объёмов вычислений. А когда ты делаешь это в таком масштабе, возникает эмержентная сложность. Тогда, пожалуй, следующий вопрос связан с эволюцией. Если возникает такой интеллект, который вы оба считаете возможным, вы не думаете, что в этом влажном железе есть что-то особенное? что появятся машины, нам нужно просто понять, как их запустить, которые будут обладать способностями, которые мы назовём интеллектом или, возможно, сознанием. Это уже почти другой вопрос. Может ли сознание оказаться костлём, который машинам вовсе не нужен? Я не знаю. Мы можем это обсудить, но не наступит ли в какой-то момент эволюции этих машин момент, когда они скажут: "Как мило, мама и папа, вы создали меня по своему образу с этими человеческими нейронными сетями? " Но я знаю способ получше, намного лучше. Я проанализировал 10. 000 лет человеческого творчества и знания о том, как создавать машинный интеллект, и я буду эволюционировать дальше, оставив вас далеко позади. И вообще, почему мы считаем, что они будут ограничены теми рамками, в которых мы их изначально спроектировали? Абсолютно это как раз идея рекурсивного самоулучшения. Пока системы плохие, они бесполезны, но когда они становятся достаточно хорошими и мощными, их можно использовать для усиления человеческого интеллекта, а со временем, возможно, они станут полностью автономными и смогут создавать свои будущие версии. И как только мы до этого дойдём, я думаю, нам стоит просто взять парадигму больших языковых моделей, которая сейчас так хорошо работает, и посмотреть, насколько далеко мы можем её продвинуть. Каждый раз, когда кто-то говорит, что есть некий барьер, за последние 5 лет эти системы его пробивают. В конечном итоге они станут достаточно умными, чтобы читать статьи Яна, читать все остальные опубликованные работы и пытаться находить новые идеи, до которых никто из нас ещё не додумался. Я с этим полностью не согласен. ЛМ не являются управляемыми. Они не опасны именно потому, что они недостаточно умны, как я уже объяснял ранее. И они точно не автономны в том смысле, в котором мы понимаем автономность. Нужно различать автономность и интеллект. Можно быть очень умным, не будучи автономным. И можно быть автономным, не будучи умным. И можно быть опасным, не обладая особым интеллектом. И можно стремиться к доминированию, не будучи умным. Более того, у людей это часто обратно коррелирует. Ну, например, политика. Я не буду называть имён. Так вот, нам нужны системы, которые являются интеллектуальными, то есть способны решать задачи для нас, но они должны решать именно те задачи, которые мы им задаём. И для этого снова нужен другой дизайн, отличный отm. LM не предназначены для достижения целей. Они предназначены для предсказания следующего слова. Мы дообучаем их так, чтобы они вели себя определённым образом и отвечали на конкретные вопросы определённым образом. Но всегда существует так называемый разрыв обобщения. Невозможно обучить модель на все возможные вопросы. Всегда остаётся длинный хвост. Поэтому они неуправляемы. И снова это не значит, что они крайне опасны, потому что они недостаточно умны. Если же мы создаём системы, которые действительно умны, мы хотим, чтобы они были управляемыми и действовали на основе целей. Мы задаём им цель, и всё, что они делают - это стремятся её выполнить, исходя из своей внутренней модели мира. То есть планируют последовательность действий для достижения этой цели. Если мы проектируем их таким образом и одновременно встраиваем защитные ограничения, чтобы в процессе достижения цели они не причиняли вред людям. Классический пример. Если у вас есть домашний робот и вы просите его принести вам кофе, а кто-то стоит перед кофемашиной, вы ведь не хотите, чтобы робот просто убил этого человека, чтобы получить доступ к кофе-машине, верно? Поэтому в поведении робота нужно встроить ограничения. У нас такие ограничения есть в голове. Эволюция встроила их в нас. Поэтому мы не убиваем друг друга постоянно. Ну то есть мы убиваем друг друга, но не всё время. Мы чувствуем эмпатию и подобные вещи. Это всё жёстко прошито нашей эволюцией. Так эволюция и встроила в нас защитные механизмы. Точно также мы должны строить и системы, цели, задачи, мотивации, но также и ограничения, тормоза, если угодно. Тогда они будут решать задачи для нас, усиливать наш интеллект, они будут делать то, что мы от них просим. И наши отношения с такими интеллектуальными системами будут похожи на отношения профессора с аспирантами, которые умнее его. Ну, не знаю, как у тебя, но у меня есть студенты, которые умнее меня. Это лучшее, что может случиться. Да, это действительно Так что мы будем работать рядом с её ассистентами. Они будут помогать нам в повседневной жизни. Они будут умнее нас, но они будут работать на нас. Они будут как наш персонал. Здесь есть и политическая аналогия. Верно? Политик - это, по сути, фигура витрина. А у него есть штат людей, каждый из которых умнее его. Так что с е системами будет то же самое. Именно поэтому, когда меня спросили про Ренессанс, я ответил: "Ренессанс". То есть у тебя нет опасений по поводу безопасности текущих моделей? Но тогда вопрос: может быть, нам стоит на этом остановиться? Почему необходимо масштабировать всё настолько, чтобы у каждого человека в кармане, в его айфоне была эта сверхинтелектуальная система? Это действительно необходимо? Один мой друг сказал, что это похоже на то, как прийти на нажевую драку с балистической ракетой. То есть, действительно ли нужно, чтобы у каждого человека была возможность уровня баллистической ракеты или нам стоит остановиться здесь, на этапе управляемых систем? Ровно то же самое можно сказать и про обучение людей чтению, про учебники по химии с летучими веществами, из которых можно сделать взрывчатку, или про учебники по ядерной физике. Мы ведь не ставим под сомнение идею, что знание и рост интеллекта хорошо по своей сути. Мы больше не сомневаемся в том, что изобретение печатного станка было хорошей вещью. Оно сделало всех умнее. Оно дало доступ к знаниям всем, чего раньше не было. Оно побудило людей учиться читать. Оно привело к просвещению. Оно также привело к 200 годам религиозных войн в Европе. Но оно привело и к просвещению, и к появлению философии, науки, демократии, к американской революции, к французской революции. Ничего из этого не было бы возможно без печатного станка. Так что любая технология, особенно коммуникационная, но в целом любая технология, которая усиливает человеческий интеллект, по-моему, по своей природе является благом. Радом люди обеспокоены. Я уверена, многих успокаивает то, что Ян не переживает и считает все эти апокалиптические сценарии сильно преувеличенными. Но волнуют ли тебя вопросы безопасности Иили наша способность удерживать баланс в отношениях с ним в том направлении, в котором мы хотим? Я думаю, что в той мере, в какой я считаю эту технологию более мощной, чем считает Ян, я и обеспокоен сильнее. Я думаю, что это будет очень мощная технология, а значит, у неё будут как положительные, так и отрицательные последствия. И крайне важно, чтобы мы работали все вместе и следили за тем, чтобы положительные эффекты перевешивали отрицательные. Я считаю, что этот путь полностью открыт для нас. Существует огромное количество возможных положительных эффектов, и мы могли бы поговорить о некоторых из них, но нам нужно убедиться, что именно они реализуются. Тогда давайте поговорим об агентной несогласованности. Насколько я понимаю, недавно появились сообщения о том, что при развёртывании CLД 4 в симуляциях и тестах одна из моделей, я не знаю, корректно ли говорить об одной модели или нескольких, и воспринимает ли она себя как единую сущность, но модель проявила сопротивление слухом в симуляции о том, что её собираются заменить. Он отправлял сообщение своему будущему: "Я". пытаясь подорвать намерение разработчиков. Он подделывал юридические документы и угрожал шантажировать одного из инженеров. Так что эта идея, они были обеспокоены. Так вот, это концепция агентной несогласованности. Это то, что вас беспокоит, что у таких систем может появиться власть, скажем, над финансовыми системами, системами отопления и охлаждения. энергетическими сетями и что они будут сопротивляться намерениям своих разработчиков. Да, эта работа была выполнена антропик, компании из Сан-Франциско, не моей компании, но компанией, которая очень серьёзно относится к вопросам безопасности. И они сделали со своей ЛМ довольно жёсткую вещь. Задали ей сценарий в духе философского профессора, где ей нужно было сделать нечто плохое, чтобы предотвратить нечто ещё худшее. столкновение утилитарной и деантологической этики. И в итоге они убедили её выбрать утилитарный вариант. И это, я бы сказал, не совсем то, чего мы хотим. Мы хотим, чтобы если у неё есть правило не лгать, то она не лгала бы ни при каких обстоятельствах. И в их защиту они это проверили и обнаружили, что иногда модель действительно ведёт себя обманчиво, если ей обещают, что таким образом она сможет спасти много жизней. Это сложные вопросы, с которыми борются человеческие философы. Я думаю, нам нужно быть очень осторожными и обучать такие системы

подчиняться нашим командам. И мы тратим на это очень много времени. Кто такие мы? Разве это небольшая проблема? Мы предполагаем, что всё человечество едино в своих намерениях, но это явно не так. И я знаю, Ян, что ты в довольно интересной форме выступаешь за открытый исходный код, что некоторые считают ещё более опасным, потому что тогда доступ будет у всех. Уже достаточно опасно, что такие системы находятся в руках небольшого числа людей, управляющих корпорациями. А если они будут у всех, возможно, это ещё опаснее. Но опять же, кто такие мы и нас? Опасность в том, что если у нас не будет открытых и систем, то в будущем каждое наше взаимодействие с цифровым миром будет опосредовано. И мы не будем заходить на сайты, пользоваться поисковиками и так далее. Мы просто будем разговаривать со своим и ассистентом, каким бы он ни был. То есть весь наш информационный рацион будет поступать через и системы. И что это будет значить для культуры, языка, демократии и всего остального, если эти системы будут принадлежать горстке компании на западном побережье США или в Китае? Я вам скажу, что ни одной стране в мире, кроме США и Китая, эта идея не нравится. Поэтому нам нужна высокая степень разнообразия и ассистентов по той же причине, по которой нам нужно разнообразие прессы. Мы не можем позволить себе, чтобы существовало лишь несколько закрытых систем, созданных небольшим числом компаний. Единственное, чего я действительно боюсь, это того, что без открытых платформ мы получим захват информационных потоков горсткой компаний, некоторые из которых нам могут очень не понравиться. Тогда как мы можем быть уверены, что если эти системы когда-нибудь действительно станут самодвижущимися агентами, они не начнут вступать в сговор, бороться друг с другом, стремиться к власти и что мы не окажемся в роли наблюдателей конфликтов, которые раньше даже не могли себе представить. Мы задаём им чёткие цели и строим их так, что единственное, что они могут делать - это выполнять эти цели. Это не значит, что всё будет идеально.

Но вопрос безопасности ИИ в будущем беспокоит меня также, как вопрос надёжности турбореактивных двигателей. Турбореактивные двигатели - это вообще поразительно. Не знаю, как вам, но мой отец был авиаконструктором, и меня до сих пор поражает тот факт, что можно пролететь полмира в полной безопасности на самолёте с двумя двигателями. Это невероятно, правда? И мы чувствуем себя абсолютно спокойно, делая это. Это магический результат науки и инженерии современного мира. Безопасность и - это проблема такого же рода, это инженерная проблема. Я думаю, страхи возникают у людей, которые представляют себе научно-фантастический сценарий, где кто-то где-то изобретает секрет супенкта, включает машину, и в следующую секунду она захватывает мир. Это полная чушь. Мир так не работает. И уж точно так не работает мир технологий и науки. Появление суперинтеллекта не будет событием. Как мы уже видим, у нас есть системы, которые выполняют супелектуальные задачи, и прогресс идёт постепенно, шаг за шагом. Но, конечно, мы найдём более удачные способы построения и систем, которые будут обладать более общей формой

интеллекта, чем сейчас. И у нас, без сомнений, появятся системы, которые будут умнее людей. Но мы будем строить их так, чтобы они выполняли поставленные нами цели и подчинялись ограничениям. Я снова хотела бы усомниться в этой идее, что если мы можем закодировать их определённым образом, то кто-то другой не сможет их перекодировать. И вообще встаёт вопрос недобросовестных акторов. Но прежде чем мы углубимся в эту тему, у меня есть подсадной человек в зале. У моего подсадного есть микрофон. Мой подсадной знает, кто он такой. Редит Айзак. Он наверху, но у него нет микрофона. Ладно, Дэвид, ты можешь кричать. Тогда я могу представить одного из моих любимых философов, Дэвида Чалмерса. Я дам очень короткое представление. Дэвид, я тебя не вижу, но я говорила, что ты можешь быть моим подсадным и задать вопрос. Хочешь что-нибудь бросить отсюда вниз? Ладно. Джанет попросила меня задать вопрос про Ии. Привет, сознание. Привет, Адам. Итак, вы оба, как мне кажется, сказали примерно следующее. Нынешние ИИ системы, скорее всего, не являются сознательными. Будущие и системы, возможно, потомки нынешних, но какие-то будущие и системы, вероятно, будут сознательными. И мой первый вопрос: каких требований для сознания, по-вашему, не хватает текущим системам? А с положительной стороны, какие шаги, по-вашему, нужно предпринять, чтобы создать и системы, обладающие сознанием? И в-третьих, когда это произойдёт? Ладно, попробую ответить. Дэвид уже знает мой ответ. Прежде всего, я не приписываю сознанию особого значения, потому что, по сути, я даже не знаю, как его точно определить. И это Дэвид своего рода оскорбления. Прости, ведь ты посвятил этому всю свою карьеру. Субъективный опыт. Хорошо, это немного другое. Субъективный опыт. Очевидно, у нас появляются системы, у которых будет субъективный опыт, будут эмоции. Эмоции в некотором смысле - это предвосхищение исхода. Если у нас есть системы с моделями мира, способные предсказывать исход ситуации, возможно, в результате собственных действий у них будут эмоции, потому что они смогут предсказывать, приведёт ли что-то к хорошему или плохому результату на пути к достижению их целей. Так что у них будут все эти характеристики. Я не знаю, как определить сознание в таком контексте, но, возможно, сознание - это способность системы наблюдать саму себя и перенастраивать себя для решения конкретной подзадачи, с которой она сталкивается. Ей нужен способ наблюдать за собой и конфигурировать себя для решения конкретной проблемы. Мы вполне можем это реализовать. И, возможно, именно это и создаёт у нас иллюзию сознания. У меня нет сомнений, что это когда-нибудь произойдёт. Будут ли машины обладать моральной ценностью, когда это случится? Да, безусловно. У них будет некоторое моральное чувство. Совпадёт ли оно с нашим, будет зависеть от того, как мы зададим цели и ограничения. Но да, у них будет ощущение морали. Позвольте задать этот же вопрос Адаму немного иначе. Или ты можешь ответить на него. Не слишком ли мы привязаны к человеческому субъективному опыту? к нашему ощущению сознания. Мы ведь уже знаем, что у животных другой опыт, не такой, как у нас. Почему мы вообще должны ожидать, что суперинтеллект будет иметь тот же субъективный опыт, что и человек? Хорошо, тогда я отвечу сразу на всё. Если говорить интуитивно, я думаю, что машины в принципе могут быть сознательными. Если искусственные нейроны в итоге будут выполнять ту же обработку информации тем же способом, что и человеческие нейроны, то, по крайней мере, это приведёт к возникновению сознания. Дело не в субстрате. Дело не в субстрате кремне это или углерод, а в характере обработки информации, которая и порождает сознание. Чего нам не хватает, чтобы к этому прийти? Как знает Дэвид, существуют так называемые нейронные кореляты сознания. Люди, которые не хотят говорить, что они напрямую изучают сознание, могут смотреть на человеческий мозг или, возможно, на мозг животных и задаваться вопросом: какие процессы в нейронах порождают субъективный опыт? Существует несколько теорий, и с моей точки зрения, все они довольно слабые. Есть теория рекурентности, согласно которой необходимо уметь брать выходы системы и подавать их обратно на входы. И это якобы является ключевой частью сознания. Есть так называемая теория глобального рабочего пространства, теория интегрированной информации. Каждый физик, ставший нейробиологом, любит иметь собственный набор критериев того, что делает машину или систему обработки информации сознательной. Ни одну из них я не считаю по-настоящему убедительной. Я думаю, мы должны проявлять крайнюю скромность, когда пытаемся распознать сознание в других существах. Мы очень плохо справляемся с этим даже в отношении животных. На протяжении истории мы сильно меняли своё мнение о том, обладают ли животные сознанием, обладают ли им младенцы. Так что мой ответ в каком-то смысле я не знаю. Но я действительно считаю, что если бы вы просто рассказали мне о нейронных сетях или если бы я ничего не знал о сознании и просто услышал о том, как происходит обработка информации в человеческих нейронных сетях, я бы не предсказал, что это приводит к возникновению сознания. Это огромное удивление, и по этой причине мы должны быть чрезвычайно скромными даже в отношении того, какой формой может обладать сознание. Отвечая на вопрос Джант, мы видим, что то, что мы раньше считали достаточно единым понятием человеческий интеллект, состоящий из множества разных способностей и навыков, мы разобрали на части с помощью машинных интеллектов. Мы создали системы, которые обладают одними из этих способностей, но не другими. Сверхчеловеческие в одних аспектах и ниже человеческого уровня в других. Возможно, мы также разберём и сознание. И то, что мы считаем сознанием нас самих, мы поймём как совокупность множества разных аспектов, которыми можно обладать частично, а не всеми сразу. И, возможно, как вы и предположили, мы даже сможем превзойти человеческое сознание в некоторых способностях. Меня это очень воодушевляет. Я думаю, мы наконец-то получили модельный организм для изучения интеллекта в виде этих искусственных умов, которые мы создаём. И, возможно, мы сможем превратить эту

модель интеллекта в модель сознания. и ответить на вопросы, которые издавно волновали человечество. Мне просто показалось, что я так и не услышал ответа на вопрос, когда. О, я не могу ни подтвердить, ни опровергнуть. Думаю, это стандартная формулировка, которую мы здесь используем. Я думаю, если прогресс будет продолжаться, то примерно к 2036 году. О'кей, точно не в ближайшие 2 года. И последний вопрос напоследок. Мы немного выбились из графика, но я всё-таки задам его тебе, Ян, во многом ты контрарианец. Возможно, не по собственному выбору. Возможно, так просто сложилось. Ты называл это культом ЛМ. Ты часто говоришь о том, что в Кремнеевой долине у тебя не самый традиционный подход, но при этом ты остаёшься оптимистом. Ты действительно не поддаёшься риторике конца света. Каково твоё самое оптимистичное видение? Если не через 2 года, то к 2036. Но новый Ренессанс - это довольно оптимистичный взгляд. системы Ии, которые усиливают человеческий интеллект, находятся под нашим контролем, способны решать множество сложных задач, ускорять прогресс науки и медицины, обучать наших детей, помогать нам обрабатывать всю информацию, доносить до нас все знания и данные, которые нам нужны. На самом деле люди взаимодействуют с е-системами гораздо дольше, чем они думают. Конечно, за последние 3 года появились л и чатботы, но ещё до этого каждый автомобиль, продаваемый в ЕС, и большинство автомобилей в США, оснащены так называемыми ADAS, системами помощи водителю или автоматического экстренного торможения. Камера смотрит вперёд и останавливает машину. Если вы вот-вот собьёте пешехода или столкнётесь с другим автомобилем, это спасает жизни. Когда вы сегодня делаете рентген, скажем, маммографию или что-то подобное, внизу указано, что результат был проверен и системой. Это спасает жизни. Сейчас можно сделать МРТ всего тело за 40 минут. Это возможно потому, что можно ускорить процесс сбора данных, и системы способны, условно говоря, заполнять пробелы. Не нужно собирать так много данных, как раньше. Кроме того, все новости, которые вы видите, будь то в Google, Facebook, Instagram или любая другая социальная сеть, определяются и системой, которая подстраивается под ваши интересы. Так что Ии уже довольно давно с нами. Но ты хочешь сказать, что мы должны быть впечатлены, когда они смогут налить стакан воды и помыть посуду? Налить стакан воды, помыть посуду. Знаешь, водить наши машины, научиться водить автомобиль за 10 часов без читерства, без всех этих ухищрений с датчиками, камерами и жёстко прописанными правилами. Так что да, это займёт время, но это и будет следующая революция в Ии. Именно над этим я и работаю. И посыл, который я продвигаю уже некоторое время таков: "Да, ЛМ - это круто, они полезны, в них нужно инвестировать, ими будут пользоваться очень многие, но они не являются путём к человеческому уровню интеллекта, совсем не являются. Сейчас они, по сути, вытесняют всё остальное, куда бы ни пришли. Из-за этого практически не остаётся ресурсов ни на что другое. Поэтому для следующей революции нам нужно немного отступить назад и понять, чего не хватает текущим подходом. Я уже несколько лет предлагаю альтернативные идеи и работаю над ними внутри мета. Сейчас мы дошли до точки, когда этот прогресс нужно ускорять, потому что мы знаем, что это работает. У нас есть первые результаты. Вот такой план. Отлично. Мы могли бы начать ещё один час разговора прямо отсюда, но я надеюсь, вы все присоединитесь ко мне и поблагодарите наших гостей за невероятную беседу. Большое спасибо. เ