Самое глубокое интервью об ИИ: Суцкевер о природе разума, эволюции и машинном сознании

Знаешь, что поражает? Что всё это реально? Да. В каком смысле? Ты так не считаешь? Ну вот всё это и район залива Сан-Франциско, всё, что происходит. Разве это не прямо как из научной фантастики? Да. И ещё одна безумная вещь. Насколько нормально ощущается медленный разгон всего этого? Идея, что мы вкладываем 1% ВВП в И мне кажется, это должно было ощущаться чем-то гигантским, знаешь? А сейчас это как? Да, казалось, что ко всем изменениям мы привыкаем довольно быстро, но это всё очень абстрактно. Я имею в виду, что ты видишь в новостях, что такая-то компания объявила о таком-то объёме инвестиций. И всё это всё, что ты видишь. Больше никакого ощущения реальности пока нет. Может, стоит начать разговор прямо отсюда? Конечно. Я думаю, ты прав в том, что с точки зрения обычного человека ничего особенно не меняется, и это будет продолжаться вплоть до сингулярности. Нет, я так не думаю. Интересно, то, о чём я говорил, об ощущении, что ничего не меняется, это когда какая-то компания объявляет о какой-то трудноосознаваемой сумме инвестиций. И всё понятно? Я не думаю, что кто-то вообще понимает, что делать с этой информацией, но я думаю, что влияние ИИ будет ощущаться очень сильно ИИ будет постепенно проникать в экономику. Здесь действуют мощные экономические силы, и эффект будет очень заметен. Когда ты ожидаешь наступление этого эффекта, мне кажется, модели выглядят умнее, чем можно судить по их экономическому влиянию. Да, мне кажется, это одна из самых нелогичных вещей в моделях. Как совместить в голове тот факт, что они так хорошо показывают себя на тестах. И ты смотришь на тесты и думаешь: "Чёрт, да они же сложные. Модели справляются отлично, но экономическое влияние остаётся сильно позади. И как будто очень трудно понять, как модель, которая способна на такие впечатляющие вещи, в других ситуациях может, например, начать повторяться дважды. Ну вот пример. Ты занимаешься вайб-кодингом, доходишь до момента и получаешь баг. Ты говоришь модели: "Исправь, пожалуйста". И модель отвечает: "О боже, ты прав, у меня баг, сейчас исправлю". И она добавляет второй баг. Ты ей говоришь: "Вот новый баг". Она: "О боже, как я могла? Ты снова прав? " И возвращает первый баг. Так можно ходить туда-сюда. И это вызывает вопрос: "Как такое возможно? Это как я не уверен". Но это намекает на что-то странное. У меня есть два возможных объяснения. Первое, более причудливое, фантастическое объяснение. Возможно, обучение с подкреплением делает модели слишком однозначными и узко сфокусированными, немного не осознающими что-то, хотя в других вещах оно как раз повышает их осознанность. Из-за этого модели не могут выполнить базовые вещи. Но есть и другое объяснение. Во времена, когда все занимались только предбучением, вопрос, на каких данных обучать был прост, потому что ответом было на всех. Когда ты занимаешься преобучением, тебе нужны все данные, поэтому не надо думать, эти данные или те данные. Но когда компании занимаются обучением с подкреплением, им уже нужно думать: "Хорошо, нам нужна такая л -с среда для вот этой задачи". такая для той. У всех компаний есть команды, которые просто создают новые среды и добавляют их в тренировочный микс. И возникает вопрос, какие именно столько степеней свободы, огромное разнообразие возможных лсредств. И одна вещь, одно, что происходит, и думаю, оно происходит непреднамеренно, это то, что люди берут вдохновение из тестов, типа хочу, чтобы наша модель отлично выглядела при релизе, хочу, чтобы тесты были блестящими. Какое л обучение поможет улучшить показатели на этом тесте? Мне кажется, это реально происходит, и это многое объясняет. Если совместить это с тем, что обобщающие способности моделей на самом деле не так хороши, как кажутся, это может объяснить разрыв между хорошими результатами на тестах и реальной производительностью в мире, под которой мы даже до конца не понимаем, что имеем в виду. Мне нравится идея, что настоящий взлом системы вознаграждений совершают исследователи, которые слишком сфокусированы на тестах. Есть два возможных пути, как вообще понять или хотя бы задуматься над тем, что ты сказал. Первый. Если модель просто становится сверхчеловеческой в каком-то конкурсе по программированию, это не означает автоматически, что она станет более утончённой и будет принимать более взвешенные решения. Если речь идёт о том, как улучшить свой код, то стоит расширить набор сред так, чтобы тестирование модели не ограничивалось только показателями в конкурсах по программированию. Она должна также уметь создавать наилучшие приложения для различных задач, будь то X, Y или Z. И ещё один момент. Возможно, ты именно это имеешь в виду. Почему вообще должно быть так, что становясь сверхчеловеком в конкурсах по программированию, ты не становишься более прокачанным программистом в целом? Возможно, правильный подход - это не просто наращивать количество и разнообразие сред, а чтобы выработать метод, который позволяет учиться в одной среде и улучшать результаты в другой. У меня есть аналогия человеческая, возможно, полезная. Возьмём соревнование по программированию, раз ты уж упомянул. И предположим, есть два студента. первый решил стать лучшим в мире в спортивном программировании. Он будет тренироваться 10. 000 часов, решит все задачи, выучит все техники доказательств, точит умение быстро и безошибочно реализовывать алгоритмы и благодаря этому станет одним из лучших. Второй студент подумал: "О, соревнование - это круто, потренировался часов 100, значительно меньше, и тоже выступил хорошо. Как думаешь, кто из них добьётся большего в карьере? " Второй. Верно. И вот это по сути то, что происходит. Модели сегодня больше похожи на первого студента, потому что мы говорим: "Модель должна быть сильна в спортивном программировании, и мы собираем все задачи, какие когда-либо существовали. Затем делаем аргументацию и получаем ещё больше таких задач, да, и обучаем модель на этом. И вот у нас великолепный спортивный программист. Мне кажется, эта аналогия более интуитивно понятна, как бы. Да, о'кей. Если он так хорошо натренирован, то все эти разные алгоритмы и разные методы доказательств как будто даются ему легко. И с этой аналогией уже интуитивно понятно, что при таком уровне подготовки модель не обязательно будет хорошо разбираться в других вещах. Тогда что считается аналогией того, что делал второй студент до своих 100 часов до настройки? Мне кажется, это что-то вроде врождённого. Думаю, это и есть тот самый фактор успеха. И когда я был студентом-бакалавров, я помню, у нас был один такой парень, который учился вместе со мной. Так что я знаю, что такие люди существуют. Мне кажется, интересно отделить это от того, что делает преобучение. Один из способов понять то, что ты только что сказал о том, что нам не нужно подбирать данные для предобучения, по сути, это не то же самое, что 10. 000 часов практики. Ты как бы получаешь эти 10. 000 часов бесплатно, потому что они уже где-то есть в распределении данных для преобучения. Но, возможно, ты намекаешь, что на самом деле в предобучении не так уж много обобщения. Там очень много данных, но это не значит, что оно обобщает лучше, чем РЛ. Основная сила предобучения в том, что, во-первых, это колоссально много. А, во-вторых, тебе не нужно ломать голову над тем, какие данные включить в предобучение. И данные эти довольно естественные, и они включают в себя многое из того, что делают люди. Да, мысли людей и множество особенностей того, как, ну, это как целый мир, спроецированные людьми в текст, да, и предобучение пытается это захватить, используя огромное количество данных. Пред обучение очень трудно понять, потому что крайне сложно разобраться, как именно модель опирается на данные предобучения. И каждый раз, когда модель ошибается, можно ли сказать, что это происходит потому, что что-то случайно оказалось недостаточно поддержано предоучающими данными? И поддержано термин, возможно, не самый точный. Я не уверен, что могу сказать что-то более подходящее. Я не думаю, что существует человеческий аналог предобучения. Есть аналогии, которые люди предлагают как человеческий эквивалент предобучения. И мне интересно услышать, почему ты считаешь, что они не верны. Одна аналогия - это представить первые 18, 15 или 13 лет жизни человека, когда он ещё не является экономически полезным, но делает что-то, что помогает ему лучше понимать мир и так далее. Другая- рассматривать эволюцию как некий поиск, который длился 3 млрд лет и привёл к тому, что появился человек. И вот интересно, считаешь ли ты, что хоть одна из этих аналогий действительно похожа на предобучение? Или как бы ты описал человеческое обучение в течение жизни, если это не предобучение? Я думаю, что между обеими аналогиями и предобучением действительно есть сходство, и предобучение пытается сыграть роль обоих. Но есть и серьёзные различия. Объём данных предобучения просто ошеломляющий. И при этом человек даже после 15 лет жизни, используя ничтожную долю этих данных, знает гораздо меньше. Но то, что он знает, он знает гораздо глубже, намного глубже. И ошибки, которые человек в этом возрасте уже никогда не допустит, наши и допускают регулярно. Есть ещё один аспект. Можно сказать: "А может это что-то вроде эволюции? " И это возможно, но, как ни странно, в этом случае у эволюции может быть преимущество. Я помню случай, я читал об этом. Нейробиологи часто изучают людей с повреждениями определённых участков мозга. И у некоторых людей бывают такие странные симптомы, что просто невероятно. И один случай как раз сюда подходит. Я читал о человеке, у которого было поражение мозга. Он то ли перенёс инсульт, то ли травму, повредившая центр эмоциональной обработки. Он перестал чувствовать эмоции совсем. Но при этом он очень ясно выражал свои мысли, мог решать задачки, и на тестах всё выглядело нормально. Только он не чувствовал абсолютно ничего. Ни грусти, ни злости, ни воодушевления. И из-за этого стал совсем не способен принимать решения. Он мог часами решать, какие носки надеть, и делал ужасные финансовые выборы. И это и что это говорит о роли наших врождённых эмоций в том, чтобы мы были жизнеспособными агентами. И думаю, связывая это с твоим вопросом о предобучении, можно сказать: "Возможно, если ты достаточно хорошо умеешь извлекать всё из предобучения, то ты сможешь получить и это тоже". Но вот такие вещи, возможно, можно извлечь из предобучение, а возможно нет.

Но что это? Очевидно не сами эмоции. Это скорее что-то вроде функции ценности, которая подсказывает, какое решение выбрать, какой финальный результат хорош в каждом выборе. И ты думаешь, что это не возникает автоматически? Я думаю, теоретически можно, просто это не на 100% очевидно. Да, но что же это тогда? Что ты думаешь об эмоциях? Какова аналогия эмоций в машинном обучении? Это должно быть что-то вроде функции ценности, но я не думаю, что есть хорошая аналогия с машинным обучением, потому что в настоящее время функции ценности не играют очень заметной роли в том, чем занимаются люди. Возможно, стоит объяснить аудитории, что такое функция ценностей, если хочешь. Конечно, с удовольствием. Итак, когда люди занимаются обучением с подкреплением, как это делается сейчас, как они обучают этих агентов? У вас есть нейронная сеть, вы даёте ей задачу, а затем говорите модели: "Реши её". Модель предпринимает, возможно, тысячи, сотни тысяч действий, мысли или чего-то ещё, а затем выдаёт решение. Решение создано. И потом оценка этого решения используется как обучающий сигнал для каждого отдельного действия в вашей траектории. То есть, если задача длинная, нужно много времени, чтобы решить её. Вы не делаете никакого обучения, пока модель не предложит готовое решение. Так наивно осуществляется обучение с подкреплением. Так, по-видимому, осуществляются О1 и R1. Функция ценности говорит что-то вроде хорошо, смотри, может быть, я иногда, не всегда могу сказать тебе: "Хорошо ты играешь или плохо". Понятие функции ценности более полезно в некоторых областях, чем в других. Например, когда вы играете в шахматы и теряете фигуру, вы понимаете, что промахнулись. Вам не нужно играть партию до конца, чтобы понять, что ход был плохим и что всё, что привело к этому ходу, также было плохим. Функция ценности позволяет не ждать до самого конца. Допустим, ты решаешь задачу по математике или программированию и исследуешь какое-то направление решения. И после тысячи шагов размышлений ты понимаешь, что направление тупиковое. Как только ты это понял, ты можешь выдать обучающий сигнал. на тыся шагов назад. В следующий раз в подобной ситуации не двигайся в эту сторону. Задолго до того, как окончательное решение было сформулировано, в статье Дипсикера 1 говорилось, что пространство траектории настолько широкое, что очень трудно научиться сопоставлять промежуточные шаги и их ценность. Тем более, что, например, в программировании ты можешь сначала выбрать неверное направление, потом откатиться, потом снова поменять что-то. Это звучит так, будто у вас совершенно нет веры в глубокое обучение. То есть да, это может быть сложно, но нет ничего, с чем глубокое обучение не смогло бы справиться. Поэтому я ожидаю, что функции ценности должны быть полезны и полностью допускаю, что их уже используют или будут использовать в будущем. То, на что я намекал, говоря о человеке с повреждённым эмоциональным центром, это скорее то, что, возможно, человеческая функция ценности каким-то важным образом модулируется эмоциями. Причём эта модуляция жёстко закодирована эволюцией. И возможно именно это важно для того, чтобы люди были эффективны в мире. Вот как раз об этом я и собирался вас спросить. В эмоциях как части функции ценностей есть нечто очень интересное. Впечатляет, что они настолько полезны, при этом оставаясь довольно простыми для понимания. У меня здесь два комментария. Да, я согласен. По сравнению с теми вещами, которые мы изучаем и обсуждаем, эмоции действительно относительно просты. Возможно, они даже могут быть настолько просты, что их можно было бы отразить в понятной для человека форме. Было бы классно это сделать. Что касается полезности, тут есть вещь вроде компромисса между сложностью и устойчивостью. Сложные системы могут быть очень полезные, но простые оказываются полезны во множестве разных ситуаций. Поэтому один из способов интерпретировать то, что мы наблюдаем - это то, что эмоции в основном эволюционировали от наших млекопитающих предков, а затем немного донастраивались угаменидов, приматов. Совсем немного. У нас есть определённый набор социальных эмоций, которых у других млекопитающих может и не быть, но они не особо сложные. И именно потому, что они не слишком сложные, они так хорошо работают для нас в современном мире, который радикально отличается от того, в котором они формировались. Но они, конечно, ошибаются. Например, не знаю, считать ли голод эмоций, это спорно, но я думаю, что наше интуитивное чувство голода, например, совсем не справляется с задачей правильно направлять нас в мире, где еды в избытке. Да, сейчас все

говорят про масштабирование данных, параметров, вычислений. А можно ли мыслить о масштабировании более широко? Какие вообще есть оси масштабирования? Позвольте мне предложить взгляд, который, как мне кажется, может быть верным. Раньше машинное обучение работало так. Люди что-то пробовали, экспериментировали. пытались получить интересные результаты. Это происходило довольно долго. Затем возникло понимание масштабирования, да, законы масштабирования GPT3. И внезапно все осознали: нужно масштабировать. И это, кстати, пример того, как язык влияет на мышление. Масштабирование- всего лишь слово, но оно стало настолько мощным, что буквально говорит людям, что делать. Все такие: "Давайте попробуем масштабировать". И ты спрашиваешь: "Хорошо, а что мы масштабируем? " И предобучение стало той вещью, которую начали масштабировать. Это был определённый рецепт масштабирования. Прорыв предобучения заключался в понимании, что этот рецепт работает. И ты говоришь: "Эй, если смешать вычисление и данные и изолить это в нейросеть определённого размера, получится результат. И ты знаешь, что он будет лучше, если просто масштабировать рецепт. И компаниям это очень нравится, потому что это низкорисковый способ инвестировать ресурсы. Гораздо сложнее инвестировать в исследование. Сравни. В исследованиях нужно отправлять учёных, чтобы они что-то придумывали, а тут собери больше данных, добавь вычислений, и ты точно получишь что-то для предобучения. И действительно, судя по тому, что некоторые люди говорят в Твиттере, похоже, что в Джаминай нашли способ выжить из предобучения ещё больше, но в какой-то момент предобучение упрётся в нехватку данных. Данные конечные- это очевидно. И тогда что дальше? Либо некая усиленная версия предобучения, другой рецепт, либо обучение с подкреплением, либо ещё что-то. Но теперь вычислений очень много, очень много. В каком-то смысле мы снова возвращаемся в эпоху исследований. Можно сказать так, до 2020 года, примерно с двенадцатого до двадцатого, была эпоха исследований. Затем с двадцатого по двадцать пятый эпоха масштабирования. Примерно плюс-минус. Люди говорили: "Это потрясающе, надо масштабировать". Продолжайте масштабировать одно слово: масштабирование. Но теперь масштаб настолько огромен, что возникает вопрос: действительно ли мы верим, что если увеличить всё в 100 раз, всё радикально изменится? Да, конечно, изменится, но насколько? Если всё в 100 раз увеличить, всё прямо изменится? Думаю, нет. Поэтому мы возвращаемся в эпоху исследований только с огромными мощностями. Интересная формулировка. Но только позволь задать тебе вопрос, который ты только что озвучил. Что именно мы масштабируем и что значило бы иметь рецепт? Потому что, насколько я понимаю, у нас нет такой же чистой зависимости, почти как физический закон, какая была в предобучении, той самой степенной зависимости между данными, вычислительными ресурсами, параметрами и потерями. Какого рода закономерность нам теперь нужно искать? И каким вообще может быть новый рецепт? Мы уже наблюдали переход от одного вида масштабирования к другому, от предобучения к обучению с подкреплением. И сейчас люди масштабируют обучение с подкреплением. Судя по тому же Твиттеру, они уже тратят больше вычислений на обучение с подкреплением, чем на преобучение. Потому что обучение с подкреплением способно съесть очень много вычислений. Делая очень-очень длинные алгоритмы развёртывания. Это требует колоссальных вычислений. При этом каждый алгоритм даёт довольно мало обучения. То есть вы действительно можете потратить огромное количество вычислений. Я бы даже не стал называть это масштабированием. Я бы сказал иначе. Что вы делаете и является ли это самым продуктивным использованием вычислений? Можете ли вы найти более продуктивный способ использовать ваши вычислительные мощности? Мы уже обсуждали функцию ценности, и возможно, когда люди научатся хорошо их использовать, они смогут тратить ресурсы гораздо эффективнее. А если появится совсем другой способ обучения моделей, можно будет спросить: "Это масштабирование или просто более рациональное использование ресурсов? Тут всё становится менее однозначным". В каком-то смысле, когда была эпоха исследований, люди действовали так: "Давайте попробуем это, а потом это". И вдруг о, что-то интересное получилось. И думаю, мы снова к этому возвращаемся.

Если мы и правда возвращаемся в эпоху исследований, то что в рецепте самое важное? Ты говоришь о функции ценности. Сейчас люди уже используют рецепты, где LЛM, большие языковые модели, выступают в роли оценщика. Можно сказать, это и есть функция ценности, но, похоже, вы имеете в виду что-то более фундаментальное. Нужно ли нам переосмыслить само предобучение, а не просто добавлять шаги после него? Разговор о функции ценности был интересным. Я хочу подчеркнуть, функция ценности - это то, что может сделать обучение с подкреплением более эффективным, и это важно. Но всё, что можно сделать с функцией ценности, можно сделать и без неё, просто медленнее. Главная же проблема, как я вижу, фундаментальная. Эти модели по-прежнему обобщают кардинально хуже, чем люди. И это абсолютно очевидно. И это кажется действительно фундаментальным. Хорошо, это и есть суть проблемы обобщения. И здесь есть два подпункта. Первый - это эффективность обучения. Почему моделям нужно так много данных, чтобы чему-то научиться по сравнению с людьми? Второй. Даже если отбросить количество необходимых данных, возникает вопрос: почему так сложно научить модель тому, чему мы можем научить человека? То есть человеку не нужна какая-то ощутимая награда, чтобы, вероятно, ты сейчас наставляешь кучу исследователей, разговариваешь с ними, показываешь им свой код и объясняешь, как ты думаешь. И на основе этого они перенимают твой способ мышления и то, как им следует делать исследования. Тебе не нужно давать им награду, вроде вот следующая часть программы, а теперь вот эта часть программы. И не возникает всей этой тяжёлой, ручной, нестабильной настройки обучения. Так что, возможно, эти две проблемы действительно как-то связаны, но мне было бы интересно отдельно обсудить и вторую, что-то вроде непрерывного обучения, и первую, проблему эффективности. Да, знаете, можно задуматься. Одно из возможных объяснений человеческой эффективности обучения - это эволюция. Эволюция дала нам небольшой набор максимально полезной информации. И для таких вещей, как зрение, слух и моторика, кажется, что эволюция действительно дала нам очень много. Например, человеческая ловкость значительно превосходит. Ну, роботы тоже могут стать ловкими, если их очень долго тренировать в симуляции. Но научить робота в реальном мире быстро осваивать новый навык, так же, как это делает человек, сейчас выглядит недостижимым. И здесь можно сказать: "Да, моторика нашим предкам была жизненно нужна". Посмотрите на белок. Так что, возможно, в плане передвижения у нас есть невероятные предшественники. То же самое можно сказать и о зрении. Ян Ликун говорил: "Дети учатся водить машину после 16 и 10 часов практики, и это правда, но наше зрение настолько хорошее". Например, когда я вспоминаю себя в возрасте 5 лет, я уже тогда обожал машины. И я уверен, что уже в 5 лет моё распознавание автомобилей было более чем достаточным для самостоятельного вождения. За 5 лет вы видите не так много данных. Вы проводите большую часть времени дома, у вас низкое разнообразие данных, но можно сказать, что и это заслуга эволюции, а вот для языка математики и программирования, скорее всего, нет. Но всё равно люди справляются лучше моделей. Конечно, модели уже лучше среднего человека в языке, математике и программировании, но лучше ли они среднестатистического человека именно в обучении? О, да, абсолютно. Я имел в виду, что язык, математика и кодинг, особенно математика и кодинг, указывают на то, что способность людей хорошо учиться, это, вероятно, не столько сложная предшествующая подготовка, сколько нечто большее, нечто фундаментальное. Подождите, я не совсем понял, почему это так. Возьмём навык, которым люди обладают с высокой надёжностью. Да, если этот навык был крайне полезен нашим предкам в течение многих миллионов лет, сотен миллионов лет, можно предположить, что люди хороши в нём благодаря эволюции, потому что у нас есть предшествующий эволюционный опыт, закодированный каким-то очень неочевидным образом, который каким-то образом помогает нам преуспевать в этом навыке. Но если люди демонстрируют высокую способность, надёжность, устойчивость и способность к обучению в области, которая почти не существовала до совсем недавнего времени, это, скорее всего, говорит о том, что у людей просто лучшее машинное обучение в целом. Тогда как нам об этом думать? Что может быть причиной? Какой тут может быть аналог с машинным обучением? Тут есть несколько интересных вещей. Нужно меньше примеров. Обучение более неявное. Вам не нужно задавать. Например, подросток учится водить машину. Он ведь не получает заранее прописанную проверяемую награду. Он учится через взаимодействие с машиной и средой. И при этом требуется намного меньше примеров. Это более неконтролируемое обучение. Оно гораздо более устойчивое, намного более устойчивое. Устойчивость людей действительно потрясающая. Да. Так что получается, ладно. А у вас есть единый способ осмысления того, почему все эти вещи происходят одновременно? Какая аналогия из машинного обучения могла бы объяснить это? Ты спрашивал, как подросток способен самокорректироваться и учиться на своём опыте без внешнего учителя. Ответ в том, что у него есть собственная функция ценности. Верно? У него есть общее чувство, которое, кстати, тоже невероятно надёжны у людей. Какова бы ни была человеческая функция ценности, за исключением некоторых случаев, связанных с зависимостями, она на самом деле очень и очень устойчива. Поэтому, например, когда подросток учится водить, он начинает вести машину и уже имеет ощущение того, насколько хорошо или плохо он делает это, насколько он уверен или не уверен, а потом он смотрит, что происходит. И, конечно, подростки учатся невероятно быстро. После 10 часов ты уже готов

ехать? Да, кажется, у людей есть какое-то решение. Но вопрос, как они это делают и почему нам так трудно? Как нам нужно переосмыслить обучение моделей, чтобы сделать подобное возможным? Это отличный вопрос, и у меня на него массам мнений. Но, к сожалению, мы живём в мире, где не все идеи в машинном обучении обсуждаются свободно. И это одна из таких. Так что, вероятно, способ существует. Я думаю, это можно сделать. Сам факт, что люди так умеют, доказывает, что это возможно. Но есть ещё одно возможное препятствие. Есть вероятность, что человеческие нейроны выполняют больше вычислений, чем мы думаем. И если это так, если это важно, тогда всё может оказаться сложнее. Но в любом случае, я думаю, всё это указывает на существование некоторого принципа машинного обучения, о котором у меня есть мнение, но, к сожалению, обстоятельства не позволяют обсуждать его подробно. Никто не слушает этот подкаст. Илья, честно говоря, готовиться к разговору с Ильёй было достаточно сложно, потому что ни я, ни кто-либо ещё не представляем, над чем он работает и чем занимается SSI. У меня не было основы, чтобы придумать вопросы. Единственное, на что я мог опереться - это попытаться рассуждать с нуля о том, какие существуют проблемы на пути к AGI, потому что очевидно, что Илья работает над ними так или иначе. Часть этого размышления заключалась в том, чтобы подумать о масштабировании РЛ. Ведь все спрашивают, насколько хорошо РЛ будет обобщаться и как сделать так, чтобы он обобщался лучше. Я читал недавнюю статью о масштабировании РЛ, и там показывалось, что обучающая кривая ВРЛ фактически выглядит как сигмоида. Это показалось странным. Почему Сигмоэда? При ней модель долго почти ничего не учит. Потом резко учит очень много, а затем выходит на плато. Это совсем не похоже на степенной закон, который наблюдается в преобучении. Модель учится очень быстро вначале, а затем всё медленнее. И это напомнило мне заметку, которую я сделал после разговора с одним изследователем. Он сказал, что количество примеров, необходимых для нахождения правильного ответа, растёт экспоненциально в зависимости от того, насколько ваша текущая вероятность отличается от целевой. И я пытался понять, как эти две идеи связаны. Мне казалось, что связь есть, но я не понимал, какая. У меня нет математического образования, так что формализовать я это не смог. Но я решил попробовать попросить помощи у Gemini 3. Я сфотографировал свою тетрадь, взял эту статью, загрузил их обе в Gemini 3 и попросил найти связь. Он долго размышлял и пришёл к тому, что правильный способ моделировать количество информации, получаемой из бинарного да нет результата в РЛ- это как энтропия бинарной случайной величины. Он построил график, на котором показал, как количество бит информации, получаемой за один пример в РЛ и в обучении с учителем, масштабируется по мере увеличения процента успешности. И как только я увидел этот график, который сделал J 3, многие вещи сразу начали для меня проясняться. После этого мне захотелось понять, есть ли какие-то эмпирические подтверждения этой теории. Поэтому я попросил Дemнай написать код для эксперимента, чтобы проверить, масштабируется ли улучшение ошибки в зависимости от процента успешности. Я просто взял код, который выдал Gemini, вставил в Google Cab и смог запустить этот маленький ML-эксперимент и визуализировать результаты без единой ошибки. Это интересно, потому что результаты выглядят похожи, но не идентичны тому, что мы должны были ожидать. И вот я скачал этот график, запустил его в Gминай и спросил, что здесь происходит. Он выдвинул гипотезу, которая, я считаю, верна. Мы ограничиваем то, насколько сильно обучение с учителем может улучшиться в начале, используя фиксированный темп обучения. И на самом деле нам следует уменьшать темп обучения с течением времени. Фактически это даёт нам интуитивное понимание того, почему на практике у нас есть планировщики темпа обучения, которые уменьшают темп обучения со временем. Я прошёл весь этот путь от смутного первоначального вопроса до построения теоретического понимания и запуска учебных э- экспериментов. И всё это с Gemini 3. Это, кажется, первая модель, которая действительно может находить новые связи, которые я бы не предвидел. Она стала тем местом, куда я по умолчанию обращаюсь, когда хочу провести мозговой штурм по новым способам осмысления проблемы. Если вы хотите узнать больше о масштабировании L, вы можете прочитать статью в блоге, которую я написал с небольшой помощью от Gemini 3. Если вы хотите сами ознакомиться с Gemini 3, зайдите на

gemini. google. Я вот думаю, ты говоришь, что мы вернулись в эпоху исследований. Ты был там с двенадцатого по двадцатый год. Какая теперь будет атмосфера, если мы вернёмся в эпоху исследований? Например, даже после Alexnet объём вычислительных ресурсов, используемых для проведения экспериментов, продолжал расти, и размер передовых систем продолжал расти. И как ты думаешь, потребует ли эта эпоха исследований по-прежнему огромного количества вычислительных ресурсов? Потребует ли она возвращения к архивам и чтению старых статей? Какова была, может быть, атмосфера в Google, Open AI и Стэнфорде в тех местах, когда был более сильный дух исследований? Чего нам теперь ждать от сообщества? Одним из последствий эпохи масштабирования было то, что масштабирование высосало весь воздух из комнаты. И поскольку масштабирование вытеснило всё остальное, все начали заниматься одним и тем же. Мы пришли к миру, в котором компаний больше, гораздо больше, чем идей. Кстати, есть кремнее водолинная поговорка: "Идеи дешёвые, важна лишь реализация. И это, конечно, частично правда, но однажды кто-то пошутил в Твиттере, что-то типа: "Если идеи такие дешёвые, почему же никто их не производит? " И в этом тоже правда. Мне кажется, если вы думаете о прогрессе в исследованиях с точки зрения узких мест, то их несколько. Если вернуться назад, и одно из них - это идеи, а другое- ваша способность воплотить их в жизнь, что может включать вычислительные ресурсы, но также инженерия. Возьмём, например, девяностые. У людей были неплохие идеи. Если бы у них были большие компьютеры, возможно, они могли бы доказать, что их идеи жизнеспособны, но у них их не было, поэтому они могли предоставить лишь очень-очень маленькие демонстрации, которые никого не убеждали. Узким местом тогда были вычислительные ресурсы. Затем, в эпоху масштабирования, компьютеры стали гораздо мощнее. И, конечно, остаётся вопрос, сколько именно ресурсов нужно, но их стало много. Начислительных ресурсов достаточно, и не очевидно, что вам нужно настолько больше ресурсов, чтобы доказать какую-то идею. Я приведу вам аналогию. Alexnet был создан на двух GPU. Это были все вычислительные ресурсы для него. Трансформер был создан на 864 GPU. Ни в одном эксперименте в статье про Трансформер не использовалось более 64 GPU 2017 года, что эквивалентно, наверное, двум современным GPU. То же самое с Resnet. Верно? Можно даже утверждать, что рассуждение О1 Reasoning не было самой вычислительной ёмкой вещью в мире. Так что, безусловно, для исследований вам, конечно, нужно определённое количество вычислительных ресурсов, но далеко не очевидно, что вам нужны абсолютно максимальные мощности. Можно утверждать, и это, думаю верно, что если вы хотите создать лучший в мире продукт, то тогда гораздо большее количество вычислительных ресурсов помогает. И особенно, если все находятся в рамках одной и той же парадигмы, тогда вычислительные ресурсы становятся одним из ключевых факторов, отличающих одну систему от другой. Да, получается, идеи

можно было разрабатывать и на небольшом количестве вычислений. Я спрашиваю о прошлом, потому что вы действительно там были. Трансформер ведь не сразу стал знаменитым. Он стал тем, чем занимается каждый, лишь когда его валидировали на всё больших масштабах. Верно? И тогда, если у вас в СС есть 50 идей, как вы поймёте, какая из них следующий трансформер, а какая окажется хрупкой, если у вас нет таких вычислительных мощностей, как у других передовых лабораторий? Я могу это прокомментировать. Кратко вы упомянули и для нас в ССИ объём вычислительных мощностей для исследований на самом деле совсем не маленький. И я хочу объяснить, почему. Простая математика может показать, почему количество вычислительных ресурсов, которые у нас есть, на самом деле, гораздо более сопоставимо для исследований, чем можно было бы подумать. SSI привлёк 3 млрд долларов, что, ну, немало. Это много в любом абсолютном смысле. Но вы можете сказать: "Посмотрите на другие компании, они привлекают гораздо больше". Однако значительная часть их вычислительных ресурсов идёт на infренс, то есть на эксплуатацию. Это большие цифры, это крупные займы, они зарезервированы для инференса. Это во-первых. Во-вторых, если вы хотите иметь продукт, на котором вы выполняете infренс, вам нужен большой штат инженеров, продавцов. Значительная часть исследований должна быть посвящена созданию всевозможных функций, связанных с продуктом. Таким образом, когда вы посмотрите на то, что реально остаётся для исследований, разница становится намного меньше. Кроме того, другой момент. Если вы делаете что-то другое, действительно ли вам нужен абсолютно максимальный масштаб, чтобы это доказать? Я не думаю, что это так. Я считаю, что в нашем случае у нас достаточно вычислительных ресурсов, чтобы убедить самих себя и кого-либо ещё, что то, что мы делаем, является правильным. Были публичные оценки, что компании вроде Open AI тратят порядка 5-6 млрд долларов в год только на эксперименты. Угу. И это отдельно от расходов на инференс и прочее. То есть выходит, что они тратят больше на годовые исследования, чем у вас есть всего финансирование. Всё зависит от того, как ты используешь эти ресурсы. У них, я думаю, в их случае и в случае других гораздо больший спрос на вычислительные ресурсы для обучения. Больше разных потоков работы, разных модальностей, просто больше всего. и ресурсы фрагментируются. Как SSI будет зарабатывать? Мой ответ, если мы сосредоточимся сейчас только на исследованиях, то ответ на этот вопрос сам собой проявится. Я думаю, будет много возможных вариантов. План ССАИ всё ещё создание суперинтеллекта. Возможно, я считаю, в этом есть смысл. много смысла, потому что здорово не зависеть от повседневной рыночной конкуренции. Но есть две причины, которые могут заставить нас поменять план. Первое, прагматичное, если сроки окажутся длинными, и это возможно. Вторая. Я считаю, что огромная ценность в том, чтобы самое мощная и существовала и влияла на мир. Это действительно значимая ценность. Но тогда почему ваш основной план - это прямой путь к суперинтеллекту? Потому что кажется, что Open AI, Anтроopic и другие компании думают иначе. постепенно давать людям слабые и чтобы подготовить их. Почему возможно лучше сразу построить суперинкт? Давайте рассмотрим за и против. За, когда ты в рынке, приходится участвовать в гонке. Она сложная, потому что ставит тебя перед трудными компромиссами. Приятно сказать, мы себя от всего этого изолируем, сосредоточимся на исследованиях и выйдем только тогда, когда будем готовы, а не раньше. Но есть и противоположная точка зрения. Полезно для мира, чтобы он увидел мощный ии, потому что это единственный способ его показать. Я думаю, дело не только в том, чтобы показать идею. Показывать и не идею, показывать сам и что вы имеете в виду? Допустим, вы читаете эссе про Ии и будет вот таким и будет таким. И вы думаете: "Интересно". А теперь представьте, что вы видите Иито. Это несравнимо. Я считаю, что публичное присутствие Ии даёт огромное преимущество, и это может быть одной из причин, почему мы не идём строго прямым путём.

Я думаю, это важная часть. Но есть и другой аспект. Я не могу вспомнить другую дисциплину инженерии и исследований, где конечный продукт становился безопаснее просто через его внедрение и исправление ошибок, а не только через теоретические размышления. Почему авиационные аварии сегодня так редки? А найти бак в Linux стало так сложно по сравнению с десятилетиями назад. Всё потому, что системы разворачивались в реальном мире. Ошибки замечались, исправлялись, системы становились более надёжными. Я не вижу, почему AGI и суперинкт должны отличаться, особенно учитывая, я надеюсь, мы к этому придём. Вред от суперинтеллекта - это не только какой-то злонамеренный бумаготряс, а мощная система, с которой мы ещё даже не умеем взаимодействовать. Постепенный доступ к ней, возможно, лучший способ распределить её влияние и подготовить людей. Ну, я думаю, что даже сценарии прямого пути к суперинтеллекту вы всё равно будете выпускать его постепенно. Так я это себе представляю. Постепенность будет неотъемлемой частью любого плана. Просто вопрос в том, что выйдет первым. Это пункт первый. Пункт второй. Я также думаю, что вы знаете больше, чем кто-либо другой, выступали за непрерывное обучение. И я считаю, что это важная и правильная идея. И вот почему. Дам вам ещё один пример того, как язык влияет на мышление. И на этот раз это будут два слова, которые, как я считаю, сформировали мышление всех. Первое слово AGI. Второе предобучение. Позвольте объяснить. Слово термин AI существует не просто так. Почему он существует? Причина есть. На мой взгляд, термин AI существует. Не столько потому, что он описывает какой-то конечный уровень интеллекта, сколько как реакция на другой термин узкий и если вы вернётесь к древней истории и в играх и для шашек, шахмат, компьютерных игр, все говорили: "Посмотрите на этот Узкий интеллект. Конечно, шахматный и может обыграть Каспарова, но он не может делать ничего другого. Это узкий искусственный интеллект. И в ответ, как реакция на это, некоторые люди сказали: "Но это не годится, это слишком узко. Нам нужен общий и и, который может делать всё, что угодно. Это второе. И этот термин получил большую популярность. Второе, что получило большую популярность - это предварительное обучение, а именно сам рецепт предварительного обучения. Я думаю, что то, как люди делают Л сейчас, отменяет концептуальный отпечаток предварительного обучения. Но предварительное обучение имело свойство. Вы делаете больше предварительного обучения, и модель становится лучше во всём, более или менее равномерно. Общий Ии. Предварительное обучение даёт AGI. Но проблема, которая возникла с AI и предварительным обучением, заключается в том, что в некотором смысле они превысили цель. Потому что, если вы задумаетесь о термине AI, вы поймёте, и особенно в контексте предварительного обучения, вы поймёте, что человек не является AI, потому что у человека, да, безусловно, есть фундамент навыков, но человеку не хватает огромного количества знаний. Вместо этого мы полагаемся на постоянное обучение. И тогда, когда вы думаете: "Хорошо, допустим, мы добились успеха и создали некий безопасный суперинтеллект", вопрос в том, как вы его определяете? Где на кривой постоянного обучения он будет находиться? Я бы создал что-то вроде суперинтеллектуального пятнадцатилетнего подростка, который очень хочет начать. Он не знает очень многого. И ты великолепный ученик, очень рьяный. Иди и стань программистом. Иди и стань врачом. Иди и учись. Таким образом, вы можете представить, что само развёртывание будет включать своего рода период обучения, проб и ошибок. Это процесс, в отличие от того, когда вы просто выбрасываете готовый продукт. Понятно? То есть вы предлагаете То есть вы предлагаете, что суперинтеллект- это не готовый ум, который умеет выполнять любую работу в экономике, как определял, например, Open AI. А ум, который может научиться выполнять любую работу. И это суперинкт. Но когда у вас есть обучающийся алгоритм, он внедряется в мир таким же образом, как человек внедряется в организацию. И, кажется, может произойти одно из двух. Может, не одно не произойдёт. Либо этот суперэффективный алгоритм обучения становится сверхчеловеческим, лучше вас и, возможно, даже лучше в задачах исследований. В результате алгоритм сам становится всё более сверхчеловеческим, либо даже если это не произойдёт, если у вас есть одна модель или её экземпляры, развёрнутые в экономике, выполняющие разные работы, обучающиеся на ходу, осваивающие все навыки, которые может освоить человек, но одновременно, а затем объединяющие результаты обучения. У вас по сути модель, которая функционально становится суперразумной даже без рекурсивного самосовершенствования в ПО. Люди не могут объединять свои умы также. Поэтому можно ожидать своего рода взрыв интеллекта при широком развёртывании. Думаю, вероятен быстрый экономический рост. можно привести два противоречивых аргумента. Один из них - это когда у вас есть и, который быстро учится и их много, существует сильный стимул использовать их в экономике, если не введут какие-то регуляции, которые это остановят. Они возможны. Но идея очень быстрого экономического роста возможна при широком развёртывании. Другой вопрос, насколько он будет быстрым? Трудно сказать. С одной стороны, у вас есть очень эффективный работник. С другой стороны, мир огромен, есть много всякого. И всё это движется с разной скоростью. Но ведь и может ускорить процессы. Так что очень быстрый экономический рост возможен. Мы увидим разные ситуации. Страны с разными правилами. Где правила благоприятнее, рост быстрее. Трудно предсказать. — Подпишись прямо сейчас на мой Telegram-канал по ссылке в описании. Я подготовил для тебя топ-три материала, которые, на мой взгляд, должен знать каждый. Первое, карта сотни топовых AI стартапов - это будущее на одной картинке. Второе, прогноз от инсайдера из Openi, который ещё до появления чат GPT предсказал всё, что сейчас происходит с ней неронками. И вот в этом году он выпустил новый прогноз до двадцать седьмого года. И третье, самое мощное - это мой разбор эссе основателя компании Anтроopic, который по сути второй человек в мире искусственного интеллекта. Он по полочкам разложил, что будет происходить в мире ближайшие 5 лет, и главное, каким будет универсальный AI, которого все так боятся или ждут. Переходи по ссылке в описании. — Мне кажется, это очень щекотливая ситуация. Мы знаем, что это возможно, потому что если есть что-то, что так же хорошо, как человек учится, но может сливать мозги. Объединять разные экземпляры так, как люди не могут, это физически возможно. Люди возможны, цифровые компьютеры возможны. Нужно объединить их, чтобы получить это. И это кажется чрезвычайно мощным. И экономический рост - это один из способов это измерить. Дайсфер - это тоже много экономического роста. Но можно сказать и иначе. У вас, возможно, будет очень мало времени, ведь человек на работе. Ну, скажем, вы нанимаете людей в СС, и через полгода они уже выходят на эффективность. Ведь так люди учатся очень быстро, и эта система становится умнее с огромной скоростью. Как вы думаете, сделать так, чтобы всё прошло гладко? И почему именно SSI способны это сделать? В общем, в чём здесь роль SSI? Знаете, моё мышление изменилось в одном аспекте. Теперь я придаю гораздо большее значение постепенному и заблаговременному внедрению Ии. Одна из главных сложностей с Ии заключается в том, что мы говорим о системах, которые пока не существуют, и их трудно себе представить. Я думаю, происходит вот что. На практике очень сложно почувствовать общий искусственный интеллект. Ag. Очень сложно его ощутить. Мы можем говорить о нём, но это как разговоры о далёком будущем. Представьте, например, разговор о том, каково это быть старым. Когда вы старый и немощный, вы можете поговорить об этом, попытаться представить, но это просто трудно, и вы всё равно возвращаетесь в реальность, где это не так. Я думаю, что многие проблемы, связанные с AI и его будущей мощью, проистекают именно из того факта, что это очень трудно вообразить. Будущий и будет другим, он будет мощным. Вообще, в чём заключается проблема и AI? Вся проблема в его мощи. Вся проблема именно в силе. Когда мощь становится действительно огромной, что тогда произойдёт? И вот как изменилось моё мнение за последний год. И это изменение, возможно, скажу осторожно, возможно, отразится на планах нашей компании, если это так трудно представить. Что же делать? Нужно показывать эту технологию. Нужно демонстрировать её в действии. И я убеждён, что даже большинство людей, работающих над, тоже не могут этого представить, потому что это слишком отличается от того, что мы видим каждый день. Я настаиваю, и вот моё предсказание, что произойдёт. Я настаиваю, что по мере того, как и будет становиться мощнее, люди будут менять своё поведение. И мы увидим разного рода беспрецедентные вещи, которых сейчас не происходит. Я приведу несколько примеров. Думаю, к худу или к добру, но компании лидеры сыграют очень важную роль в происходящем, так же как и правительство. И те вещи, которые, как мне кажется, мы увидим и зачатки которых видны уже сейчас, это когда компании, являющиеся жёсткими конкурентами, начинают сотрудничать в вопросах безопасности. И, возможно, вы видели, как Open AI и Anтро Oopic сделали первый маленький шаг, но раньше этого просто не существовало. Вообще-то я предсказывал это в одном из своих выступлений около 3 лет назад, что подобное произойдёт. Я также убеждён, что по мере того, как ИИ будет становиться мощнее, заметно мощнее, у правительств и общественности тоже появится желание действовать. Я думаю, что это очень важный фактор демонстрации возможности. И это первое. Второе, хорошо, допустим, и создан. Что нужно делать? Я утверждаю следующее. Прямо сейчас люди, работающие над Ии, я считаю, что Ии не ощущается мощным из-за своих ошибок, но я уверен, что в какой-то момент ИИ действительно начнёт ощущаться мощным. И думаю, когда это произойдёт, мы увидим большие перемены в том, как все и компании подходят к вопросам безопасности. Они станут гораздо более параноидальными. Я говорю это как предсказание того, что мы увидим. Посмотрим, окажусь ли я прав. Но я думаю, это случится, потому что они увидят, как Иирает мощь. Всё, что происходит сейчас, я уверен, происходит, потому что люди смотрят на сегодняшний ИИ, и им трудно вообразить ИИ будущего. Есть ещё третий момент, который должен произойти. И я думаю, я говорю сейчас в более широком смысле, не только с точки зрения SSI. Раз уж вы спросили о нашей компании, вопрос в том, хорошо, а что именно компании должны стремиться построить? Какова цель? И была одна большая идея, на которой все фактически все зациклились. Это самосовершенствующийся и почему так вышло? Потому что идей меньше, чем компании. Но я утверждаю, что есть цель получше. И я думаю, что на самом деле все захотят именно этого. Это и, который надёжно ориентирован на заботу о разумной жизни. Я думаю, есть основание полагать, что будет легче создать и, который заботится о любой разумной жизни, чем и, который заботится только о человеческой жизни, потому что ии сам будет разумным. Если подумать о таких вещах, как зеркальные нейроны и человеческая эмпатия к животным, можно спорить, что она недостаточно велика, но она существует. Я считаю, что это эмерджентное свойство, возникающие из того факта, что мы моделируем других с помощью тех же нейронных механизмов, которые используем для моделирования себя, потому что это наиболее

эффективно. Но даже если у вас получится заставить ей заботиться о разумных существах, хотя мне не очевидно, что именно это нужно делать, если вы решаете проблему согласования, всё равно получится так, что большинством разумных существ будут сами и их будут триллионы, в конечном счёте квадриллионы. Люди будут составлять лишь крошечную долю разумных существ. Поэтому, если цель - это какой-то человеческий контроль над этой будущей цивилизацией, мне неясно, лучший ли это критерий. Это правда. Я допускаю, что, возможно, это не самый лучший критерий. Скажу две вещи. Я думаю, что вещь номер один. Я думаю, что в заботе о разумной жизни есть смысл. Я думаю, это стоит рассмотреть. Мне кажется, было бы полезно иметь некий шортлист идей, который компании, оказавшись в такой ситуации, могли бы использовать. Это второе. Третье. Я думаю, было бы действительно существенно полезно, если бы мощь самого сильного супелекта была как-то ограничено, потому что это сняло бы множество подобных опасений. Вопрос, как это сделать, тут я не уверен, но я думаю, это было бы существенно полезно, когда речь идёт о действительно по-настоящему мощных системах. Прежде чем мы продолжим обсуждение согласования, я хочу остановиться на этом подробнее. Сколько вообще места на вершине? Как вы представляете себе суперинкт? Считаете ли вы, ну, используя эту идею эффективности обучения, может быть, он просто чрезвычайно быстро осваивает новые навыки или знания? Или у него просто большей набор стратегий? Существует ли какое-то единое цельное оно в центре, которое является более мощным или масштабным? И если да, представляете ли вы, что оно будет чем-то вроде бога по сравнению с остальной человеческой цивилизацией? Или же это будет ощущаться просто как ещё один агент или группа агентов? Знаете, это та область, где у разных людей разные предчувствия. Я думаю, это совершенно точно будет нечто очень мощное. Однако мне кажется, что наиболее вероятный сценарий - это создание нескольких таких и примерно в одно и то же время. Я думаю, если кластер достаточно велик, ну, если это буквально кластер размером с континент, такая штука действительно может быть очень мощной, верно? Если у вас буквально есть вычислительный кластер размером с континент, такие ии могут обладать огромной силой. И всё, что я могу сказать, если мы говорим о чрезвычайно мощных ии, по-настоящему драматически мощных, то да, было бы неплохо, если бы их можно было как-то сдерживать или если бы существовало какое-то соглашение или что-то в этом роде. Потому что если вы спросите: "Эй, а в чём проблема с супентелектом? " Как объяснить этот риск? Представьте систему, которая достаточно мощна, реально достаточно мощна. И вы говорите ей: "Ладно, тебе нужно сделать что-то разумное". Например, заботиться о разумной жизни. Но если она будет делать это слишком прямолинейно и фанатично, нам могут не понравиться результаты. Вот в чём суть. И возможно, кстати, ответ в том, что вы не создаёте единого. Вы не создаёте РЛагента в привычном смысле. И вообще я отмечу несколько моментов. Я думаю, что люди - это такие полуагенты. Знаете, мы стремимся к награде, потом эмоции или что-то ещё заставляют нас устать от этой награды, и мы стремимся к другой. Рынок - это тоже такой очень близорукий агент. И эволюция тоже самое. Эволюция в чём-то очень умна, в чём-то очень глупа. Правительство было спроектировано как бесконечная борьба между тремя ветвями власти, что тоже даёт свой эффект. Так что я думаю о вещах такого рода. Ещё одна вещь, которая затрудняет это обсуждение. Мы говорим о системах, которых не существует и которые мы не знаем, как построить. Верно? Это второй момент. И это, на самом деле, моё убеждение. Я думаю, то, что люди делают сейчас, мы пройдём какой-то путь, а потом это выдохнется. Оно продолжит улучшаться, но это всё равно будет не то. А вот то самое мы строить пока не умеем. Я думаю, многое зависит от понимания надёжного обобщения. И скажу ещё одну вещь. Знаете, одна из причин, почему согласование считается сложным, можно сказать, что ваша способность усваивать человеческие ценности хрупка, а значит, и способность их оптимизировать хрупка. Вы ведь учитесь их оптимизировать. И тут вопрос: разве всё это не примеры ненадёжного обобщения? Почему кажется, что люди способны к обобщению гораздо лучше? А что, если бы обобщение у ИИ стало намного лучше? Что произошло бы тогда? Каков был бы эффект? Но на эти вопросы пока нет ответов.

А как вообще думать о том, что такое хороший исход для ИИИ? Потому что вы обрисовали, как ИИ может развиваться. У нас будут эти агенты с непрерывным обучением и станет очень мощным. Возможно, будет много разных и что вы думаете о множестве интеллектов с вычислительной мощностью в целый континент, который находится рядом с нами? Насколько это опасно? Как сделать это менее опасным? И как сделать это так, чтобы сохранить равновесие в мире, где могут существовать несогласованные и излонамеренные игроки? Одна из причин, почему мне нравится идея Ии, которая заботится о разумной жизни, знаете, мы можем спорить, хорошо это или плохо, но если первые эн таких сверхмощных систем действительно будут заботиться, ну, любить человечество или что-то в этом духе, заботиться о разумной жизни, очевидно, этого тоже нужно достичь, этого нужно добиться. Так вот, если это будет достигнуто в первых Н-системах, то я вижу, как всё может идти хорошо, по крайней мере, какое-то время. А дальше возникает вопрос: что будет в долгосрочной перспективе? Как достичь долгосрочного равновесия? Я думаю, что здесь тоже есть ответ. Мне этот ответ не нравится, но его нужно рассмотреть. В долгосрочной перспективе вы можете сказать: "Хорошо, в мире, где существуют мощные и краткосрочной перспективе, у вас может быть всеобщий высокий доход. И у вас всё хорошо, но мы знаем, что говорят буддисты. Перемены естественная константа, так что всё меняется". есть какая-то правиятельственная политическая структура, и она меняется, потому что у этих вещей есть срок годности, знаете, появляется какая-то новая форма правления, она функционирует, а через какое-то время перестаёт. И это мы видим постоянно. И поэтому я думаю, что для долгосрочного равновесия один из подходов. Можно сказать: "Ладно, может быть, у каждого человека будет свой и который будет выполнять его волю. И это хорошо". Если бы это можно было поддерживать бесконечно, это было бы верно. Но минус здесь в том, хорошо и идёт, и зарабатывает деньги для человека, отстаивает его интересы в политической сфере и, может быть, потом пишет короткий отчёт, мол, вот что я сделал, вот какова ситуация. А человек говорит: "Отлично, продолжай". Но человек больше не является частью процесса. И тогда можно сказать, что это шаткое положение. Но я сразу оговорюсь, мне не нравится это решение, но это решение. И решение заключается в том, чтобы люди сами стали отчасти и с помощью своего рода п++, потому что в результате произойдёт вот что. Теперь, когда и что-то понимает, мы тоже это понимаем, потому что понимание передаётся целиком, напрямую. И теперь, если и находится в какой-то ситуации, то и вы сами полностью вовлечены в эту ситуацию. Я думаю, это и есть ответ на вопрос о равновесии. Интересно, тот факт, что эмоции, которые развились миллионы, а во многих случаях миллиарды лет назад, в совершенно другой среде, до сих пор так сильно управляют нашими действиями. Не является ли это примером успешного согласования? Поясню, что я имею в виду. У ствола мозга есть, не знаю, точнее ли назвать это функцией ценности или функцией вознаграждения, но у ствола мозга есть директива, которая гласит: "Спаривайся с тем, кто более успешен". Кора головного мозга - это та часть, которая понимает, что значит успех в современном контексте. Но ствол мозга способен согласовать кору и сказать: "Каким бы ты не видела успех, а я недостаточно умён, чтобы понять, что это такое, ты всё равно будешь выполнять эту директиву". Я думаю, да. Но мне кажется, здесь есть более общий момент. На самом деле это настоящая загадка. Как мозг кодирует желание высокого уровня. Простите, как эволюция Довольно просто понять, как эволюция наделила нас желанием еды, которая хорошо пахнет, потому что запах - это химия. Так что просто преследуй этот химический сигнал. Очень легко представить, как эволюция делает такое. Но эволюция также наделила нас всеми этими социальными желаниями. Например, нам действительно важно, чтобы общество воспринимало нас позитивно. Нам важен хороший статус. Мы все эти социальные интуиции, которые у нас есть, я твёрдо чувствую, что они в нас зашиты. И я не знаю, как эволюция это сделала, потому что это высокоуровневая концепция, представленная в мозге. То, что люди думают, скажем, вас волнует какой-то социальный аспект. Это не низкоуровневый сигнал вроде запаха. Это не что-то, для чего существует отдельный сенсор. Мозгу нужно проделать огромную работу по обработке, чтобы собрать воедино множество битов информации и понять, что происходит в социальном плане. И каким-то образом эволюция сказала: "Вот о чём тебе следует заботиться". Как она это сделала? и сделала быстро, потому что я думаю, что все эти сложные социальные вещи, которые нас волнуют, они развились довольно недавно, так что эволюции было легко захардкодить это высокоуровневое желание. И я утверждаю, или, по крайней мере, скажу, что мне неизвестны хорошие гипотезы о том, как это сделано. Я крутил в голове несколько идей, но ни одна из них, ни одна из них меня не удовлетворяет. Да, и что особенно впечатляет, так это то, что это желание, которое вы усвоили в течение жизни. Ваш мозг разумен, и это имеет смысл. Почему мы способны усваивать разумные желания? Но вы говорите, может, это не совсем ваша мысль, но можно понять так. Желание встроено в геном, а геном неразумен, так но он каким-то образом способен, вы каким-то образом способны описать эту особенность, которая требует даже неясно, как её определить, и вы можете заложить её в гены. Да, по сути, или я, возможно, сформулирую иначе. Если вы подумаете об инструментах, доступных геному, он говорит: "Хорошо, вот рецепт для создания мозга". И вы можете сказать: "Вот рецепт для соединения дофаминовых нейронов", скажем, с сенсором запаха. И если запах хороший, вы хотите это съесть. Я могу представить, как геном это делает. Я утверждаю, что труднее вообразить. Труднее вообразить, как геном говорит: "Ты должен заботиться о неком сложном вычислении, которое выполняет весь твой мозг или больше его часть". Вот всё, что я утверждаю. Я размышлял о том, как это могло бы быть сделано. Позвольте мне предложить гипотезу, и я объясню, почему она, вероятно, не верна. Итак, гипотеза такова: у мозга есть определённые области. Вы знаете эти области мозга. У нас есть кора. Да, у неё есть все эти области. И кора однородна, но области коры и нейроны в них в основном взаимодействуют с ближайшими соседями. Этим и объясняется наличие областей мозга. Потому что если вы хотите обрабатывать речь, все нейроны, занимающиеся речью, должны взаимодействовать друг с другом. А поскольку нейроны по большей части могут говорить только с ближлежащими соседями, это должна быть область. И все эти области в основном расположены в одном и том же месте у разных людей. Так что, возможно, эволюция буквально встроила локацию в мозг. То есть она говорит: "О, когда когда, скажем, GPS мозга, координаты такие-то срабатывают, вот о чём тебе следует заботиться. Может быть, эволюция сделала так, потому что это соответствовало бы её инструментарию. " Да. Хотя есть примеры, когда, например, у людей, родившихся слепыми, эта область коры адаптируется для другого чувства. И я не знаю точно, но я бы удивился, если бы желания или функции вознаграждения, которые требуют визуального сигнала, перестали бы работать. Например, если у вас больше нет зрения, можете ли вы по-прежнему испытывать желание, чтобы люди вокруг вас хорошо к вам относились и так далее. Хотя обычно для этого также используются визуальные сигналы. Я на самом деле полностью с этим согласен, но думаю, что есть ещё более сильный контраргумент против этой теории. Если подумать о людях, которым в детстве удаляют половину мозга, у них по-прежнему сохраняются все области мозга, но они каким-то образом перемещаются только в одно полушарие. Это говорит о том, что локация областей мозга не зафиксирована, так что теория не верна. Было бы здорово, если бы она была верна, но это не так. Так что я думаю, что это интересная загадка. Дело в том, что каким-то образом эволюция смогла наделить нас способностью оченьочень надёжно заботиться о социальных вещах. И даже люди со всевозможными странными психическими заболеваниями, нарушениями и эмоциональными проблемами, как правило, тоже об этом заботятся. А что SSI планирует делать по-другому? Итак, предположительно, ваш план состоит в том, чтобы стать одной из компаний лидеров, когда наступит этот очень важный период. И у вас есть идеи, как сделать так, чтобы сверхразумный интеллект пошёл на пользу. Но другие компании будут пробовать свои идеи. И что же отличает подход SSI? Я бы описал это так. Есть несколько идей, которые я считаю многообещающими, и я хочу их исследовать, чтобы увидеть, действительно ли они таковы. Это очень просто. Это попытка. Я думаю, что если эти идеи окажутся верными, эти идеи, которые мы обсуждали, касающиеся понимания обобщения, если они окажутся верными, то, я думаю, у нас будет что-то стоящее. Окажутся ли они верными? Мы ведём исследования. Мы строгая исследовательская компания. Мы добиваемся прогресса. За последний год мы добились довольно хороших успехов, но нам нужно продолжать двигаться вперёд, проводить больше исследований. Вот как я это вижу. Я вижу это как попытку стать попытку быть голосом и участником этого процесса. Люди спрашивали: "Ваш соучредитель и бывший генеральный директор недавно ушёл в мета, и люди спрашивали: "Если бы было много прорывов, то такой уход кажется маловероятным. Что вы на это ответите? " Да, я просто напомню о нескольких фактах, которые, возможно, были забыты. Я думаю, что эти факты, которые делают контекст, объясняют ситуацию. Контекст заключается в том, что мы привлекали средства при оценке в 32 млрд долларов, а затем пришла мета и предложила нас приобрести. И я сказал: "Нет". Но мой бывший соучредитель в некотором смысле сказал: "Да". И в результате он также смог получить много ликвидности в ближайшей перспективе. И он был единственным человеком из СС, который присоединился к МЕТА. Похоже, план ССИ состоит в том, чтобы быть компанией, которая будет в авангарде, когда человечество достигнет этого очень важного периода, когда у нас будет сверхразумный интеллект, и у вас есть идеи, как сделать так, чтобы сверхразумный интеллект пошёл на пользу. И что же отличает подход SSI к обеспечению благополучного развития сверхразума? Главное, что отличает SSI, это её технический подход. У нас другой технический подход, который, я считаю, заслуживает внимания, и мы его придерживаемся. Я утверждаю, что в итоге произойдёт конвергенция стратегии. Я думаю, что наступит схождение стратегии, когда в какой-то момент по мере того, как Ии будет становиться мощнее, всем станет более или менее ясно, какой должна быть стратегия. И она должна заключаться в следующем. Да, вам нужно найти какой-то способ договориться друг с другом, и вы хотите, чтобы ваш первый настоящий, реальный, сверхразумный и был согласован и каким-то образом, ну, заботился о разумной жизни, заботился о людях, был демократичным, что-то из этого или их комбинация. Я думаю, что это то условие, к которому должны стремиться все. И это то, к чему стремится SSI. И я думаю, что на этот раз, если уже не сейчас, все остальные компании поймут, что они стремятся к тому же, и мы увидим. Я думаю, что мир действительно изменится, когда Ии станет мощнее. Я думаю, что многие из этих прогнозов, то есть я думаю, что всё будет совершенно по-другому и люди будут действовать совершенно иначе, говоря о прогнозах. Каковы ваши прогнозы для этой системы, которую вы описываете, которая может учиться так же, как человек и, следовательно, стать сверхразумной? Кажется, от 5 до 20, 5-20 лет. Я просто хочу понять, как вы видите развитие мира. Получается, у нас есть ещё пара лет, когда эти другие компании продолжат текущий подход, и он застопорится. Означает ли застопориться в данном случае, что их выручка не превысит нескольких сотен миллиардов или что, по вашему мнению означает застопориться? Я думаю, да, он может застопориться. И я думаю, застопоривание будет выглядеть очень похоже для всех разных компаний. Что-то вроде этого я не уверен, потому что я думаю, даже застопорившись, я думаю, эти компании смогут получить грандиозный доход. Может быть, не прибыль, потому что им придётся усердно работать, чтобы отличиться друг от друга, но доход определённо. Но в вашей модели есть нечто, что подразумевает, когда появится правильное решение, произойдёт конвергенция между всеми компаниями. И мне интересно, почему вы так думаете? Ну, я больше говорил о конвергенции в их крупнейших стратегиях. Я думаю, что, вероятно, произойдёт и окончательная конвергенция в техническом подходе, но я намекал на конвергенцию в крупнейшей стратегии. То есть, что именно нужно делать? Я просто хочу лучше

понять, как вы видите разворачивание будущего. Итак, в настоящее время у нас есть эти разные компании, и вы ожидаете, что их подход будет продолжать приносить доход, но не приведёт к появлению этого человекоподобного ученика. Итак, теперь у нас есть эти разные ответвления компании. Есть машин, есть куча других лабораторий. И, возможно, одна из них найдёт правильный подход, но затем выпуск их продукта прояснит другим людям, как это делать. Я думаю, не будет ясно, как именно это делать, но будет ясно, что что-то другое возможно. Верно? И это информация. И думаю, люди тогда будут пытаться понять, как это работает. Однако я считаю, что один из моментов, который, по-моему, здесь не затрагивается, не обсуждается, заключается в том, что с каждым увеличением возможностей и, я думаю, произойдут некие изменения, хотя я не знаю, какие именно, в том, как всё будет делаться. Так что я думаю, это будет важно, но я не могу точно сказать, что именно и как. Как по умолчанию вы ожидали бы, что компания, у которой есть эта модель, компания, владеющая этой моделью, получит все эти преимущества, потому что у неё есть модель, которая учится, обладает навыками и знаниями, которые она накапливает в мире. Какая причина считать, что выгоды от этого будут широко распределены? Они просто достанутся той модельной компании, которая первой запустит этот цикл непрерывного обучения. Я думаю, что эмпирически произойдёт вот что. Вот что, по моему мнению, произойдёт. Во-первых, я думаю, что эмпирически, если посмотреть, как развивались события с и в прошлом, одна компания совершала прорыв, а другая компания суетилась и через некоторое время создавала нечто похожее. И они начинали конкурировать на рынке, сбивать цены. И поэтому я думаю, что с точки зрения рынка там тоже произойдёт что-то подобное. Даже если кто-то Ладно, кстати, мы говорим о хорошем мире. Какой он хороший мир? Хороший мир. Это мир, где у нас есть эти мощные человекоподобные ученики, которые ещё и И, кстати, может быть, есть ещё одна вещь, которую мы не обсудили в отношении спецификации сверхразумного Ии, которую, я думаю, стоит рассмотреть. Это то, что вы делаете его узконаправленным. Он может быть полезным и узконаправленным одновременно. Таким образом, у вас может быть много узконаправленных сверхразумных. Но предположим, что у вас их много, и у вас есть какая-то компания, которая получает от этого большую прибыль. А затем приходит другая компания и начинает конкурировать, и конкуренция будет работать через специализацию. Я думаю, что произойдёт следующее. Конкуренция. Конкуренция любит специализацию, и вы видите это на рынке, и в эволюции. Так что у вас будет много разных ниш, и компаний, которые будут занимать разные ниши в таком мире. В таком мире, где вы можете сказать: "Да, одна е компания действительно значительно лучше в некоторой области очень сложной экономической деятельности, а другая компания лучше в другой области, а третья компания очень хороша в судебных разбирательствах. Но разве это не противоречит тому, что подразумевает человеческое обучение? что и может учиться способен, но у вас накопленное обучение, у вас большие инвестиции, вы потратили много вычислительных ресурсов, чтобы стать действительно хорошим, феноменальным в этом деле, а кто-то другой потратил огромное количество вычислительных ресурсов и огромный опыт, чтобы стать действительно хорошим в чём-то другом. Верно? Но теперь вы находитесь на этой высокой точке, и кто-то другой скажет: "Слушай, я не хочу начинать учить то, что вы уже выучили. Я полагаю, для этого потребовалось бы, чтобы множество разных компаний начали работать с человекоподобным агентом непрерывного обучения одновременно, чтобы они могли развивать разные ветви исследований. Но если одна компания, знаете, получит этого агента первый или получит ученика первой, тогда кажется, что, ну, знаете, просто подумайте о каждой работе в экономике. У вас есть ситуативное обучение. Каждая из них кажется выполнимой для ИИ. Да, это веский аргумент. Моя сильная интуиция подсказывает, что всё пойдёт не так. Моя сильная интуиция говорит, что да, аргумент утверждает, что будет так. Но моя сильная интуиция говорит, что так не будет. Это из серии, знаете, в теории нет разницы между теорией и практикой. А на практике есть. Я думаю, это будет один из таких случаев. Модели рекурсивного самосовершенствования у многих людей буквально явно заявляют, что у нас будет миллион ильи в сервере, которые будут приходить с разными идеями, и это приведёт к очень быстрому появлению сверхразума. Есть ли у вас интуитивное ощущение, насколько распараллеливаема та вещь, которую вы делаете? Какова выгода от создания копий Ильи? Я не знаю. Я думаю, что определённо будет уменьшение отдачи, потому что вы хотите людей, которые мыслят поразному, а не одинаково. Я думаю, что если бы это были буквальные копии меня, я не уверен, насколько большую дополнительную ценность вы бы получили. Я думаю, что Но почему так происходит, что если вы посмотрите на разные модели, выпущенные совершенно разными компаниями, обученные на, возможно, не пересекающихся наборах данных, поразительно, насколько похожи друг на друга большие языковые модели. Возможно, наборы данных не так уж не пересекаются, как кажется. Но есть ощущение, что даже если отдельный человек может быть менее продуктивным, чем будущие И, возможно, дело в том, что человеческие команды обладают большим разнообразием, чем могут обладать команды Ии. Но как нам вызвать осмысленное разнообразие среди ИИ? Я думаю, что простое повышение температуры приводит только к бессмыслице. Мне кажется, вам нужно что-то более похожее на то, что у разных учёных есть разные предубеждения или разные идеи. Причина, по которой разнообразия не было, по моему мнению, кроется в предварительном обучении. Все предварительно обученные модели по сути одинаковы, потому что они предварительно обучены на одних и тех же данных. А вот обучение с подкреплением и поставучение - это то, где начинает проявляться некоторая дифференциация, потому что разные люди придумывают разные методы Лучения. Я слышал, как вы раньше намекали на самообучение с помощью игры, как на способ либо получить данные, либо сопоставить агентов с другими агентами эквивалентного интеллекта, чтобы запустить обучение. Почему, по вашему мнению, нет публичных предложений о том, как такое мышление может работать с ЛМ? Я бы сказал, здесь можно сказать две вещи. Я бы сказал, что причина, по которой я считал самообучение с игрой интересным, заключается в том, что оно предполагало способ создания моделей, используя только вычислительные ресурсы. Без данных, верно? Если вы считаете, что данные являются основным узким местом, то использование только вычислений очень интересно. Вот что делает это интересным. Теперь дело в том, что самообучение с игрой, по крайней мере, в том виде, в каком оно использовалось в прошлом, когда агенты каким-то образом соревнуются друг с другом, хорошо только для развития определённого набора навыков. Оно слишком узконаправлено. Оно подходит только для переговоров, конфликтов, определённых социальных навыков, стратегического планирования и тому подобного. Если вам важны эти навыки, то самообучение с игрой будет полезным. На самом деле, я думаю, что самообучение с игрой нашло своё применение, но просто в другой форме. Например, такие вещи, как дебаты, доказательства и верификатор, когда у вас есть своего рода лм в качестве судьи, который также заинтересован в поиске ошибок в вашей работе, вы можете сказать, что это не совсем самообучение с игрой, но это связанная состязательная схема, которую люди используют, как я полагаю. И на самом деле обучение с игрой является примером, частным случаем, более общей, скажем так, конкуренции между агентами. Естественная реакция на конкуренцию - это попытка отличиться. И поэтому, если вы поместите нескольких агентов и скажете им, например, вы все должны работать над какой-то проблемой, и вы агент, и вы проверяете, над чем работают все остальные, вы скажете: "Ну, если они уже выбрали этот подход, неясно, стоит ли мне его преследовать. Мне следует выбрать что-то другое, дифференцированное. И я думаю, что нечто подобное также сможет создать стимул для разнообразия подходов. Последний вопрос. Что такое исследовательский вкус? Вас, очевидно, считают человеком с лучшим вкусом в проведении исследований в области и в мире. Вы были соавтором многих крупнейших событий, которые произошли в истории глубокого обучения от Alexnet до GPT3 и так далее. Как вы характеризуете, как вы приходите к этим идеям? Я могу ответить, я могу прокомментировать это относительно себя. Я думаю, разные люди делают это по-разному. Но одна вещь, которая лично мной руководит, это эстетика того, каким должен быть и основанная на размышлениях о том, каковы люди, но размышлениях правильных. Очень легко думать о людях неправильно. Но что значит думать о людях правильно? Я приведу вам несколько примеров. Идея искусственного нейрона непосредственно вдохновлена мозгом. И это отличная идея. Почему? Потому что вы говорите: "Конечно, у мозга есть все эти разные органы. У него есть складки, но складки, вероятно, не имеют значения. " Почему мы думаем, что нейроны имеют значение? Потому что их много. Это кажется правильным. Итак, вам нужен нейрон. Вам нужно какое-то локальное правило обучения, которое будет менять связи между нейронами. Верно. Кажется правдоподобным, что мозг делает это. Идея распределённого представления. Идея, что мозг реагирует на опыт. Наша нейронная сеть должна учиться на опыте, а не на реакции. Мозг учится на опыте. Нейронная сеть должна учиться на опыте. И вы как бы спрашиваете себя, является ли что-то фундаментальным или не фундаментальным, как всё должно быть. Я думаю, что всё это довольно сильно направляло меня. своего рода размышление с разных сторон и поиск почти красоты, простоты, элегантности. Нет места уродству, только красота, простота, элегантность, правильное вдохновение от мозга. И все эти вещи должны присутствовать одновременно. И чем больше они присутствуют, тем более уверенным вы можете быть в нисходящем убеждении. И тогда нисходящее убеждение - это то, что поддерживает вас, когда эксперименты вам противоречат. Потому что если вы всегда доверяете только данным, ну, иногда вы можете делать правильную вещь, но есть ошибка, но вы не знаете, что есть ошибка. Как вы можете сказать, что есть ошибка? Как вы узнаете, следует ли вам продолжать отладку или сделать вывод, что это неправильное направление? Это нисходящее убеждение, но вы можете сказать: "Всё должно быть именно так. Что-то вроде этого должно работать. Следовательно, мы должны продолжать". Это нисходящее убеждение, и оно основано на этой многогранной красоте и вдохновении мозгом. Хорошо, на этом закончим. Спасибо вам большое. — Да, спасибо. Было классно. Да, мне понравилось. Мне тоже.