Учёные в Давосе 2026: жесткий спор о безопасности и AGI

Предпосылка такова: большая часть прогресса в Ии до сих пор достигалась за счёт масштабирования. Больше данных, больше вычислительных ресурсов, и это по-прежнему полезно. Но есть и другие более эффективные подходы. Поэтому я попрошу каждого из наших трёх замечательных участников панели немного рассказать о том, над чем они сейчас работают. К тому времени, как мы с этим закончим, к нам присоединится наш четвёртый участник Ювальной Харари, и он попробует включиться в разговор. Итак, Йошуа, вы работаете над учёными, что звучит невероятно. Объясните, что это такое и чем это отличается от предыдущих парадигмы и спасибо. То, что мотивирует учёных и, а также новую некоммерческую организацию, которую я создал под названием Low Zero, это то, как этот подход решает вопрос надёжности и систем, которые мы создаём. особенно агентных систем и то, как он справляется с проблемой того, что текущие и системы могут иметь цели и подцели, которые мы не выбирали и которые могут идти в разрез с нашими инструкциями. Это уже наблюдалось и стало ещё более заметным за последний год в ряде экспериментальных исследований, а также при реальном внедрении, например, в виде подхолимства. Это очень тревожная проблема, если смотреть на поведение, связанное с самосохранением, когда и не хотят быть отключёнными и пытаются уклоняться от нашего надзора, готовы делать такие вещи, как шантаж, чтобы выйти из-под нашего контроля. Даже в вопросах предотвращения злоупотреблений компании устанавливают мониторы и защитные ограничения, но по каким-то причинам это всё равно работает недостаточно хорошо. И суть нашей гипотезы в том, что мы можем изменить способ обучения. И архитектура может оставаться той же, но цель обучения и то, как мы подаём данные, будут такими, чтобы мы получали гарантии того, что система будет честной в вероятном смысле. Хорошо. И как это сделать? В основе идеи лежит вдохновение не в том, чтобы имитировать людей, а то, к чему на идеальном уровне стремится наука. Подумайте о законах физики. Законы физики можно превратить в предсказание, и эти предсказания будут честными. Им всё равно, поможет ли это одному человеку или другому. И оказывается, что можно определить такие цели обучения для нейросетей, чтобы они сходились к тому, что нечто вроде научных законов предсказывало бы. И тогда мы получаем нечто, на что можем полагаться. Например, чтобы создавать технические защитные рамки вокруг агентов, которым мы не доверяем. Если агент предлагает какое-то действие, то для каждого предложенного действия честный предсказатель может сказать нам, есть ли у этого действия некоторая вероятность причинения определённого вида вреда. И, разумеется, можно наложить вета на это действие. Но тогда вам всё равно придётся задавать некоторый порог, при котором действие будет выполняться. Если вероятность вреда больше, чем один из десяти или один из тысячи, где бы вы не поставили эту границу, всё равно остаётся человеческий фактор. Всё равно существует потенциальный вред. Когда мы строим атомную электростанцию, нам тоже приходится решать, где мы ставим этот порог. Верно? И для атомных электростанций может быть, например, один раз в миллион лет, что произойдёт что-то плохое, потому что последствия настолько серьёзные, в зависимости от типа вреда, который мы пытаемся предотвратить, именно общество, а не должно решать, где мы устанавливаем эти пороги. Мне всегда казалось интересным, что для большинства вещей мы готовы принять, например, шанс оди к 10 млнам, что атомная станция взорвётся. При этом мы продолжаем развивать ей, хотя общие прогнозы о том, что он может уничтожить человечество, составляют около 10%. Юджин, почему бы тебе не рассказать немного о своей работе в области непрерывного обучения? Хорошо, давайте я немного отступлю назад, прежде чем говорить о непрерывном обучении. Знаете, сейчас и - это невероятно впечатляюще

но это немного рваный интеллект. в том смысле, что он потрясающе справляется с экзаменами для юристов и с очень сложными задачами международных математических олимпиад, и при этом вы не станете полагаться на него, например, при заполнении налоговой декларации или даже при выполнении каких-то важных транзакций, потому что он может не суметь нажать правильную кнопку на вашем компьютере. И почему так? Потому что сейчас способ обучения ИИ, ЛМ и общего ИИ слишком сильно зависит от данных. И это одноразовое обучение. Потом вы его разворачиваете, и он может что-то сделать, а может и нет. Итак, вот несколько действительно важных вещей, которые, на мой взгляд, нам нужно решить, чтобы перейти к следующему уровню интеллекта. Во-первых, непрерывное обучение. В машинном обучении это разделение обучения и тестирования. Смешивать их почти грех. Но человеческий интеллект устроен не так. С первого дня, когда рождается ребёнок, он уже находится в режиме развёртывания. Ему нужно разбираться в мире. Это реальная жизнь. Люди могут учиться во время развёртывания. И нам нужно каким-то образом добиться того, чтобы Ии мог учиться непрерывно во время тестирования, то есть обучение во время теста. Именно над этим я работаю. Ещё один очень важный аспект. Одна из ключевых причин, по которым и иногда не надёжен и по которым мы должны беспокоиться о безопасности, заключается в том, что, например, в сценарии со скрепками, когда вы просите произвести как можно больше скрепок, он может уничтожить всех нас, чтобы произвести ещё одну скрепку, чтобы избежать таких глупых, но опасных для людей ситуаций. и должен действительно понимать, как устроен мир, ради самого понимания того, как устроен мир, а не просто пассивно усваивать любые данные, которые ему дают. Я считаю, что фундаментальная проблема здесь в том, что ЛМ обучаются пассивно, а не проактивно. Они на самом деле не думают самостоятельно. Они просто пытаются запомнить весь текст, который им дали, и решить все математические задачи, которые им дали. В отличие от людей, которые проявляют любопытство к тому, как устроен мир, и пытаются думать сами. И, наконец, они слишком сильно зависят от данных. Там, где данных много, всё работает. Там, где данные скудны, ничего не работает. Так всё устроено сейчас. А безопасность даётся тяжело, потому что нам приходится создавать все данные для безопасности. И знаете, имитация целевых атак и взломы И - это не те области, где существует много данных. Поэтому, чтобы решить эту проблему, нам нужна совершенно иная парадигма обучения, где речь идёт о том, чтобы действительно думать самостоятельно, фактически обменивая объём данных на вычисление, то есть обучение с гораздо меньшим количеством данных, но с гораздо большими ментальными усилиями. Юджин, но если у вас есть непрерывное обучение, разве это не открывает целый новый спектр проблем? Сейчас вы создаёте модель, проводите кучу тестов, со временем дорабатываете её, через несколько месяцев делаете это снова. А если она обучается непрерывно, как это не превращается просто в нечто бесконечное? То есть если она учится на каждом ответе, получает обратную связь и так далее. Но если у вас, знаете, несколько миллиардов людей используют модель в любой момент, и она постоянно учится, разве это не открывает совершенно новые векторы возможностей, но и совершенно новые векторы проблем? И да, и нет. То есть теоретически в долгосрочной перспективе, да, но на мой взгляд, это пока очень далеко в том смысле, что люди тоже могут постоянно учиться, но есть предел тому, насколько далеко мы реально можем зайти. Но есть и другая проблема. После того, как система достаточно эволюционирует через это непрерывное обучение, все тесты безопасности, которые мы проводили раньше, могут больше не быть валидными. Так что, я думаю, здесь есть реальный риск для безопасности, на который вы указываете. Да. Поэтому моя надежда в том, что если и правильно обучать с самого первого дня, чтобы он действительно понимал человеческие нормы и ценности, не только решение математических задач, но и человеческие нормы и ценности, чтобы он строил своё мировоззрение и всё остальное поверх этого и затем вёл себя исходя из этого. И тогда как вы справляетесь со взломом системы вознаграждений? Иными словами, даже если он понимает человеческие ценности, он всё равно может оптимизировать что-то, что не совсем соответствует тому, что мы хотим. Взлом системы вознаграждений означает, что мы просто полагаемся на обучение с подкреплением. И это всё, что у нас есть. Нет, этого не должно быть достаточно. Ни один человек не оптимизирует одну награду всю свою жизнь. У нас так много разных целей, и мы идём на определённые жертвы. Я могу хотеть сделать что-то, но могу этого не делать, потому что я уважаю других людей. Так что Ии должен быть точно таким же. Он должен понимать, что в реальной человеческой жизни на нас влияют ценности и что ему нужно уметь идти на компромиссы так, чтобы не нарушать законы, не причинять вред людям. И когда не ясно, что делать, а всегда бывают ситуации, в которых не ясно, каков правильный ответ. Он должен советоваться с людьми и передавать принятие решений людям. Хорошо, мы переходим к Эрику. Эрик, вы недавно создали большую новую модель K2 Think. У вас там целая серия инноваций. Объясните, что именно вы сделали нового и чем это отличается от впечатляющей работы, над которой сейчас работают Юджин и Йошуа. Как только что сказал Ник, мы в MBCI одни из немногих. Возможно, единственный университет, который действительно строит такие базовые модели с нуля. С нуля - это значит, что вы собираете собственные данные, реализуете собственные алгоритмы, строитеные машины, а затем обучаете всё сверху до низу и потом разворачивайте и обслуживайте весь процесс. Я считаю, что для академической среды важно быть таким игроком, чтобы мы могли делиться знаниями с общественностью, чтобы люди могли изучать многие нюансы построения таких систем, а также понимать вопросы безопасности и рисков. На самом деле, я хочу сказать, что это ни в коем случае не просто, это очень-очень сложно. Более того, я почти готов сказать, что и системы, и программное обеспечение на самом деле очень уязвимы. Они не очень устойчивые, и они не очень мощные. Уберите одну машину из кластера, и вся система уже может упасть. Сейчас то, что я строю, направлено на улучшение производительности. Ии, возможно, в дополнение к вашему вопросу прокомментировать, что мы вообще понимаем под интеллектом и как его можно разложить на составляющее. Потому что если я скажу своему инженеру: "Эй, сделай мне программное обеспечение, которое будет интеллектуальным", он не поймёт, что именно делать. У очень многих людей разные представления об интеллекте. Есть лауреаты Нобелевской премии по экономике, которые могут плохо разбираться в анализе акций. Их жена может делать это лучше. Это, на самом деле, отражает разные уровни интеллекта и разные типы полезности. На мой взгляд, то, что сегодня делают - это ограниченная форма интеллекта. Я бы назвал это, возможно, тестовым интеллектом или, может быть, визуальным интеллектом, который существует на листе бумаги в виде языка или, возможно, видео. Но это скорее книжные знания. Если же вы хотите применить это в реальных действиях, я неделю назад ходил в поход в Альпах в Австрии. Я использовал GPT, я использовал Google. У меня были все путеводители и даже Google Maps в руке. Но когда вы идёте в горы, вы всё равно не можете полагаться только на бумагу. Вам нужно полагаться на себя. возникают все эти неожиданные ситуации. Слишком глубокий снег, плохая погода, вы больше не видите тропу. Что вы делаете? Это уже требует нового типа интеллекта, которого сейчас не существует. Того, что мы называем физическим интеллектом. И именно здесь люди говорят о мировых моделях. Мировая модель - это понимание мира, способность генерировать планы, стратегии и последовательности действий целенаправленно, чтобы вы могли это выполнить и действительно развернуть в реальности. а также способность

адаптироваться к меняющейся среде. Но даже это не обязательно самое умное, что мы можем себе представить, потому что следующим уровнем за пределами физического интеллекта я бы назвал социальный интеллект. Сейчас мы фактически не видим, чтобы два ЛМ по-настоящему сотрудничали. Они не понимают друг друга так, как это делаем мы, люди. Нет определения я. Где моя граница? Где твоя граница? Как мы можем разделить работу на двух или на 100, чтобы разбить её на части? Поэтому вы никогда не сможете попросить ЛLМ или нашу модель управлять компанией или управлять страной, потому что они не понимают такие нюансы интерактивного поведения. Я бы также добавил последний уровень интеллекта, который находится ещё дальше. За неимением лучшего названия я называю его философским интеллектом. Это когда ЛМ или модели ИИ сами проявляют любопытство к исследованию мира. ищут данные, учатся и затем объясняют без того, чтобы их попросили объяснить. Именно это, вероятно, очень сильно беспокоит Йошуа, потому что здесь вы начинаете видеть определённые признаки идентичности и агентности. Я хочу сказать, что мы пока не находимся на этом этапе. Мы очень далеки от этого. Даже текущие физические модели, мировые модели, очень примитивны, потому что они в основном опираются на неправильную архитектуру, которая является прямым потомком ЛМ. Поэтому моя текущая работа заключается в разработке новых архитектур, которые по-другому представляют данные, выполняют рассуждения и также обучаются, используя другие идеи. Люди, возможно, слышали об архитектуре Яна Ликуна. Это архитектура, лежащая в основе многих современных мировых моделей. У нас есть модель под названием JLP, которая делает следующее. Во-первых, ваше представление знаний должно быть более богатым. Оно должно включать как непрерывные, так и символические сигналы, чтобы можно было рассуждать на разных уровнях гранулярности. Во-вторых, вам нужна правильная архитектура, которая может продвинуть вас очень далеко. Те, кто играл ссора, вероятно, имели такой опыт. Сколько секунд видео она может сгенерировать? может быть 10, может минуту. Это не потому, что у них заканчивается память. Это потому, что, выходя за пределы 1ной минуты или даже 10 секунд, у вас пропадает способность отслеживать согласованность, рассуждать последовательно. На самом деле, вы можете провести очень интересный эксперимент. Просто попросите Сора или, может быть, GI сгенерировать вам круговой обзор на 360° вокруг вас, а затем вернуться к нулевому градусу. Увидите ли вы то же самое или нет, это не гарантировано. Это уже показывает недостаток согласованности в системе, а затем представление с состоянием и также такие вещи, как парадигма непрерывного обучения - это проблема. Прямо сейчас все модели работают в том, что мы называем пассивным обучением. Вы подаёте данные и затем модель обучается на этих данных. В машинном обучении мы раньше знали новую парадигму под названием активное обучение или проактивное обучение, где система в идеале должна уметь определять, где ей нужно учиться больше, запрашивая дополнительные данные. Но мы пока не на этом этапе, не на уровне, когда система сама выходит, ищет данные и создаёт данные для себя. Так что, на мой взгляд, и на данный момент всё ещё находится в очень примитивной стадии. Нам ещё очень много нужно сделать, чтобы он действительно заработал как следует. Подпишись прямо сейчас на мой Telegram-канал по ссылке в описании. Я подготовил для тебя топ-три материала, которые, на мой взгляд, должен знать каждый. Первое, карта сотни топовых AI стартапов - это будущее на одной картинке. Второе- прогноз от инсайдера из Openi, который ещё до появления чат GPT предсказал всё, что сейчас происходит с неронками. И вот в этом году он выпустил новый прогноз до двадцать седьмого года. И третье, самое мощное - это мой разбор эссе основателя компании Anроopic, который по сути второй человек в мире искусственного интеллекта. Он по полочкам разложил, что будет происходить в мире ближайшие 5 лет. И главное, каким будет универсальный AI, которого все так боятся или ждут. Переходи по ссылке в описании. — Что ж, Юваль - это тот самый красивый мужчина в конце панели Юваль Харари. Он опоздал по той причине, по которой в Давайсе всё сложно. Геополитика. Очевидно, Макрон задержался, и это сдвинуло его панель. Юваль, о чём мы говорили, это разные пути, новые исследования, которые ведёт Йошуа, которые ведёт Юджин. Ты как раз зашёл на обсуждение того, что делает Эрик. Много разных перспективных способов ускорить развитие. И я задам тебе философский вопрос. Как ты думаешь, когда мы ищем новые модели и стоит ли нам пытаться делать их более похожими на человеческий разум или менее похожими? Ты очень красиво писал об этом, но я давно не слышал, чтобы ты говорил об этом вслух. Нет, я думаю, что это полностью отличается от человеческого разума. Весь вопрос в том, когда и достигнет того же уровня, что и человеческий интеллект - это абсурд. Это как спрашивать, когда самолёты наконец станут как птицы. Никогда. Они никогда не будут как птицы. И они не должны быть как птицы. Они могут делать множество вещей, которые птицы не могут. И то же самое будет с и людьми. Они не находятся на одной и той же траектории вместе с нами. Они находятся на совершенно другой траектории к лучшему или к худшему. Я очень рад слышать, что пока что и опять же я не уверен, в какой степени на это можно полагаться и как долго это будет продолжаться. Но тот факт, что Ии, например, пока не могут сотрудничать, это замечательная новость. Я надеюсь, что это правда. Я надеюсь, что так и останется, иначе мы окажемся в очень-очень серьёзной беде. Для меня урок из истории об интеллекте заключается в том, что вам не нужно много интеллекта, чтобы изменить мир и потенциально устроить хаос. Вы можете изменить мир, обладая относительно небольшим интеллектом. И ещё одна вещь, которую мы узнали из человеческой истории об интеллекте. Я не имею в виду никого конкретного. И ещё одна вещь, которую мы узнали об интеллекте. заключается в том, что самые интеллектуальные существа на планете могут также быть самыми заблуждающимися. Люди на сегодняшний день самые интеллектуальные существа на планете и одновременно самые заблуждающиеся. Мы верим в абсурдные вещи, в которые ни один шимпанзе, ни собака, ни свинья никогда бы не поверили. Например, что если ты пойдёшь и убьёшь других представителей своего вида, то после смерти попадёшь в рай будешь жить там в блаженстве вечно. благодаря тому замечательному поступку, что ты убил этих других представителей своего вида. Ни один шимпанзе в это не поверит, но многие люди верят, по крайней мере, там, откуда я родом.

И когда я говорю, что можно изменить мир, обладая сравнительно небольшим интеллектом, люди уже проделали за Иишую часть тяжёлой работы. Если, например, сбросить ИИ посреди африканской саванны и сказать ему: "Захвати мир! ", он не сможет. Как он это сделает? Это невозможно. Но если сначала у вас есть эти обезьяны, которые построили все эти бюрократические системы, например, финансовую систему, а затем вы внедряете и в уже существующую финансовую систему и говорите ему: "Хорошо, теперь возьми это под контроль". Это намного проще. Финансовой системе не нужны моторные навыки. Не нужно даже понимать физический мир. И может это понять. Финансовая система - идеальная площадка для Иинформационная среда. Идеальное, чтобы обучать ИИ зарабатывать миллион долларов. Создайте миллионы и дайте им стартовый капитал и посмотрим, сможете ли вы заработать миллион долларов. А если у вас будет несколько и, которым это удалось, просто скопируйте их. Что произойдёт с миром, если всё большая часть финансовой системы будет формироваться ИИ, которые, хотя и не могут пройтись по улице, умеют инвестировать деньги лучше, чем люди. Это очень-очень ограниченный интеллект. Но подумайте о социальных сетях. Социальные сети в какой-то степени управляются крайне примитивными и этими алгоритмами, которые контролируют нашу ленту новостей и так далее. Посмотрите, что они сделали за 10 лет. Мы создали человеческую систему медиа, а затем внедрили в неё и это информационная система, и они её захватили. и в значительной степени разрушили мир. Они не единственная причина нынешнего хаоса в мире. Но если подумать о том, что сделали чрезвычайно примитивные и внутрисозданные людьми системы медиа, то то, ну, я передам это Йошуа, потому что он, по сути, создавал и или работает над созданием и, которые уже были внедрены в финансовую систему. И как говорят, они не смогли бы её разрушить. Вот в чём зацепка. Ответь, ювалю. Я хочу добавить кое-что, возвращаясь к твоему первому вопросу о связи людей и Ии том, должны ли мы создавать ИИ по своему образу. Да, и действительно, они сильно отличаются от нас. Проблема в том, что мы с ними взаимодействуем, и многие люди взаимодействуют с ними сложным убеждением, что они похожи на нас. И чем умнее мы их делаем, тем больше будет казаться, что это так. И будут люди, которые захотят сделать их ещё более похожими на нас. Сначала в видеоформате, а потом, возможно, и в физической форме. Но неясно, хорошо ли это, потому что человечество выработало нормы ожидания и психологию, которые работают, потому что мы взаимодействуем с другими людьми. Но и на самом деле не люди. Например, они могут быть бессмертными. как только и создан. В принципе, вы можете просто скопировать его на большее количество компьютеров. И мы не можем делать это со своим мозгом, как Джеф Хинтон подчёркивал много раз. Есть множество других различий. Например, они могут общаться друг с другом в миллиард раз быстрее, чем мы можем общаться друг с другом или даже сами с собой. И поэтому возникает иллюзия, что мы строим машины, похожие на нас. Но это не так. И это опасная иллюзия, которая может привести нас к принятию неправильных решений. Частично проблема в самих учёных. За последние 40 лет, что я работаю в области Ии, во всём сообществе мы действительно брали за основу человеческий интеллект. Например, вы говорили о непрерывном обучении, потому что мы хорошо с этим справляемся, и мы видим, что этого не хватает и это нормально. Так двигались исследования. Но я думаю, нам также нужно думать о том, что произойдёт, когда всё это будет больше внедряться в общество и люди будут отчеловечивать ей и делать странные вещи. Это потрясающий вопрос. Давайте перейдём к теме, которая, как мне кажется, хорошо с этим связана, к архитектурным или фундаментальным вопросам, а именно к вопросу открытого исходного кода. Здесь, в Давосе, об этом всё больше говорят. Отчасти потому, что Европа осознаёт необходимость создавать противовес моделям США. Эрик, ты создаёшь open source модели. Юджин, у тебя есть сильная позиция по этому поводу. Йошуа, у тебя тоже есть сильная позиция. Юджин, давай начнём с тебя. Что ты думаешь о том, что было бы хорошо, если бы существовало гораздо больше open source моделей, которые мы все начали бы использовать так же активно, как и крупные базовые модели? Да, я люблю думать объс как о демократизации генеративного и, который является очень-очень мощным инструментом. И под демократизацией генеративного ИИ я имею в виду, что ИИ должен быть от людей, для людей и создан людьми и от людей, потому что он в значительной степени основан на данных из интернета, а это артефакт человеческого интеллекта. Он отражает наши ценности, он отражает наши знания. Кстати, ценности включают и ужасные ценности. То, что мы делаем друг с другом, это есть в интернете, и это подхватывает. Есть научно-фантастические фильмы, где Ии убивает всех людей. И в результате именно это ИИ и может воспроизводить, потому что это написано в интернете. И должен быть для людей в том смысле, что для всего человечества и для всех людей, а не только для некоторых людей, которые оказались у власти. Для меня это очень важно и должен быть действительно для всех людей. И, кстати, хуже, чем ИИ для некоторых людей - это ИИ для ИИИ или когда люди работают для ИИ, это ещё хуже. Очень важно думать о том, как мы строим и проектируем Иили проблемы, которые действительно могут сделать человечество лучше. Они просто увеличивали подписки и выигрывали в рейтингах.

И, наконец, Ии созданы людьми. Под этим я имею в виду, что Ии должен создаваться разными странами, не только частным сектором, но и государственным сектором, некоммерческими организациями и даже академическим сообществом. Причина, по которой я так думаю, в том, что сейчас я гражданка США, но раньше я была гражданкой Кореи. И это было бы замечательно, если бы мы знали, как создавать такие технологии даже в Корее или в других странах. вместо того, чтобы им приходилось просто полагаться на одну-две страны, которые предоставляют им все эти сервисы. Но будут ли ваши цели удовлетворены, если у Кореи будет закрытая базовая модель или вы хотите, чтобы существовала универсальная открытая модель, в которую смогут вносить вклад все? Эрик, ты с этим согласен? Люди могут выбирать, закрывать или открывать. Но причина, по которой на данный момент я действительно поддерживаю Open source, в том, что для создания чего-то действительно хорошего и быстрого требуется слишком много ресурсов. Если у вас нет возможности очень быстро строить огромные дата-центры и владеть большим количеством GPU, то взаимопомощь, обмен научными знаниями и всем остальным действительно помогает, чтобы развитие шло гораздо быстрее. И, кстати, таким образом мы можем сделать небольшие модели гораздо более мощными, чтобы многие организации, которые не могут себе позволить большие ресурсы, могли создавать ЛМ, которые обслуживают именно их потребности. Не общие, которые делают всё, а то, что действительно очень хорошо решает конкретную бизнес-задачу. Хорошо, Эрик, ты в один момент кивал, а в другой качал головой, так что мне нужно, чтобы ты ответил быстро. Да, я думаю, что open source - это не цель сама по себе. Это скорее философия или способ ведения дел, который очень естественно сочетается с наукой, с любыми научными исследованиями. Что ты подразумеваешь под это не цель сама по себе. То есть вы делаете это не ради самого онрса, потому что это более эффективный способ достичь результата. Нет, это почти как ответственность или естественный стиль ведения исследований в области и знаете, есть и прагматическая ценность. Например, я часто спрашиваю: "Вы предпочли бы, чтобы в мире был только один автопроизводитель, который, как вам кажется, безопасен, или всё-таки лучше, если их 10 или 100? Open source - это, по сути, про обмен знаниями с широкой публикой, чтобы люди могли этим пользоваться, а также изучать это, понимать и улучшать". Конечно, предположение в том, что эта технология не является злой. Это не то, от чего вы хотите избавиться. Я не думаю, что сама по себе технология, по определению является злой. Всё зависит от того, как люди используют её неправильно, но закрытие исходного кода на самом деле этого не останавливает. Поэтому, на мой взгляд, выгоды от Open Source перевешивают закрытие, потому что, во-первых, вы не можете остановить злоупотребление, а во-вторых, открывая код, вы продвигаете большее принятие технологии и большее её понимание. Я также хочу вернуться к вопросу, который только что поднял Йошуа. об очеловечивании технологий и рисках, которые это создаёт. Сейчас мы видим это именно так. Это также подразумевает, что люди якобы не учатся на новом опыте. Если посмотреть на историю, было много магических изобретений, которые могли делать определённые группы людей почти богоподобными. Но через какое-то время люди привыкают к этому и начинают формировать более здравые суждения и лучшее понимание. Я думаю, что способ действительно сделать людей более безопасными, более уверенными и помочь им сосуществовать СИ, это использовать больше и быстро к нему адаптироваться. Это похоже на естественную среду. Есть вирусы, и, конечно, вы хотите попытаться остановить это, но иногда природа выбирает путь со существования с вирусом, чтобы вы становились сильнее. Да, есть риски, есть смерти, но как популяция, как общество, мы вместе эволюционируем и становимся сильнее. Йошо, у меня к тебе вопрос. Как профессор университета, я всю свою жизнь продвигал открытый код и, конечно, открытую науку. Но если вы начинаете задавать этические вопросы, то в какой-то момент сталкивайтесь с проблемой. Некоторые знания могут быть опасными, когда они доступны всем. Я приведу простой пример. Биологи работают над тем, как создавать новые последовательности ДНК, которые могут создавать новые вирусы, которых раньше не существовало. Если вы знаете последовательность, которая приводит к вирусу, способному убить половину планеты, должны ли вы её публиковать? И ответ в этом случае должен быть очевиден. Поэтому нынешние и системы с открытым исходным кодом в целом приносят больше пользы. Это помогает безопасности, это помогает демократизации. Я так же, как и вы, обеспокоен концентрации власти. Я к этому ещё вернусь. Проблема в том, что если возможности и будут продолжать расти в тех направлениях, о которых мы говорили, то в какой-то момент мы придём к и системам, которые будут похожи не на саму последовательность, а на машину, способную генерировать последовательность, которая может убить половину населения. Поэтому, когда и достигнет этой стадии, мы не должны просто, знаете, отдавать его всем, потому что есть много безумных людей, есть опасные люди, есть люди, которые захотят использовать это, например, для уничтожения своих врагов военными способами. Поэтому мы должны быть очень осторожны, когда достигнем уровня возможностей, при котором ИИ может быть превращён в оружие. Сейчас я согласен по поводу проблемы концентрации власти, но есть и другие способы, кроме Open source. Когда мы дойдём до той точки, где Ии может быть превращён в оружие, я думаю, ещё до того, как мы туда дойдём, нам нужно будет об этом думать. Мы должны серьёзно задуматься о том, как

управлять несколькими, не одной, а несколькими и системами, которые будут опасны в неправильных руках и где власть по контролю над ними будет децентрализована. То, чего мы не хотим - это чтобы одна структура, одно правительство, одна корпорация диктовали, каким должен быть мир. Но я думаю, что для этого есть решение. Мы уже сталкивались с подобными вещами на международной арене. Международные договоры, то, что мы сделали с ядерным оружием, то, что Европа сделала с ЕС и так далее. Так что я думаю, что решение есть, и мы должны думать о способах одновременно избегать катастрофического использования и злоупотребления властью в руках лишь немногих. Я хочу подключить здесь Юваля, потому что это потрясающий философский вопрос. Есть невероятно мощная технология. Мы в большей безопасности, если все вносят вклад и у всех есть право голоса доступ к ней. Или мы в большей безопасности, если относительно небольшое число людей, которых можно контролировать или которые подотчётны правительством и которые все здесь где-то в конгресс-центре, имеют над ней контроль. Сталкивались ли вы когда-то с чем-то подобным в истории Юваль? Был ли когда-то такой момент? И что тогда произошло? Я думаю, главный момент в том, что мы просто не знаем. Мы находимся в точке, когда проводим этот огромный исторический эксперимент, и мы просто не знаем. Ключевой вопрос для меня: как встроить в это саморректирующийся механизм? Как нам убедиться, что если мы получим неправильный ответ, у нас будет второй шанс? И модель для меня - это последняя крупная технологическая революция, а именно промышленная революция. Когда она начиналась в начале XIX века, никто не имел представления, как построить благожелательное, хорошее индустриальное общество. Эти колоссальные новые силы, паровые машины, железные дороги, пароходы, как использовать их во благо? И разные люди имеют разные идеи и экспериментируют. И европейский империализм был одним из экспериментов. Некоторые люди говорят, что единственный способ построить индустриальное общество - это построить империю. Нельзя построить индустриальное общество в рамках одной страны, потому что нужно контролировать сырьё и рынки. У вас должна быть империя. Затем есть люди, которые говорят, что это должно быть тоталитарное общество. Только тоталитарная система, такая как большевизм или нацизм, может контролировать колоссальные силы индустрии. Теперь, оглядываясь из начала X века, мы можем сказать: "О, мы знаем, каким был ответ. Потребовалось 200 лет ужасных войн и сотни миллионов жертв и травм, которые не зажили даже сегодня, чтобы понять, как построить благожелательное индустриальное общество. И это были всего лишь паровые машины. Сейчас мы имеем дело с потенциально сверхинтеллектуальными агентами. Ни у кого нет опыта построения гибридного человечества и общества.

Мы должны быть гораздо более скромными в том, как мы думаем, что знаем, как это построить. Нет, мы не знаем, как нам это обеспечить. Я не знаю, каков ответ. Вопрос в том, как построить самокорректирующийся механизм, чтобы если мы сделаем неправильную ставку, это не было концом. Я хочу перевести разговор из философского русла обратно в более практическое, потому что речь идёт о том, где должны быть контрольные точки. Вы говорите об опасном вирусе. Синтезировать вирус на самом деле не просто. Идея ядерной бомбы, например, где-то опубликована. Вы можете загуглить это. Вы не можете её построить, потому что вам нужно получить материалы, вам нужны лаборатории. Уже есть множество контрольных точек. Мы научились этому за поколение и века управления и регулирования и человеческих практик. Во многих местах это уже выстроено. В конце концов, ИИ - это кусок программного обеспечения. Это программное обеспечение, живущее в компьютерах. И когда он наносит физический вред, ему нужно выйти за пределы компьютера. Это уже одна дополнительная контрольная точка. Люди могут делать это для Ии, а в конечном итоге это могут делать роботы. И люди тоже подлежат контрольным точкам, а вот вируса нет. Но, Эрик, позволь задать тебе вопрос. Поскольку эта панель посвящена тому, как лучше всего создавать следующее поколение и, вероятно, вы все здесь согласны, что нам нужно много контрольных точек и хорошие контрольные точки. Возможно, мы расходимся во мнении, достаточно ли их сейчас. Какая методология или архитектура ИИ предполагает наибольшее количество контрольных точек? Юджин, у тебя есть идея? Да, у меня есть предложение, как лучше справляться с этой ситуацией. Я считаю, что в основе проблема в том, что Ии слишком глуп. Он будет учиться на любых данных, которые вы ему дадите. Если вы случайно дадите ему данные о том, как проводить кибератаки или как создавать биологическое оружие, он просто возьмёт и выучится на этом. Это фундаментальная проблема, с которой мы имеем дело. С другой стороны, если мы создадим Ии, возможно, следуя направлению ии учёного Йошуа, который действительно учится, думает самостоятельно и по-настоящему усваивает человеческие нормы, понимает, что именно их он должен соблюдать. И тогда, когда он читает обучающие данные, предоставленные каким-то другим человеком, он отказывается учиться. Если понимает, что это незаконно, он отказывается учиться. И, кстати, именно так поступают и люди. Конечно, есть люди, которые хотят делать плохие вещи, но многие из нас, если я дам тебе инструкции, как убивать людей, например, с помощью биологического оружия, стал бы ты усваивать это для себя? Нет, потому что ты не хочешь действовать таким образом. Поэтому я думаю, что нам, возможно, нужно переосмыслить то, как мы проектируем алгоритмы обучения и чтобы у них было больше агентности в выборе того, чему учиться или просто вообще не обучать его на Redт. Я просто хочу упомянуть здесь, потому что мы говорили о технических аспектах этих вопросов. Прямо сейчас в том, как мы проектируем системы Ии, нет границы между данными и инструкциями. В обычном программировании это две разные вещи. Программа читает файлы, а есть сам код. И программисты пишут код и знают, что независимо от того, что находится в файлах, поведение будет определяться кодом. В том, как мы строим наши ИИи, такого различия нет, и поэтому так легко помещать инструкции прямо в данные. Именно так возникают джейлбрейки и другие проблемы безопасности, которые у нас есть с и поэтому, я думаю, чтобы повысить безопасность и нам нужно, чтобы они понимали различия между тем, чего мы хотим, и тем, что им инструктируют делать в способе, который был бы социально отрегулирован. кто решает, какие нормы существуют и так далее. И что он читает как данные, когда у него есть взаимодействие с пользователем, мы не хотим, чтобы пользователь мог заставить и делать всё, что он захочет, например. То есть это что-то вроде набора мастер-контролей, которые вы пытаетесь создать. Нет, в подходе и учёного то, как мы это делаем, заключается в том, что мы обучаем и различать то, что люди говорят или пишут, что может быть мотивированным и что и не должен принимать за истину или за то, что ему обязательно следует делать, и другие формы информации, которые содержат базовые истины или базовые причины того, что наблюдается. И этот второй канал является надёжным, к которому мы не обязательно даём доступ любому пользователю Ии, например. Но это также способ убедиться, что у нас есть и, которые понимают разницу между тем, что люди говорят, и тем, что на самом деле является причиной того, что они говорят, и является ли то, что они говорят правдой, чтобы они понимали честность. У нас осталось всего несколько минут. Мы поговорили о множестве новых архитектур. Мы обсудили некоторые новые агентные системы. Мы много говорили об openource, мы говорили о непрерывном обучении, мы говорили о разных способах взгляда на данные. И мы как бы обсуждали все новые системы так, словно они хороши. Есть ли какие-то новые архитектуры или методологии, которыми люди воодушевлены? Возможно, те, о которых мы говорили на сцене, но которые, по вашему мнению, на самом деле плохи и которые нам не следует развивать? Вы имеете в виду, что последствия плохие или что производительность плохая? подойдёт и то, и другое. Я думаю, что на самом деле это даже может совпадать с тем, о чём беспокоится Йошуа. Построение системы не в замкнутом цикле, когда вы чисто проводите мысленные эксперименты и встраиваете всё внутри в какие-то латентные представления и завершаете всё обучение до выхода в реальный мир для проверки. На мой взгляд, это плохая система, потому что, во-первых, с точки зрения производительности, там, на самом деле, недостаточно контрольных точек, чтобы даже контролировать, визуализировать или понимать какие-либо рискованные моменты, а также очень трудно связать систему с точкой обуславливания действий, чтобы можно было ею управлять, направлять, манипулировать. С другой стороны, она будет слишком долго потреблять данные, энергию, ресурсы и деньги, прежде чем вы вообще увидите конечный результат. Я не буду называть конкретные примеры такой архитектуры, но она на самом деле довольно распространена. Люди иногда считают, что им не нужно постоянно сравнивать выводы и системы с реальными данными. прежде, чем они достигнут суперинтеллекта. И во-вторых, я также считаю, и я полностью согласен с Йошуа Юджин, что текущая парадигма обучения очень-очень примитивная и, возможно, непродуктивная. Данные сейчас действительно являются хозяином алгоритма и системы. И сама система по сути является в некотором смысле обучением одним выстрелом. Вы её обучили, а затем, когда я использую GPT или любые другие модели, они на самом деле не учатся на этом опыте. А ведь мы, как люди, в разговоре уже учимся друг у друга. Я уже учусь у вас обоих и у всех вас по вашим точкам зрения. Мне это нравится. А и система пока не построена для такой функциональности. И можете ли вы предвидеть, что система с таким уровнем глупости может стать суперинктом и вернуться, чтобы пойти против нас? Я просто не чувствую, что эти точки сходятся. У неё нет такого рода ориентированных на задачи данных, которые направляют вас дальше простого сопоставления шаблонов и позволяют действительно рассуждать и так далее. Так что если наша цель создать более умную и более мощную систему, необходимо исследовать новые архитектуры, конечно, есть отдельный вопрос о том, как мы измеряем риски. Я не знаю точного ответа, но я хочу услышать Йошуа твоё мнение. Решение - это не делать этого вообще или делать это с оченьочень осознанным и количественным подходом к измерению рисков, к экспериментированию со всеми сценариями и затем настроить. У нас почти не осталось времени, очень быстро. Да, нам нужно измерять риск на лету, а не только один раз, когда мы оцениваем эти модели. И нам нужно убедиться, что у нас также есть правильная общественная инфраструктура. Так что даже если бы мы знали, как строить действительно безопасные системы, существует множество плохих вещей, которые могут произойти, потому что люди - это люди, и поэтому нам нужны технические ограничения и общественные ограждения. Подведём итог, Юваль, твоя книга вышла Nexus вышла около полутора лет назад. У тебя были серьёзные опасения по поводу ЕИ. Ты только что был здесь с тремя из самых умных и самых влиятельных исследователей Ии в мире. Они получили все возможные награды. Ты чувствуешь, что мы движемся в правильном направлении или нет? Я думаю, что мы думаем в разных временных масштабах. Когда люди многие разговоры здесь в Давосе, когда они говорят долгосрочно, они имеют в виду что-то вроде 2 лет. Когда я говорю долгосрочно, я имею в виду примерно 200 лет. Это снова как промышленная революция. Первая коммерческая железная дорога была открыта между Манчестером и Ливерпулем в 1830 году. Сейчас 1834-3рить год. И мы ведём этот разговор. Люди говорят, промышленная революция движется так медленно. Нам говорили, что железные дороги и паровые двигатели изменят мир. Ну и что пара людей ездят между Манчестером и Ливерпулем. Это ничего не изменило. Это всё научная фантастика, потому что масштаб времени таков, что мы не имеем ни малейшего представления, даже если весь прогресс ВИ остановится сегодня, камень уже брошен в воду, но он только что коснулся поверхности. Мы не имеем ни малейшего представления, какие волны будут созданы даже теми и которые уже были развёрнуты, скажем, год или два назад. Социальные последствия - это совершенно другая вещь. Вы не можете запустить историю в лаборатории и посмотреть, каковы будут социальные последствия изобретения. Вы можете тестировать аварии, вы создаёте первый паровой двигатель. Вы можете тестировать аварии. Вы не можете протестировать в лаборатории, какими будут геополитические последствия или культурные последствия парового двигателя. То же самое с. Так что сейчас просто слишком рано, чтобы знать. И меня в основном беспокоит отсутствие обеспокоенности тем, что, знаете ли, мы создаём, мы разворачиваем, возможно, самую мощную технологию в истории человечества. А многие очень умные и влиятельные люди переживают о том, что скажут инвесторы в следующем квартальном отчёте. Они думают в терминах нескольких месяцев или года или двух. Йошуа. Очень кратко. Я хочу поблагодарить Юваля Харари, потому что он говорит об отсутствии обеспокоенности. И я создал новую организацию некоммерческую, которая пытается внедрять учёного. Иивал любезно согласился войти в совет. Нам нужны такие люди, как он, чтобы с независимым взглядом и надзором смотреть на то, что мы будем делать с Ии с обществом в ближайшие годы. Хорошо. Время. Большое спасибо. Это была потрясающая панель. Вы все абсолютно замечательные. Спасибо за ту работу, которую вы делаете, и спасибо за участие здесь.