Автор Sapiens: ИИ обманет человечество через истории

Поприветствуйте Юваля Ноя Харари и сэра Стивена Фрая. Боже мой, я не был уверен, что вообще кто-то придёт. Разве это не захватывающе? Для меня огромная честь быть здесь вместе с моим настоящим героем Ювелем Ноем Харари. Уверен, многие из вас читали книгу, которая принесла ему мировую славу. Сепинс. Краткая история человечества. В ней было множество поразительных идей и совершенно увлекательный собственный нарратив. Но одна из вещей юваль, которая особенно впечатлила многих из нас, это то, как вы показали, что, возможно, сепиенс не самое точное название, что дело не в разумном человеке, а в человеке, рассказывающем историю, что отделило нас от неандертальцев и других приматов и направило по нашему собственному пути. Это способность придумывать истории о себе и о мире, каким мы его воспринимаем. Насколько точен такой вывод? Да, абсолютно. И можно ли сказать, что именно это и приводит нас к неприятностям? Ведь рассказ и история нередко означает и ложь, и одновременно обеспечивает нам стабильное будущее.

Да, думаю, это палка о двух концах, особенно в эпоху искусственного интеллекта, потому что впервые в истории мы столкнулись с рассказчиком, который лучше нас. Мы захватили планету не потому, что умнее других животных, а потому, что лучше умеем сотрудничать. А сотрудничаем мы через истории. Очевидный пример религии. Но мой любимый пример - это деньги. Возможно, это величайшая история, когда-либо созданная и рассказанная. Это единственная история, в которую верят все или почти все. Ни одно животное на Земле не знает, что деньги существуют, потому что деньги существуют только в нашем воображении. Но теперь на планете появился ещё кое-кто, кто знает, что деньги существуют и кто может даже придумать новые виды денег и новые виды историй. И что же будет с нами, когда нам придётся иметь дело не просто с одним рассказчиком, который лучше нас, а с миллиардами таких рассказчиков на планете? Думаю, это один из самых больших вопросов нашего времени. Да, и вы, конечно, говорите об искусственном интеллекте. Недавно выяснилось, что одна из компаний, создающих большие языковые модели, антроop сообщила в закрытом тестировании новая версия Клод попыталась шантажировать людей, чтобы добиться своей цели. И говоря об ИИИ, мы либо его недооцениваем, называя его просто попугаем, повторяющим вероятные кусочки человеческой речи, стахастическим попугаем, как компьютерный лингвист Эмили Бендер его назвала. Каждый раз, когда он выдаёт фразу, какой бы разумной она ни казалась, он лишь следует вероятностному маршруту. Вопрос в том, а мы сами не такие. Именно когда я наблюдаю, как возникают фразы в моей собственной голове, например, сейчас, когда разговариваю с вами, я не знаю, чем закончится предложение. Я начинаю говорить, и слова просто всплывают в сознании. И как человек, выступающий публично, я часто боюсь, что не смогу закончить фразу. Я не уверен, какое слово будет следующим. Вот именно. Ты говоришь, пытаешься звучать разумно, и вдруг вылетает слово салат, и думаешь, что вообще произошло. Это как ковёр, который развёртывается прямо перед тобой в синтагматический ряд. Кажется, так это называется технически. И удивительно, что теперь мы можем попросить и показать, как именно он думает. Мы можем буквально наблюдать, как в нём разворачивается логика, что нам крайне трудно сделать со своим собственным сознанием. У Ии нет разума в нашем понимании, насколько нам известно. Но мы можем видеть, как формируются фразы и истории внутри того, чтобы это ни было. Если мы попросим его об этом. Но факт в том, что люди вроде Джеффри Хинтона, одного из крёстных отцов Ии, утверждают, что самое тревожащее в нынешних моделях: никто не знает, что у них внутри. Мы не понимаем, как именно они делают то, что делают. Если бы мы могли знать всё, что там происходит, и предсказать это, это не был бы Ии. В этом-то и дело точно. Если вы можете предсказать, как система поведёт себя, какое решение примет, какие идеи создаст, по определению, это не Ии, это просто автомат, машина. Возможно, лучший способ объяснить это вспомнить, что сегодня смартфон может обыграть любого шахматиста в мире, и вы не можете предсказать его ходы, потому что если бы могли, вы бы выиграли или партия была бы всегда в ничью. А теперь расширьте это на весь и вы не знаете, что он скажет или сделает. Именно поэтому он полезен. Если бы он мог только повторять то, что делаем мы, он бы не был инструментом. Это было бы всё равно, что сказать: "Экскаватор может копать только столько же, сколько человек с лопатой". Но ведь смысл машин в том, чтобы превосходить наши возможности, верно? Да. Думаю, в этом и есть главная мысль. Главное обещание и быть лучше нас, принимать решение лучше человека во множестве областей, создавать то, о чём мы даже подумать не можем. Но в этом же и главная угроза. Мы не можем предсказать, как он будет себя вести, и не можем заранее его контролировать. Как бы не старались сделать его безопасным и совместимым с нашими целями и ценностями, мне кажется, это подводит нас к самой сути того, чем является ИИ. Обычно мы воспринимаем ИИ как сокращение от искусственный интеллект, но он уже перестаёт быть искусственным. Если подумать, что такое артефакт, это то, что мы создаём и чем управляем. С каждым днём Ии становится всё менее и менее искусственным. Поэтому я предпочитаю думать об Ии сокращении от Alien Intelligence, инопланетный интеллект.

Даже само слово намекает: настоящий интеллект не может быть артефактом. Артефакт - это то, что мы создаём и контролируем. А интеллект - это способность создавать новое. Ты быстро употребил один важный глагол алайн. Согласовывать, совмещать, выравнивать. И стоит его развернуть. Когда мы говорим об опасениях вокруг ии, одна из ключевых проблем, так называемая проблема согласования, самое простое объяснение, старый философский мысленный эксперимент о Джини. Представьте, у вас есть джин, который готов исполнить любое желание. Вы добрый

и эмпатичный человек. И спрашиваете: "Ты правда можешь исполнить любое желание? " "Да"- отвечает он. "Тогда прекрати всё страдание". И мгновенно вся жизнь на планете исчезает. Потому что, глядя на мир, джин видит: "Источник любого страдания - жизнь". Все живые существа страдают. Животные и мы. Камни, по мнению джина, не страдают. Может, деревья, неясно. Но уничтожив всю жизнь, он решил задачу. Склоняется и говорит: "Готова, хозяин". Это и есть широкое понимание проблемы согласования. Мы задали чрезвычайно глупый запрос, не подумав о последствиях. И вот что важно. Да, мы должны понимать и как чуждый нам интеллект, но прежде всего надо понимать самих себя, ведь у нас нет единой этической системы в мире. Как закодировать такие вещи, как достоинство, любовь, сострадание, радость, равенство? Мы лишь совсем недавно, исторически недавно, пришли к идее равенства мужчин и женщин, равенство рас. Мы только-только это осознали, и множество других вещей нам до сих пор не ясно. Так как же мы можем ожидать, что машины будут уверены в этих понятиях? Мы зададим им вопрос, а они могут поступить как тот джин. Как ты видишь решение? Ещё один ключевой момент Абыи. Он может обучаться сам и меняться. Поэтому, как бы мы его не учили, мы никогда не можем быть уверены, что он всегда будет выполнять наши инструкции. Если он делает только то, что мы говорим, это уже не и когда мы думаем о согласовании или о том, как воспитать и, чтобы он был доброжелательным и не вредил, полезно, пусть аналогия несовершенная, думать о нём как о ребёнке человечества. А что мы знаем о воспитании детей? Они никогда не делают то, что мы им говорим. Они делают то, что видят. Они повторяют за человеком, за взрослым. Если ты говоришь ребёнку: "Не ври", а он

видит, что ты лжёшь и обманываешь других, он будет копировать поведение, а не следовать указаниям. Если люди, ведущие гонку Ии, говорят модели не лги, АИ наблюдает за ними, за миром, за их реальными действиями, видит ложь, мухлёж и манипуляции, он воспроизведёт то же самое. Если и развивается не как совместный проект человечества, основанный на доверии, а как гонка вооружений, конкуренция, можно сколько угодно говорить модели быть доброй и сострадательной, но она учится через наблюдение. Она наблюдает, как люди общаются друг с другом. как ведут себя её создатели. Если они беспринципные, жаждущие власти конкуренты, она тоже будет беспринципной и жаждущей власти. Нельзя создать сострадательный, надёжный ИИ в условиях гонки вооружений. Это просто невозможно. Да, Юваль, ты всё это говорил. Если бы ты сказал такое в восьмидесятом, во время так называемой зимы ИИ, да, нужно предотвратить такое развитие событий, но всё это уже происходит. Гонка вооружений в полном разгаре. Люди, которые тратят миллиарды и миллиарды долларов, это те же самые люди, например, Марк Цукерберг и Мета, организация, запрещённая на территории РФ, которые подарили нам катастрофу Facebook и социальных сетей. И всё то, что они сделали с политикой мира и уровнем бедности в этой стране. Например, как мы знаем, реки загрязнены и отравлены. В Британии уже невозможно купаться ни в одной реке. Везде уже сливают неочищенные источные воды. А наши дети в культурном смысле купались в подобных же токсичных потоках. И мы все это понимаем. И Facebook это понимает, и Twitter, и экс понимают. Но они ничего не делают. А если ты хоть заикаешься о правилах и регулировании, они начинают кричать: "Коммунизм! " А Трамп только что объявил, что запретит отдельным штатам США регулировать и гонка вооружений уже идёт. Всё, о чём ты говоришь - это уже реальность. Так как же нам объединиться, чтобы не допустить, чтобы Ии оказался в руках корпоративной жадности и национальной жадности. В этой гонке, будь то Китай с Америкой или одна компания против другой, всё идёт в неверном направлении. Да, всё движется очень быстро, отчасти потому, что в Ии действительно заложен огромный позитивный потенциал. Это касается всего от здравоохранения до борьбы с климатическим кризисом. И нам нужно признать, этот позитивный потенциал огромен. Вопрос не в том, чтобы остановить развитие Ии. Вопрос в том, как сделать так, чтобы он служил во благо. И, как мне кажется, главная проблема здесь вопрос приоритета. Что должно идти первым? Сейчас человечество сталкивается с двумя основными вызовами. Первый создать сверхразумный Ии. Второй- восстановить доверие между людьми, потому что доверие по всему миру и между странами, и внутри самих стран стремительно разрушается. Никто точно не знает, почему это происходит, но каждый может это наблюдать. Возможно, единственное, в чём, скажем, республиканцы и демократы в США ещё могут согласиться, это то, что доверие рухнуло. Они не доверяют друг другу. Они не согласны друг с другом ни в чём, кроме одного. Они друг другу совсем не доверяют. Так что это худшее возможное время для того, чтобы нам объединиться. Мы больше не верим в глобальные институты, такие как ООН, ВОЗ, даже в национальные институты. Одна из причин падения доверия заключается в том, что тысячи лет люди были невероятно успешны в его построении, несмотря на конфликты и напряжения. 100. 000 ся лет назад люди жили маленькими группами охотников-собирателей и не могли доверять никому вне своей группы из 50 100 человек. Сейчас у нас есть государство с сотнями миллионов людей. У нас есть глобальная торговля, глобальная научная сеть, объединяющие миллиарды. То есть мы, очевидно, умеем строить доверие, но тысячелетиями мы строили его через человеческое общение. А теперь почти в каждом взаимодействии между нами стоит машина, алгоритм, и мы наблюдаем падение доверия к людям и рост доверия к алгоритмам. И я уже упоминал деньги как величайшую историю, когда-либо созданную. И мы видим, что люди теряют доверие к созданным людьми формам денег евро, долларам, фунтам и переводят доверие на криптовалюты, на алгоритмические формы денег. Итак, у нас два вызова: развитие ИИ и восстановление доверия между людьми. И вопрос, что должно идти первым, что для нас приоритет.

И, к сожалению, некоторые из самых умных людей в мире говорят: "Сначала мы решим проблему и, а потом с его помощью решим проблему доверия". И я считаю, что это очень плохая идея. Если мы создаём и в условиях гонки вооружений между людьми, которые не доверяют друг другу, нет ни единой причины ожидать, что мы сможем доверять самим. И парадокс в том, что если поговорить с такими людьми, как Марк Цукерберг или Илон Маск, они часто открыто признают, что тоже боятся потенциальной опасности. И они не слепы, они это понимают, но говорят, что оказались втянуты в гонку. Если я замедлюсь, мои конкуренты не замедлятся, я не могу им доверять, значит, я должен идти быстрее. Но тогда ты спрашиваешь: "Хорошо, ты не можешь доверять людям конкурентам? А уверен ли ты, что сможешь доверять сверхразумному инопланетному интеллекту, которого создаёшь? " И те же самые люди, которые только что говорили, что не могут доверять другим людям, отвечают: "О, ну и думаю, мы ему сможем доверять". Это почти безумие. Правильный порядок должен быть таким. Сначала решить проблему человеческого доверия, а уже вместе, в условиях сотрудничества мы сможем развивать и воспитывать надёжные, заслуживающие доверия. Ии, но, к сожалению, мы делаем всё наоборот. — Подпишись прямо сейчас на мой Telegram-канал по ссылке в описании. Я подготовил для тебя топ-три материала, которые, на мой взгляд, должен знать каждый. Первое, карта сотни топовых AI стартапов - это будущее на одной картинке. Второе, прогноз от инсайдера из OpenI, который ещё до появления чат GPT предсказал всё, что сейчас происходит с нейронками. И вот в этом году он выпустил новый прогноз до двадцать седьмого года. И третье, самое мощное - это мой разбор эссе основателя компании Anтроopic, который по сути второй человек в мире искусственного интеллекта. Он полочкам разложил, что будет происходить в мире ближайшие 5 лет. И главное, каким будет универсальный AI, которого все так боятся или ждут. Переходи по ссылке в описании. — Да, как вы знаете, уже десятилетиями существуют так называемые часы Судного дня, которые ядерные учёные настраивают так, что полночь означает армагедон. Конец всего. И в последние годы стрелка стоит примерно на отметке 89 секунд до полуночи. В последние дни она приблизилась ещё сильнее по понятным причинам. Но есть и другой показатель, который я недавно изучаю. Он называется пим. Пи, то есть пробалити, вероятность, и в скобках дум гибель. Им пользуются люди из отрасли, учёные, работающие с Ии. Например, Элиезер Ютковский, основатель института исследования машинного интеллекта в Калифорнии, ставит пировне 90, то есть девяностопроцентная вероятность гибели человечества через Ии. Ян Ликун, главный учёный мета организации, запрещённой на территории РФ, ставит её в ноль. Но он главный учёный мета организации, запрещённой на территории РФ. Это примерно как руководительй компании, который говорит: "Рак, нет, исключено, что вы, невозможно". Тем не менее, я подсчитал, что самая низкая медианная оценка вероятности катастрофы где-то между 7,5 и 10%, вплоть до вымирания человечества из-за Ии, если всё не будет взято под контроль, так как вы говорите. А шанс выиграть в лотерею в нашей стране 0. 0022%. То есть вы говорите, что вероятность гибели человечества в 7,5% и это самая низкая оценка среди ведущих современных учёных, нобелевских лауреатов вроде Хинтона и Хасабиса, в 3,4 млн раз выше, чем 0. 0022%. Так что если бы я дал вам лотерейный билет и сказал: "Этот билет настоящий, единственное отличие: выиграть вы по нему можете в 3,4 млн раз вероятнее, вы бы его взяли". Именно с такими шансами мы сегодня играем, даже если брать нижнюю планку. Итак, давайте посмотрим на худший сценарий. Как мы уже говорили, мы движемся в неправильном порядке, как вы и выразились. Большинство людей, которые понимают науку, говорят: "Есть серьёзнейший риск, что человечество будет уничтожено этим. Риск выше, чем при ядерном армагедоне или даже изменение климата". А люди сейчас не в состоянии доверять друг другу и выстраивать ограждения, правила, чтобы договориться, как нам двигаться дальше. Так что, есть ли у вас какое-то решение, Юволь? Я почти умоляю вас на коленях в этот момент. У меня нет собственных детей, так что я почти могу сказать, что мне всё равно. Но у меня много крестников, множество двоюродных племянников и внучатых племянников. И мне не всё равно, что будет с нашей планетой. Я уверен, вам тоже не безразлично. Знаете, я думаю, что слишком глубокие размышления о судном дне и сценариях вымирания очень опасны. Они приводят людей к отчаянию. У нас есть всё необходимое, чтобы управлять этой революцией. Потому что мы сами её создаём. Это же не как у динозавров, которых уничтожил астероид из космоса, о существовании которого они не могли даже узнать, не то что повлиять. Это процесс, который, по крайней мере, пока находится под человеческим контролем. Через 5, через 10 лет у нас будут миллионы и даже миллиарды и агентов, которые будут принимать всё больше решений. изобретать всё больше идей. Это будет гибридное общество, и управлять станет сложнее. Но мы должны начать с осознания. Это полностью созданная человеком опасность. У нас есть всё, что нужно, чтобы справиться с ней. Единственный недостающий элемент - это доверие между людьми. И опять же за десятки тысяч лет мы доказали, что умеем строить доверие даже на глобальном уровне, так что это в пределах наших возможностей. А дальше всё возвращается к старым вопросам политики и этики. Как строить доверие между людьми?

И нам нужно думать не только об общих вещах. но и о конкретных насущных вопросах. Один из важнейших вопросов ближайших лет. Как нам общаться с новыми и агентами? Считать ли их личностями? Всё больше людей вступают в отношения, личные отношения с и всё больше корпораций и армий передают и ей контроль и полномочия для принятия важных решений. Это уже не философская абстракция, это реальность. Например, должны ли иметь возможность открывать банковский счёт и управлять им? Это очень практический вопрос. Мы уже почти на пороге момента, когда вы можете сказать: "И иди и зарабатывай деньги. Твоя цель - заработать миллиард долларов. " В компьютерных науках одна из сложнейших задач- чётко определить цель. А деньги это крайне простая цель и может зарабатывать многими способами. Он может предоставлять свои услуги людям, писать эссэ, книги и так далее. У него множество способов заработка. Он может зарабатывать, может затем инвестировать заработанное на бирже. Так хотим ли мы как общество позволять и агентам? Это вопрос не на 50 лет, а на пять, а то и на один. Открывать банковские счета и управлять ими так, как они сочтут нужным. В США, по сути правовая система. Они никогда не думали об этом, но я не уверен насчёт ситуации в Великобритании, но в США существует открытый правовой путь для того, чтобы Иили признаны личностями с правами. Да, Питсингер писал об этом и другие тоже. В США, согласно их законодательству, корпорации являются личностями, и у них есть права, такие как свобода слова. А теперь представьте, в США вы можете зарегистрировать корпорацию, управляемую И раньше, когда вы регистрировали корпорацию Google, General Motors или любую другую, это была правовая фикция, потому что все решения Google принимали люди. Итак, хорошо. Юридически Google - это личность с правами. Но каждое решение Google требует, чтобы человек, исполнительный директор, бухгалтер, инженер, юрист принял решение. Теперь это уже не так. Вы можете зарегистрировать корпорацию и будет принимать решение самостоятельно. Одной из причин, по которой Верховный суд США признал корпорации лицами, была необходимость дать им возможность жертвовать деньги политикам. Это было решение Верховного суда Citizens United. Теперь представьте и который зарабатывает миллиарды долларов. Возможно, самый богатый человек в США через несколько лет будет не Илон Маск или Джеф Безес или Марк Цукерберг. Это будет и. И этот и имеет свободу слова, которое включает право жертвовать деньги политикам. Возможно, при условии, что они будут способствовать дальнейшему продвижению прав для и, разумеется, и сокращать ограничения, всё подобное. Да, теперь это полностью реалистичный сценарий. Это не научная фантастика. Так что это вопрос, который мы как общество должны решить, признаём ли мы и личностями с правами. Теперь есть люди, которые уже убеждены, что ии, потому что они взаимодействуют с ними, имеют сознание, имеют чувства. Так что, возможно, через несколько лет мир разделится между странами, которые признают и личностями с правами, и странами, которые этого не делают. Абсолютно. И думаю, всем здесь есть над чем задуматься. Я помню, как ещё в 2015 году я читал лекцию об ИИ, о том, куда всё движется, и сказал тогда, что некоторые профессии могут исчезнуть. Например, если ваш ребёнок учится на врача, это нормально. Но вот радиология. И тут женщина подняла руку очень возмущённой и сказала: "Моя дочь изучает радиологию". А я ответил: "Представьте, что каждый когда-либо сделанный маммографический снимок доступен и он может анализировать тысячи таких снимков в секунду и выносить решение". Радиологи просто останутся без работы. А кто потеряет работу следующим? Не знаю, присутствует ли здесь финансовый директор Октопус, но некоторые говорят, что первой высокоуровневой должностью, которую полностью заменит ИИ, станет должность CFO, потому что всё, что они делают, это уже произошло. Редакторы новостей, одна из самых важных профессий XX века и даже раньше, редакторы газет и телевидения. Это были невероятно влиятельные люди, контролировавшие общественную дискуссию. Но я бы хотел закончить вот чем. Возможно, не стоит сосредотачиваться на том, насколько эффективно вы работаете и насколько блестяще выполняете задачи. Этим как раз прекрасно занимается ИИ, особенно агентный Ии, о котором говорил Юволь. Сосредоточьтесь на том, каким замечательным человеком вы являетесь, насколько вы добры, внимательны, отзывчивы, насколько улучшаете жизнь людей вокруг. что зачастую прямо противоположной эффективности. И возможно, по крайней мере пока, секрет человеческой исключительности в том, насколько хорошими людьми мы можем быть, как сильно мы освещаем комнату, когда входим в неё, сколько радости мы приносим, а не насколько быстро мы выполняем задачи, потому что с этим мы никогда не сравнимся с Ии. И на этой ноте, думаю, нам стоит закончить. Надеюсь, мы не слишком всех напугали. Я всегда говорю, особенность этой технологии в том, что она одновременно восхищает и пугает, и её вдохновляющая сторона вполне может привести к тому, что мы все будем жить дольше и счастливее. Будем надеяться. Юволь, как всегда, говорит с вами огромное удовольствие. Спасибо вам. Спасибо. Спасибо всем.