Интервью главы Cohere - они лидеры корпоративного ИИ в мире

Я не думаю, что Смальтман оказал миру большую услугу, рассуждая о том, насколько близок Ag. Мне кажется, он сделал уже несколько ложных предсказаний, и их ложность была очевидна с самого начала, и, вероятно, приведёт к концу света. Знаете все эти намёки? Он устроил мировое турне, где встречался с мировыми лидерами, чтобы сказать им: "Эй, эта технология представляет экзистенциальную угрозу. И я считаю, что это было интеллектуально нечестно. Это медвежья услуга технологии, которые он любит. Готовы? Ник, я в таком восторге. Когда у меня в гостях был Эйден, он сказал: "Ты обязан позвать Ника. Настоящая звезда - это он. И познакомил нас ещё очень давно. Так что я очень рад, что всё получилось. Рад быть здесь. Но прежде, чем мы перейдём к

Кахир, я должен спросить. Ты был первым сотрудником, которого Джеф Хинтон нанял в Google. Тебя посадили в одну комнату с Джефом. Ты работал с ним каждый день. Какой самый главный урок ты извлёк из работы с легендой индустрии? Да, мне нравилось работать с Джефом. Всё, что я знаю об исследованиях, я узнал за тет или 4 года. Меня поразило, насколько творчески и игриво он подходит к исследованиям. Когда мы обсуждали алгоритмы, оптимизаторы или или функции потерь, мы часто использовали физические аналогии. Мы могли долго рассуждать в духе: "Представь, что это шар, к нему привязана резинка, а здесь блок. И всё это на такой-то поверхности". То есть это были описания через физический мир. И это было очень игриво. Подход был такой: "О, а что случится, если сплошное любопытство? Работая с ним, я этого не ожидал. Я думал, всё будет гораздо более сухо и серьёзно". Вот уравнение. Давайте найдём производную и пойдём дальше. А вместо этого всё строилось на интуиции. Глядя

на Google Brain и Deep Mind, многие считают, что Google проспали свой шанс, учитывая, что не они оказались на передовой потребительского бума с чат GPT. Ты считаешь это справедливым? Не знаю. Это, безусловно, интересно. Похоже, что архитектуру трансформер изобрели именно в Google. Так, в семнадцатом году Эйден вместе со многими другими блестящими умами из Google Brain опубликовали работу по архитектуре трансформеров. Но внутри Google это не было быстро коммерциализировано или масштабировано. Большая часть этой работы была проделана в других местах и спустя годы. И это интересно, почему так вышло, какие системные процессы к этому привели, я не знаю. Но я скажу, что в Deep Маind по-прежнему полно гениальных людей. Сейчас они, по сути, поглотили остальную часть. И они продолжают делать отличные продукты. Но забавно, что все люди, работавшие над трансформером, ушли, чтобы продолжать работать над трансформером в других местах. Если следовать твоей мысли, для тех, кто не в курсе, давай обрисуем картину. Что такое кохер и чем вы отличаетесь от более известных, универсальных и, может быть, более известных моделей в ройде Opena и Antropic? Да, мы компания, создающая фундаментальные модели, как и те две, что ты назвал. Мы строим фундаментальные модели, мы строим языковые модели. Таких компаний в мире может быть штук 10, которые создают большие языковые модели. На Западе, ну, может, 15. Нужно посчитать. Некоторые появились недавно, но точно меньше двадцати на весь мир. Большинство в Америке, горстка в Китае, мы в Канаде и одна во Франции. Мы уникальны тем, что сфокусированы исключительно на внедрение этой технологии в корпоративный сектор. Это значит, мы тренируем модель, которая хороша в использовании рабочих инструментов. Ты можешь дать ей доступ к Kpi твоего бизнеса, к данным компании, попросить помочь с рабочей задачей, и она отлично справится. Для этого мы её и тренируем. Как фокус на бизнесе вместо обычных потребителей меняет ваш подход к обучению и созданию моделей? Сами модели, например, архитектура Трансформера, как, например, оригинальная архитектура, представленная ещё в семнадцатом году, не сильно изменились. Вся индустрия всё ещё использует трансформеры. Мы изменили способ их обучения, но самой архитектуре скоро исполнится 10 лет. Когда мы тренируем нашу модель, мы не учим её быть потрясающим собеседником. развлекать тебя или удерживать твоё внимание. У нас нет метрик вовлечённости. Мы тренируем её просто для того, чтобы дополнить тебя на рабочем месте, помочь тебе делать твою работу. И это означает, что данные для обучения совсем другие. Недавно мы начали активно использовать синтетические данные. Мы создаём кучу данных, симулирующих вымышленные компании, переписку между сотрудниками этих компаний, их внутренние API. И затем мы тренируем модель в этой синтетической среде помогать этому вымышленному бизнесу. Ты считаешь, что данные - это

узкое место, учитывая способность синтетических данных создавать бесконечный ресурс. Да, данные - это всё ещё узкое место. Тебе нужны реальные данные, чтобы запустить процесс создания синтетических. Синтетика очень помогла. Модели стали лучше благодаря ей. Но доступ к высококачественным реальным данным - это всё ещё проблема. Мы до сих пор создаём много данных внутри компании с помощью аннотаторов. Это реальные, а не синтетические данные. Если посмотреть на три столпа, вычислительные мощности, алгоритмы и данные, что из этого сейчас самый большой ограничитель. Алгоритмы изменились не так сильно. Это интересно. Знаешь, когда индустрия только зарождалась, мы тренировали базовые модели. Тогда их называли просто большими языковыми моделями, но они не обучались на обратной связи от людей. Всё, что они делали, брали начало предложения и дописывали конец. Если ты пытался с ними поговорить, ничего не выходило, потому что их учили не этому. С тех пор мы тренируем модели в несколько этапов. Сначала базовая модель, потом обучение с подкреплением на основе отзывов людей, потом ещё разные техники. Но сами алгоритмы, я думаю, не являются узким местом в контексте того, чтобы сделать эти модели полезнее, чем они есть. Я считаю, что главное - это по-прежнему получение качественных данных и создание на их основе хороших синтетических данных. Говоря об узких местах, многие

беспокоятся о возможном плато. Сейчас все твердят: больше вычислений. Законы масштабирования работают как никогда. И этот экспоненциальный прогресс будет продолжаться с ещё большим количеством вычислительных мощностей. Ты согласен, что в ближайшие 12-24 месяца мы увидим экспоненциальный рост благодаря простому увеличению мощностей? Насколько, по-твоему, GPT5 лучше, чем GPT4? Я вообще считаю, что она стала хуже. Думаю, это кое-что говорит нам о стратегии простого наращивания вычислений для решения проблемы. Почему мне всё же кажется, что она стала хуже? Почему лично мне кажется, что она хуже? Потому что их новый способ выбора модели стал медленным, более громозким и неудобным. Иногда она ошибается: "Я хочу быстрый ответ". А она уходит в глубокое исследование. Господи, да дай ты мне просто быстрый ответ. Хватит, строить из себя доктора наук. В этом плане продукт стал ужасен. И мы ждали целый год или полтора, пока выйдет автоматический выбор модели. Если вернуться к твоему изначальному вопросу, поможет ли простое наращивание вычислений? Некоторые говорят, что мы достигли плато, но чтобы понять, есть ли плато, нам сначала нужно договориться, а куда вообще движется эта технология. Я считаю языковые модели невероятными. Они суперполезные. Я использую их в работе постоянно. И мы сфокусировались на бизнесе именно потому, что там, на мой взгляд, от больших языковых моделей больше всего толку. В личной жизни мне не нужно много автоматизации. Я, вообще-то, не хочу отвечать на SMS от мамы быстрее. Я хочу делать это чаще, но я хочу писать их сам. Я хочу быть вовлечённым в процесс. А вот в работе куча вещей, которые я делать не хочу. Мы должны прийти к тому этапу, когда я открываю и говорю: "Эй, оформи мои расходы". И она понимает: "О'кей, круто, надо просмотреть все твои имейлы, найти фото чеков, которые ты делал, сверить это с внутренней документацией, что вообще разрешено к возмещению, потом понять, какой API использовать для оформления в твоей компании, сделать всё это и получить одобрение, прежде чем я закончу". Это сложный многоступенчатый процесс, но именно туда движется технология. И работа над тем, чтобы научить модель этому, вовсе не вышла на плато. Это работа над моделированием, над продуктом, над созданием лучших коннекторов и безопасной интеграции данных, чтобы вы могли доверить модели доступ ко всему, что я перечислил. Эта работа продолжается, и именно этим мы занимаемся. А когда люди говорят о создании AGI, я не думаю, что эта технология приведёт нас туда. Когда ты говоришь приведёт туда, что такое это туда? Да, отличный вопрос. Мы годами обсуждаем AGI, но определений почти нет. Практически ноль. Но моё определение будет, когда так решаться и Microsoft. Да, они уже пару раз меняли своё определение на этот счёт. Когда я говорю AJI, я имею в виду компьютер, к которому ты относишься как к человеку. Если ты используешь компьютер и ожидаешь, что он будет вести себя как человек, как личность, и относишься к нему также, я назову это AI. А мы разве ещё не там? Люди не относятся к языковым моделям так же, как к людям. Как ты думаешь, Open AI и Сэм Альman, глядя на GPT5, понимают, что простое увеличение вычислений больше не даёт экспоненциального прогресса? Не знаю, они отличная компания, делают классный потребительский продукт. Просто интересно, почему мир всё ещё верит в законы масштабирования, а ты нет. Мне кажется, большая часть мира не считает законы масштабирования чем-то широко распространённым. Думаю, если пойти в университет и поговорить со студентами, изучающими информатику, да и с теми, кто не изучает, и спросите: "Хей, если просто накинуть мощности на эту проблему, мы получим Aжаi. " Большинство ответит: "Нет, ты упомянул разные кейсы. Управление расходами было одним из них". Вопрос, который волнует меня и многих других. Насколько глубоко модели заберут себе ценность на уровне приложений? Мы видим Clot, который реально бросает вызов CERS. Мы видим Open AI с кучей потребительских продуктов. Видим вас корпоративными кейсами. Как ты думаешь, модели останутся просто сырьевым слоем в стиле AWS или они захватят ценность на уровне приложений? Хороший вопрос. Я не вижу здесь большого разрыва. Эти вещи связаны. Если ты хочешь сделать хороший продукт на основе больших языковых моделей, тебе лучше всего обучить модель именно под этот продукт. Большие языковые модели прекрасно обобщают информацию, но не так хорошо, как вы думаете. Если тебе нужна лучшая модель для конкретного интерфейса, лучше всего оттренировать модель именно на этом интерфейсе. Так что я думаю, эти две вещи взаимосвязаны. Значит, мы увидим мир глубоко специализированных моделей, где под очень конкретные задачи натренированы свои модели. Например, Laps- блестящий кейс специально для голоса. Мы живём в таком мире. Ну, тут есть спектр, так в старом мире машинного обучения году эток в пятнадцатом, когда мир был ещё юн, любая задача, которую ты хотел решить нейросетью, лучшую нейросеть, ты получал, обучая модель конкретно под эту задачу. Если ты хотел распознавать картинки с котами и считать, сколько их там, тебе лучше всего было бы тренировать модели на распознавании котов. Это был лучший способ. И мир машинного обучения в первой половины того десятилетия был про это. Вот проблема. Собери датасет, обучи новую модель с нуля или возьми какую-то базовую. Но по сути натренируй модель на этом датасете и отправь продакшн. С языком так не работает. Если ты хочешь модель, которая лучше всех делает краткий пересказ, ты не можешь учить её только на нём. Её надо учить на всём языке. И это технологическая реальность, которая привела нас туда, где мы сейчас. Это верно для фундаментальных моделей, но не верно для нейросетей пятнадцатого года. Это супер интересно, но это спектр. На одном конце отдельная модель под каждую задачу, на другом одна модель для всего. Я думаю, реальность трансформеров такова, что они не на краю спектра, они где-то вот здесь. Тренируешь модель, которая хороша в языке в целом, и дорабатываешь её под то, что тебе нужно. Мы видим это на примере модели антроopic для кода. Они очень хороши в коде, но они не тренировали отдельную модель чисто для рефакторинга или отладки. Это модель, которая хороша в коде вообще. Для нас, для кохер, с нашим фокусом на бизнесе, безопасном внедрении и кастомизации, это означает обучение модели, которая хороша в помощи людям в корпоративной среде. использовать внутренние инструменты, читать огромные объёмы документации и понимать их. Значит ли это, что самой модели не нужно быть настолько умной? Опять же, я научился быть невероятно прямолинейным со временем. Если кто-то хочет покритиковать, они говорят: "Ой, ну если посмотреть на тесты, Кахер не так хороша". Ну про тесты - это отдельный долгий разговор. По сути, нас не волнует хайп в Discord или споры в интернете. Нас волнует одно. Если клиент берёт нашу модель, получает копию от нас и пытается что-то с ней сделать, мы хотим, чтобы это работало максимально просто. Именно под это мы оптимизируем. Ничто из этого, на самом деле, не отражается в различных бенчмарках, которые сменяют друг друга каждый год. Так что мы не особо фокусируемся на этом. Ты считаешь

бенчмарки чушью, потому что мы придаём им огромное значение в твиттере и на Редите. Это чушь или они являются точным отражением прогресса модели? Давай вернёмся немного назад во времени. Когда мы только начинали в этой индустрии, самым популярным бенчмарком был М1Б. Помнишь такой? Нет. Это был тест, где брали первую часть текста, например, газетной статьи, и нужно было написать вторую часть. После этого был бенчмарк ХЛСК. Помнишь такой? Да, этот я помню. Отлично. Круто. Это был где-то двадцать второй год. Это как раз, да, это было моё знакомство с темой. Об этих тестах больше никто не говорит, верно? Сейчас многие говорят об Эм или Эйми, вроде как бенчмарк на математическое мышление или я даже не знаю точно, но ни один наш клиент не просил модель заниматься математическими рассуждениями. В реальной работе это всплывает не так часто. Это нужно в редких местах, где работают математики. Но не так уж много людей в мире зарабатывают на жизнь решением математических задач. То же самое с вещами вроде Arc Challenge. Об этом бенчмарки много говорят, но это, по сути, задача на манипуляцию пикселями. Знаешь, берёшь сетку пикселей и на основе правил предсказываешь следующую. Ни один наш клиент никогда не просил модель сделать такое. И я не думаю, что попросит. Считаю ли я, что это всё чушь? Если смотреть под определённым углом, я думаю, это интересно. Там есть хорошая научная работа. Очень интересно оценивать внезапно возникающие способности моделей, но они не являются точным отражением практической пользы моделей. Они являются отражением того, насколько сильно модель натаскивали на эти конкретные показатели. То есть, по сути, их можно накрутить. Да, безусловно, можно. Делают ли так большие игроки? Не знаю. Да, я не знаю. Для нас это уже не особо актуально, понимаешь? Я не думаю, что эти лидерборды так уж полезны. В потребительском секторе это круто. Если ты делаешь приложение для обычных людей, это весело, захватывающе. Люди смотрят на рейтинги, хотят попробовать самую свежую новинку. Это прикольно. Но если ты не в потребительском секторе, людей не так сильно волнует хайп, их волнует другое. Эй, я смог запустить это в продакшн. Эй, я купил большую языковую модель, внедрил её. Я получил возврат инвестиций. Учитывая темпы внедрения, мы видим настолько быструю эволюцию моделей, что скорость их устаревания стала выше, чем когда-либо. Постоянная, следующее, следующее. Но при этом их всё ещё тренируют на чипах H1 или Nvidia, которые вышли 18 месяцев назад. Нет ли здесь рассинхрона между прогрессом моделей и прогрессом чипов? Вы можете менять в версии моделей быстрее, чем железо, но это всё равно очень медленный процесс. Когда я тренировал нейросети году в 2011м, это занимало от нескольких часов до пары дней, я помню, как думал: "С ума сойти, не могу поверить, что модель учится так долго. Сейчас мы тратим месяцы, месяцы на обучение моделей. Это масштаб времени, который я не мог предвидеть, когда работал над нейросетями давным-давно. Но это всё равно сильно отличается от сроков разработки чипов, верно? Там всё ещё медленнее. Когда ты говоришь, что мы видим, как быстро итерируются модели, да, с одной стороны, мы видим быстрые итерации и релизы новых моделей, с другой стороны, это всё ещё трансформер, изобретённый в семнадцатом году. Это всё ещё модели последовательностей. Они принимают слова и предсказывают следующее слово. Мы немного изменили способ их обучения. Мы добавили этапы. Теперь есть этап базового моделирования. Затем SFT- обучение с учителем на основе отзывов людей, когда кто-то пишет предложение, а потом пишет желаемый ответ, и мы на этом учим. Потом есть аспект обучения с подкреплением, когда модель генерирует, а ты говоришь ей: "Это хорошо, это плохо". Так что появились новые способы тренировки, но фундаментально технология та же самая. Мы продолжаем делать их лучше, итерируем, но не то, чтобы кто-то создал модель, которая фундаментально отличается от трансформера. Так что это интересная дихотомия. С одной стороны, постоянно что-то новое. С другой, чувак, мы работаем над одним и тем же уже довольно давно. давно. Что, кажется, изменилось? Так это стоимость людей, работающих над этим. Знаешь, мы видим людей на миллиард. Судя по готовности Цукерберга платить главным научным сотрудникам. Вы недавно наняли, хочу правильно назвать имя, Джоэль Пино. Да, Жэль. Да, Джеэль из Facebook. Ну или Мета. Мой вопрос к тебе. Что ты думаешь об этой войне за таланты, которую мы наблюдаем сегодня? Да, я думаю, вокруг много безумных заголовков. Я думаю, многие люди Я не знаю, сколько из этого реально. Ты не думаешь, что это реально, что антропик платит 10,15-20 млн долларов за крутых и исследователей? Понятия не имею. Я знаю, что есть много людей, которые приносят такую ценность. Знаешь, огромную пользу индустрии. Это супер влиятельная индустрия, верно? Так что я знаю, что есть люди, создающие такую ценность. Я знаю, что есть много гениальных людей. И я знаю, что это действительно очень требовательная работа. Это тяжёлый труд. Он требует большого опыта, большой изобретательности и самоотдачи. Так что я считаю, что это хорошее место, чтобы тратить своё время. И логично, что многие получают очень хорошие вознаграждение. При этом, когда я вижу истории о том, как мета нанимает людей за сотни миллионов, я читаю столько же историй о том, как эти люди уходят на следующий день. Так что я не знаю, что там у них происходит. Я знаю, что людям нравится работать там, где есть стабильность. цель и совпадение ценностей. Им нравится работать в местах, где они чувствуют себя хорошо от того, что делают. И часть этого компенсация. То

есть ты такой садишься с Эйденом и команды и думаешь: "Чёрт, нам нужно поднять зарплаты, потому что мы на пороге войны за таланты, и бюджет - большая часть этого. Мы определённо думаем: "Ну, мы - это наша компания, это то, о чём мы думаем и говорим больше всего. А компания - это люди, которые там работают". Функционально мы - это только те люди, с которыми нам посчастливилось работать. И поэтому мы думаем: "Эй, правильно ли это место для работы? Уверены ли мы, что мы даём лучшие людям с финансовой точки зрения? Но потратил бы ты 5 млн на и исследователя, если бы он приносил соответствующую ценность? Да, я имею в виду, у нас, безусловно, много людей, которые через наши акции владеют долями, владеют тем, о чём ты говоришь. Я чувствую себя отлично по этому поводу. Тебя не беспокоит, что индустрия становится чем-то вроде товара или предметом сделок из-за ажиотажа вокруг неё? Да, я думаю, хайп вокруг этого иногда вводит в заблуждение. Сама технология. Я нахожусь в таком странном положении, я разрываюсь. С одной стороны, это самая красивая технология, которую я когда-либо видел. Самая трансформационная, с которой я работал. Она уже фундаментально меняет то, как я работаю. Я уверен, что скоро она фундаментально изменит то, как работаем мы все. Я так считаю. Но с другой стороны, вокруг много хайпа, много вводящей в заблуждение риторики, много дезинформации. И я не думаю, что этот хайп помогает добраться до истины. Можно я тут углублюсь? Какой именно хайп и какая риторика, по-твоему, наносят наибольший вред или больше всего сбивают с толку? Да, я думаю, хайп вокруг AGI самый разрушительный. Это про предположение, что у нас всех не останется работы, мы все будем на безусловном базовом доходе и всё такое. Да, и даже раньше. В этом году об этом говорят уже не так много, как в прошлом и позапрошлом. Просто потому, что стало очевидно, это неправда. Но сама идея, что эта технология якобы представляет неминуемую экзистенциальную угрозу всему человечеству, была ошибочной. Она мешала обсуждать реальный вред, который может нанести технология, и то, как она может реально встряхнуть систему и привести к стремительным переменам. Это не помогало людям понять суть технологии. Сейчас я слышу это гораздо реже. Думаю, это потому, что люди поняли, что дело не в этом. Но отголоски той риторики всё ещё витают в воздухе. Они всё ещё с нами. Думаю, отголоски остались, и они сильнее всего проявляются в том, как сотрудники крупных организаций реагируют на внедрение ИИ. Люди не приветствуют внедрения ИИ в больших компаниях. Может, это европейская специфика, но многие очень нервничают, напуганы и не принимают это с распростёртыми объятиями. Интересно, я, честно говоря, не замечал этого, работая с нашими клиентами и предприятиями. Я вижу, что многие заинтересованы и рады использовать большие языковые модели, в основном, потому что они понимают, модель их дополняет. Она позволяет им не делать то, что они не хотят делать. Ты правда на это купился? Серьёзно? У меня на шоу был Бениов из Sales Force 2 дня назад, и он говорил то же самое. Человек плюс агент. Да ты серьёзно? Большинство двадцатипти-двадцатишестилетних маркетологов или продажников, прости, что говорю это, но они не гении. Они не любят своё ремесло. Они ничем не лучше, чем феноменальный и агент, который появится в ближайшие 12 месяцев. Их заменят. О, нет, я на самом деле верю в это. Да, я верю в то, что сказал. Извини. Нет, я правда я фундаментально верю в природу этой технологии. И, думаю, это становится ясно, если попользоваться ей какое-то время. Есть вещи, в которых она намного лучше тебя, но всё ещё есть масса вещей, в которых лучше люди. Смотри, большие языковые модели невероятны. Люди используют их уже годами, но они не совершили ни одного независимого прорыва. Верно? Никто не видел, чтобы кто-то попросил модель: "Эй, реши эту проблему, которую никто не мог решить". И получил ответ: "Провы всё ещё совершают люди. Разве это не вопрос времени? " Нет. Нет, это не вопрос времени. Это фундаментальный принцип работы последовательных моделей. Когда ты тренируешь статистические модели на тексте, они феноменальны, невероятны. Они могут обобщать задачи, которых раньше не видели, поэтому они так полезны. Но сама технология, когда ты говоришь о двадцатипятилетнем маркетологе, да, часть их работы это написание текста на компьютере, когда вся информация уже есть, у них есть этот документ, тот документ, этот инструмент, тот API. Им просто нужно взять это, преобразовать в другую форму, скомбинировать и выдать результат. Это работа, но это лишь часть. Это не большая часть. Основная часть - это общение с людьми. понимание культуры, понимание духо, понимание того, что выстрелит, что актуально, использование интуиции и человеческого опыта, чтобы понять, чем они могут быть полезны. И этого нет в наборе текстовых данных из интернета. Ну да, я фундаментально я не соглашусь. Знаешь, что они делают сейчас? Они говорят: "Эй, я запускаю компанию длявиана. Придумай три сюжетные линии, которые нам подойдут. Сделай их актуальными для сегодняшней повестки. Это пром. Модель выдаёт три варианта, и они такие: "О, вот этот ничего так. " Да. И мне кажется, это отличное использование, как отправная точка. Но потом, я уверен, над этим работают. Что-то отбрасывают, потому что понимают нюансы, а что-то подхватывают. О, отличный инсайт, возьму его и докручу. То, что ты описал- хороший кейс. Как трамплин это полезно. Но на этом работа не заканчивается. Это только начало. Ты просто дополнил себя. Вместо чистого листа ты начинаешь с готовых вариантов. То есть тебя не смущает, что мы увидим резкое сокращение размеров команд? Я думаю, мы увидим изменения в самой природе рабочей силы. Точно так же, как мы видели изменения, когда появился компьютер, ПК, интернет, когда изобрели печатный станок или во время промышленной революции мы видели радикальные изменения в рабочей силе. И это будет продолжаться. Какими будут изменения? Как, по-твоему, будет выглядеть компания через 5-10 лет? Ты будешь приходить на работу, садиться за компьютер и будешь преимущественно использовать язык, голос, текст для взаимодействия с ним. И каждый раз, когда нужно сделать что-то понятное, где информация доступна, где не требуется креатив или решение проблемы, ты просто знаешь, что это нужно сделать. Но делать это скучно, ты поручишь это модели. И это выглядит так. Садишься, говоришь с компьютером, заставляешь его делать то, что не хочешь делать сам. А своё время тратишь на общение с людьми, размышление о пользе, оценку результата. Я думаю, этот сдвиг может быть хаотичным. Я бы хотел, чтобы мы как мир потратили время на то, чтобы сделать эти изменения максимально лёгкими. Как убедиться, что языковые модели позволят людям делать то, что у них хорошо получается и что им нравится? Как сделать рынок труда устойчивым? Как не допустить роста неравенства доходов из-за этого? Вот о чём бы я хотел говорить. Это важные вещи. Возвращаясь к твоему вопросу о рисках AGI, разговоры об экзистенциальной угрозе мешали обсуждать реальные проблемы, такие как неравенство доходов. Ты считаешь, ИИ скорее поможет сократить неравенство или усугубит его? Думаю, это зависит от политики. Если будет хорошая трудовая политика, поможет. Если плохая, навредит. Можешь объяснить? Смотри, когда мы оглядываемся на промышленную революцию, в целом все говорят: "Это была хорошая идея". Никто не говорит: "Эй, зря мы автоматизировали". До революции 90 с лишним процентов людей работали на фермах. Сейчас, может быть, 5% или меньше. Все считают, что это было правильно, но это было безумное время. Если почитать истории того периода, люди делали вещи, которые быстро прекратили делать. Например, детский труд в угольных шахтах. Это было безумие. И из той революции родилась куча хороших трудовых политик, профсоюзы, права рабочих, вещи, которые, как мы считаем, не только улучшили жизнь людей, но и повысили продуктивность, улучшили экономику и мир в целом. Многое из этого пришло из государственной политики, из решений, принятых совместно бизнесом и правительством. Но зачем нам такие серьёзные изменения в политике, если ИИ только дополняет людей, а не заменяет их? Ну, мы видим, что неравенство доходов растёт последнее несколько лет. И много из этого началось ещё до и до популяризации языковых моделей. Я беспокоюсь, что технология может усугубить эту ситуацию, если её неправильно внедрять. И если не будет грамотной политики в сфере занятости, — подпишись прямо сейчас на мой Telegram-канал по ссылке в описании. Я подготовил для тебя топ-три материала, которые, на мой взгляд, должен знать каждый. Первое, карта сотни топовых AI стартапов - это будущее на одной картинке. Второе, прогноз от инсайдера из OpenI, который ещё до появления чат GPT предсказал всё, что сейчас происходит с нейронками. И вот в этом году он выпустил новый прогноз до двадцать седьмого года. И третье, самое мощное - это мой разбор эссе основателя компании Anтроopic, который по сути второй человек в мире искусственного интеллекта. Он по полочкам разложил, что

будет происходить в мире ближайшие 5 лет. И главное, каким будет универсальный AI, которого все так боятся или ждут. Переходи по ссылке в описании. Можно спросить, когда ты думаешь о проблемах, многих волнует спор открытое против закрытого. Как ты думаешь, где окажется будущее эффективного и в балансе между открытыми и закрытыми моделями? В Кахир мы создаём наши фундаментальные модели, а затем публикуем их в Веса для некоммерческого использования. Так что мы находимся где-то посередине между открытым и закрытым. Верно? Мы коммерческая компания, то есть мы существуем, чтобы зарабатывать. И поэтому мы публикуем Веса для научных исследований. Вы можете скачать модель и запустить её на своём компьютере. Думаю, для нас это золотая середина, поскольку она даёт нам доверие в сообществе. Если люди хотят проверить наши веса, они могут это сделать, верно? Есть много компаний, которые начинали как открытые, но больше не публикуют веса своих моделей или те, кто никогда этого не делал. Так что наши модели доступны. Вы можете посмотреть их, использовать, проверить, сработала ли она на моей задаче. Да или нет. Но если вы используете их в коммерческих целях, вы должны поговорить с нами, и мы выстраиваем коммерческие отношения, чтобы мы могли, ну, существовать как бизнес. Нас это устраивает. Я удивлён, что не больше компаний и не больше создателей фундаментальных моделей придерживаются такой тактики. Ты думаешь, мета перейдёт от открытой модели к закрытой? Они, безусловно, намекали на это. Да, это похоже на правду, но я не знаю, что они там делают. Думаю, мало кто знает, что там происходит, и я не трачу много времени на размышление об этом. Ты не считаешь, что основателям полезно быть в курсе конкурентной среды на случай, если клиенты спросят: "Эй, почему вы не более открыты или не более закрыты? " Наши данные в безопасности, если вы, как и в большинстве случаев, здесь лучше всего находиться посередине, верно? Ты можешь потратить всё своё время как основатель, только глядя на конкурентов и думая: "О, почему они делают это, а это? Что там происходит? " И думаю, это не принесёт тебе пользы. Ты можешь также провести всё время, засунув голову в песок, и думать только о том, что происходит в твоей компании. И это, думаю, тоже не поможет. Нужно найти золотую середину. От дискурса вокруг ИИ невозможно скрыться. Тебе будет сложно игнорировать его. Это каждая вторая новость. Он повсюду. Я не думаю, что многие люди в индустрии страдают от недостатка информации о том, что происходит в ИИ. Я думаю, многие страдают от её переизбытка и одержимости мелкими деталями. Типа, насколько этот парень стал на 0,2% лучше в этом тесте? Или постоянные крошечные изменения в бизнесе конкурентов. И я считаю, что это может отвлечь тебя от главного. Что ты на самом деле делаешь? Кому помогаешь? Как это улучшит жизнь твоих клиентов? Как ты думаешь

через 5 лет промптинг останется основным механизмом ввода информации пользователем? Промптинг. В смысле? Ты что-то пишешь модели, а она отвечает: "Да, да, а что ещё меняется? " То, как ты это делаешь? Ты не будешь говорить: "Эй, сделай тон смешным" или добавь лёгкий персонализированный, но искренний стиль. Я думаю, что идея промптинга как особого навыка станет менее актуальной. Если посмотреть на траекторию, когда я только начинал этим заниматься, если ты хотел, чтобы модель что-то просуммировала, ты писал первый абзац, а потом писал вкратце с новой строки и генерировал. И вот это было искусством промтинга. Понять, как обмануть модель, заставить её сделать то, что ты хочешь. А это происходило потому, что модели не были обучены на обратной связи от людей. Они были научены только на тексте из сети. И всё, чем они были - это последовательные модели, основанные на тексте из сети. А никто в сети не писал, пожалуйста, просуммируй это для меня. А потом сам мари люди писали абзац, а потом вкратце. И если ты хочешь, чтобы модель это сделала, ты делал так же. Сейчас мы обучаем языковые модели так, чтобы они лучше соответствовали тому, как люди ожидают, что они будут работать. И это означает, что становиться суперпрофи в промнге уже не так важно. Так что, думаю, идея, что тебе нужно научиться промптить, уйдёт. Я думаю, останется идея, что тебе нужно понимать, как работают языковые модели, и знать, что они могут, а что нет. Точно так же, как ты должен был понять, как работает компьютер и что он может, а что нет, как работает телефон нет. Думаю, это останется. И это означает, что промтинг останется. Идея, что ты что-то пишешь или говоришь модели, получаешь ответ и если он не нравится, немного дорабатываешь, это останется. Это фундаментальный принцип работы технологии. Но идея, что это целая дисциплина, которую нужно специально изучать, мы уже видим, что эта траектория уже стала проще. Я ищу людей, которые знают, как работает языковая модель, и знают. Одна из основных вещей, которая была необходимым компонентом работы здесь, в Кахир, нельзя считать технологию магией. Нельзя думать, что мы колдуем заклинания. Ты должен знать, как работает языковая модель, как она обучается и что это значит для неё. Какие способности проявляются, а какие нет. Нельзя думать: "О, я просто попрошу цифрового бога сделать мою работу". И он сделает. Это не та технология, и такое мышление не поможет тебе не создавать её, ни использовать.

Если сфокусироваться немного на тебе, ты руководил значительной частью последнего раунда сбора средств, как мы говорили. Каким был этот путь по сбору средств? Есть ли урок, который ты вынес? Ты собрал 600 млн. Верно. Да. Но в сборе средств Кахир участвуют множество людей. Я ни в коем случае не был единственным лидером, но я участвовал, и мне нравилось говорить с людьми о технологии и о том, что мы строим. Мне, на самом деле, очень нравится общаться с венчурными капиталистами, пенсионными фондами и разными людьми. Мне нравится Кахир, мне нравится то, что мы строим. И мне нравится говорить, поэтому мне нравится говорить об обеих этих вещах. Что общего в этих вопросах? О, между ними? Да, это интересный вопрос. Я думаю, индустрия стала намного более зрелой. Вот 2 года назад, когда мы привлекали средства или 3 года назад, многие вопросы были: "Что это такое, как вы собираетесь? Что? Как это работает? " И нам приходилось тратить больше времени на объяснение. Сейчас люди в основном знают, как это работает и что оно делает. И теперь мы можем говорить вот что мы делаем конкретно для наших клиентов. Вот как RBC это использует. Вот что мы делаем с FUGITSO. Вот что LG делает с этим. Мы можем говорить об этих вещах конкретно, и это интереснее. Сколько из 600 млн будет потрачено на вычисление? О, да, есть три компонента, из которых состоят языковые модели: талант, люди, инженеры и исследователи. Это вычисление и это данные. Их важность и расходы на них со временем менялись. Мы тренируем очень эффективно. Мы тренируем модели. Мы тренируем эффективные модели. Например, наша модель Командар или модель команда Reasoning, которую мы только что выпустили. Все они обучены, чтобы помещаться на две видеокарты. Это очень важная часть нашей бизнес-стратегии. Оказывается, если поговорить со многими компаниями, которые хотели развернуть модели в продакшене, их сдерживало внедрение, потому что у них не хватало GPU. Две видеокарты - это золотая середина между производительностью и стоимостью, а также количеством GPU, к которым у нас был доступ. Так что это обозначает, что мы обучаем очень эффективно. Мы потратили на порядке меньше денег на создание фундаментальных моделей, чем некоторые другие компании, занимающиеся фундаментальными моделями. Действительно, на порядке меньше. Я очень горжусь эффективностью команды и тем, что они сделали с теми ресурсами, которые у них есть. Мы много думаем об эффективности для себя и для наших клиентов. И эти две вещи взаимосвязаны. Но сколько нашего финансирования идёт на вычисление? Это меняется с годами, но всегда много. Вычисление - это дорого. Как оно менялось годами? Когда мы только основали Кахир, одна из самых первых вещей, которые мы сделали, поскольку у нас не было финансирования или его было очень мало, мы почти ничего не тратили на вычисление. Мы показали, что можно обучить модель, имея небольшую часть GPU здесь, небольшую там, и можно связать их вместе. Мы опубликовали несколько статей обучении моделей, используя буквально обрезки GPU в дата-центрах. С этого мы начинали и показали, что это возможно. Но так делать очень медленно. Намного проще просто арендовать большой дата-центр и обучать модель там. Вопрос, который задают все.

Как вы конкурируете с компаниями, у которых миллиарды и миллиарды долларов? Ты ненавидишь этот вопрос? И как ты на него отвечаешь? Нет, я ненавижу этот вопрос. Думаю, это нормальный вопрос. Мы объявляли о раундах финансирования, и вы можете видеть, что они меньше, чем некоторые другие. Да, мы довольно однозначно сфокусированы, в отличие от других компаний, которые создают фундаментальные модели. У нас нет потребительского приложения. Мы не пытаемся заставить кого-либо тратить 200 долларов в месяц на что-то для их личной жизни. Мы сосредоточены исключительно на работе с предприятиями и бизнесом, на том, чтобы помочь им внедрить ИИ в производство. Я постоянно говорю людям: "Не, а возврат инвестиций. Возврат инвестиций, а не AGI. Да, и компании пытались выйти на производство с ИИ, используя. Ты просто думаешь, что тогда OpenAI и Antropic просто уступят корпоративный сектор? Я думаю, что сейчас обе эти компании довольно крутые. Обе создали хорошие потребительские продукты, но я думаю, что наибольшую ценность эта технология приносит в работе для личных целей. Вот где я вижу наибольшую пользу этой технологии. Не знаю, начнут ли они работать над этим. Я знаю, что создание моделей, которые работают в корпоративной сфере, сильно отличается от создания моделей для потребительского рынка. В потребительской среде ты можешь сделать самую большую модель. Можешь использовать сложные переключатели, чтобы перенаправить запрос к этой или той модели, потому что ты просто размещаешь это на огромном количестве GPU. Ты можешь терять кучу денег на каждом вызове инференса, но зато ты привлекаешь пользователей, и это работает. Типы моделей, которые нужно создавать для успеха в бизнесе, другие. Я знаю, какая работа нужна над интерфейсом. Мы анонсировали Норf, наш агентский фреймворк. Он используется локально, настраивается для офисных работников внутри предприятия. Он выглядит совсем иначе, чем потребительские приложения. Верно? Например, наша модель не генерирует изображения. Большинству работников не нужно генерировать изображение в рамках своей работы. Но как потребителю очень весело. О, дай мне картинку того-то. Так что типы модели, которые мы обучаем, разные и интерфейсы, которые мы делаем, разные. Не знаю, заинтересуются ли они этим когда-нибудь. Думаю, мы сосредоточимся на общении с клиентами и создании ценности. Как вы устанавливаете цены? Это полностью зависит от того, что клиент хочет с нами делать. У нас есть клиенты, для которых мы создаём кастомную модель и отдаём им эту модель. То есть у вас есть инженеры, работающие непосредственно у клиента. У нас есть, да, и они ключевой компонент того, как мы помогаем компании запуститься и выйти в работу вместе с нами. Как ты думаешь, в будущем мире и у всех будут инженеры, работающие непосредственно у клиента, как это гламуризировал Палантир? Да, я думаю, инженеры, работающие у клиента - это хорошая идея. Ты продаёшь кому-то технологию. Логично, что есть инженеры, которые приходят и помогают им настроить её и работают с ними, чтобы убедиться, что она действительно приносит пользу. Думаю, это хорошая идея. Не знаю, верно ли это для каждого бизнеса. Ани поощряют ли инженеры, работающие у клиента использование плохой технологии? Я имею в виду, нет, нет. Я думаю, иногда возникает мысль. Мысль? О, да, ты можешь просто создать вещь, и она будет идеально работать для каждого бизнеса, не требуя никакого участия. Но это не так. Так работает какая-то технология. Так работает много потребительских технологий. Но корпоративные технологии так в основном не работают. Ты продаёшь людям вещи, которые должны быть согласованы с тем, как устроен их бизнес. И поэтому полезно, когда инженеры приходят и говорят: "Вот модель, вот что мы можем сделать, чтобы она идеально подошла до твоего конкретного случая". Учитывая, что вы

продаёте предприятием, я инвестор в корпоративный сектор и люблю его, качество выручки намного ниже. Она более постоянная, но рост медленнее, потому что вы работаете с крупными предприятиями. Как ты думаешь, у вас был и есть корпоративный дисконт в оценке из-за более медленного роста выручки, вызванного работой с предприятиями? Это такой хороший вопрос. Может быть, я очень горжусь тем, что мы сделали и создали. Какова была цена в последнем раунде? Это было публично. Я думаю, это было около 6,7 млрд. Да, 6,8. Да, это всё ошеломляющие числа. Это всё числа, которые невозможно представить отдельному человеку. Мы так далеко от этого. Знаешь, как для обычного человека это выходит за рамки того, с чем ты можешь сталкиваться в обычной жизни. Думаешь, для обычного человека, который вырос, работая поваром, да? Моя первая работа была жарить бургеры. Эти цифры все сумасшедшие. Ты беспокоишься о деньгах? Да, конечно. Думаю, все беспокоятся о деньгах. И деньги движут всеми. Из-за того, что тобой движут деньги, ты являешься невероятно привлекательным активом. И это всегда было стратегически важным моментом для крупных игроков. У тебя были предложения о слиянии и поглощении? Да, иногда были. Как проходило принятие решений? Я всегда хочу оказаться в той комнате. Я всегда представляю себе грозовые ночи, людей, собирающихся вместе под дождём. Нет, нет, нет. Да, у нас были, смотри, мы компания уже 5 лет. Да, были. Не было соблазна. Мы все очень заинтересованы, мы все соучредители. И теперь люди, которые здесь работают, мы все Эйден часто говорит о создании компании на поколение. Мы все очень заинтересованы в создании чего-то, что переживёт нас и выйдет за рамки нашего участия. Это очень захватывающе. Почему ты этого хочешь? Я знаю, это звучит странно. Почему ты хочешь что-то, что переживёт тебя? О, да, это хороший вопрос. Помнишь, я говорил, что иногда мне задают философские вопросы, и мы слишком отклоняемся от темы. Да, это один из таких. Нет, это круто, мне нравится. Вот почему люди говорят: "О, и может заменить тебя как интервью и Рагари". А я говорю: "Нет, не может". Потому что у него нет той двусмысленности, чтобы внезапно спросить: "Бу! Почему это на самом деле важно? Тогда, если ты думаешь так, как ты только что сказал, почему ты не думаешь, что это применимо ко всем работам? " О, потому что я считаю, что то, чем я занимаюсь - это очень дисциплинированное искусство, отточенное за 10 лет по сравнению с СМ-менеджером, который в двадцать четвёртом году выходит из университета и пишет о публикации нашего нового отчёта. Каждый думает, что то, что он делает, отточено и натренировано. Тогда почему моя оплачивается миллионами, а его нет? Да, потому что общество стратегически ценит мою работу больше. Если быть грубым и честным, я вырежу это, потому что очень немногие могут это делать. Есть работа, которую легче выполнять, которую можно освоить быстрее. Или, знаешь, ты можешь быстро войти в курс дела. А есть вещи, которые требуют действительно много времени. И единственный способ, которым ты сможешь выполнять эту работу - это если ты потратишь на неё очень много времени. И есть вещи, которые сложнее, и вещи, в которых больше самостоятельности. И наша экономика, ну, неплохо разбирается в этом и компенсирует людям, исходя из инвестиций, которые им пришлось сделать, и навыков, которые им пришлось приобрести, чтобы туда попасть. Но я не думаю, что она идеальна. Я не думаю. Я считаю, что каждый человек думает и должен думать, что работа, которую он делает - это навык, который он приобрёл. И во многом это так и есть. И даже работа на некоторых из самых тяжёлых должностей, некоторые из самых тяжёлых дней, которые у меня когда-либо были на работе, это когда я стоял у гриля, готовил завтраки и бургеры для людей, и это было суперхаотично и напряжённо. И там не было кондиционера, потому что он сломался. И мне приходилось бежать через дорогу, чтобы купить дополнительную картошку, потому что мы не подготовились. Это была сложная и благодарная работа. Что тот факт, что в то время мне платили минимальную зарплату, означает, что она не была ценной. Но это так. Она определённо менее ценна, за неё определённо платят меньше. Невидимая рука Адама Смита предполагала бы, что то, что ты пошёл за дополнительной картошкой, которая стала дополнительной порцией картофеля фри для кого-то, кому, вероятно, не нужно было больше картофеля фри. гриле с моделью разового потребления определённо менее ценно. Да, по сравнению с тем, что делает твоя команда, что влияет на тысячи сотрудников в некоторых из крупнейших компаний мира. Я рад, что делаю это. Это то, что возымеет последующее влияние на миллионы пользователей fugitsцу. Это действительно определённо менее значимая и менее ценная работа. Да. Опять же, как и в нескольких случаях в этом разговоре, есть одна крайность, которая говорит, что невидимая рука абсолютно точна, и то, сколько тебе платят - это ровно столько, сколько ценностей ты создаёшь. А есть другая сторона, которая говорит: "Да ладно, всё одинаково, кто знает, какая разница, всё одно и то же". Есть некая золотая середина. Возвращаясь к вопросу, почему важно, что у вас компания на поколение, после того, как мы свернули на Адама и Смита, да, одна вещь, которая приходит на ум - это взгляните на мои дела и отчайтесь. Ну, Азимандия и идея о том, что люди одержимы своим наследием и строят, знаешь ли, некую статую своего величия. И однажды она тоже падёт. Верно? Однажды останутся только две ноги в пустыне. Это правда? И это правда независимо от того, что ты строишь. Но когда я думаю о строительстве, о том, что меня вдохновляет в создании Кахир, и когда я говорю о компании на поколение, я имею в виду временной масштаб поколений. Я не имею в виду свои поколения. Я имею в виду идею создания чего-то, что будет существовать долго. Это приносит удовлетворение. Это по-человечески. Мы все любим думать о том, что мы строим и как долго это будет существовать. И будь то произведение искусства или реальное здание, или компания, или философия, или идея, идея создания чего-то, или участия в строительстве чего-то, что больше тебя приносит удовлетворение и является, ну, фундаментально человеческим. Хотя в какой-то момент, да, это будут две ступни в пустыне. Обе эти вещи верны. Это приносит удовлетворение и волнует. И в конечном счёте, как и со всем остальным. Какое самое большое разногласие было у тебя с Эйденом? У нас были разногласия по поводу дизайна API. Например, был короткий момент перед обучением с подкреплением на основе отзывов людей, когда мы обсуждали: "О, мы должны сделать конечную точку для краткого изложения, конечную точку для извлечения сущностей или что-то в этом роде". И, кажется, мы не сошлись во мнениях. Так что мы спорили о каких-то низкоуровневых вещах. Но кроме этого, знаешь, мне посчастливилось работать и с Эйденом, и с Иваном, и другими соучредителями. Я их очень уважаю, и мы, безусловно, спорим и пререкаемся по мелочам о том, как вести бизнес. Должны ли мы сделать это? Должны ли мы принять эту политику? Но не было ничего прям крупного. Я разговаривал с Равиндом из Перплексити, кажется, месяц назад. Я, на самом деле, разговаривал с ним. Это звучит так закулисно, но это было на сцене перед 4. 000 человек. Это не был частный разговор. И я сказал ему: "Мне кажется, что ты, Сэм, Дарио, все лидеры компаний, занимающихся фундаментальными моделями, вы, по сути, просто президенты, которые сидят на вершине машины и громко высказывают своё мнение, потому что мы живём в мире, в котором нужно громко высказываться". А потом все в машине делают работу. И он сказал: "Это именно то, чем мы все занимаемся". Да, я, Сэм, Дарио. Назови любого. Мы просто должны быть перед каждой камерой, давать каждое интервью, постоянно выражать взгляды организации, потому что сегодня так важно быть на виду и быть актуальным. Как ты думаешь, Кахир достаточно рассказывает о себе публично? Но они же все потребительские компании. Они все фундаментально зарабатывают деньги на подписках от потребителей. и антропик квази. Я бы сказал, что большинство - это корпоративный сектор. большая часть - это скорее вызовы API от кодеров. Верно? Это огромная часть их бизнеса. Так что, возможно, это, я не знаю, 50% Кёрср или что-то в этом роде. Но теперь, да, они конкурируют с CRСР, но многое всё равно сводится к индивидуальному решению потребителя. Так что в их случае я понимаю мотивацию. Да, вы продаёте потребителям, вы хотите рассказывать историю. Потребителям сейчас очень интересна эта история. В этом есть смысл для них. Мы делаем не это. Мы не продаём. Ты не можешь потратить 200 долларов в месяц на Кахир, как частнае лицо. У нас нет такого предложения. Так что для нас это не так важно. Могли бы мы лучше рассказывать о том, что делаем? Когда меня просят прийти сюда. Я с радостью соглашаюсь. Мне нравится говорить с тобой. Мне нравится говорить о Кахир. Я считаю, что это важно. Считаю ли я, что это самое главное? Нет. Я считаю, что создание продукта - это самое главное. Я считаю, что решение проблем наших клиентов создание лучшей модели для них - это самое главное. Ты считаешь это важнее, чем обсуждать со мной невидимую руку Адама Смита? Да, считаю. Да, к сожалению. Да, как ты смеешь? Нет, мне понравилось. Это уморительно. Одна область, которую

мы не затронули, но она интересна. Это область суверенитета. Мы сейчас сидим в Лондоне, а Мистраль в Париже. И у меня сейчас только проблемник. Моя мама говорит, что у меня синдром Аспергера, но я называю это свободой слова. Но мы все говорим, что мистраль - это европейская игра, и поэтому их финансируют и продолжают финансировать. Как ты думаешь, увидим ли мы суверенные модели и использование ИИ, обусловленные географией? Я думаю, что эта технология очень похожа на инфраструктуру. Я считаю, что создание языковой модели, которая говорит на языке твоей страны, это как строительство инфраструктуры для людей твоей страны. Так что в целом я считаю, что это хорошая идея. Я думаю, что последние 20 лет технологической истории и даже дольше были очень сильно определены Кремниевой долиной. Они Калифорнией и Америкой. Я думаю, что многие люди не очень этому рады. справедливо расстроены некоторыми событиями, верно? Я раньше был настоящим технологическим оптимистом. Мне нравилось, как создавались технологии. И я думал: "О, это так захватывающе". Я бы не назвал себя технологическим оптимистом в течение последних 10 лет. Ух ты, почему? Что изменилось? Ну подожди, прости. Позволь мне сначала ответить на вопрос о суверенитете, прежде чем я пойду по той касательной. Итак, да, я думаю, что есть много людей, которые заинтересованы в создании этой инфраструктуры, этой культуры внутри своей страны и в обладании технологией для своей экономики. Я думаю, что простое использование модели, созданной Китаем или Америкой, может не настроить твою страну и твою экономику так же хорошо, как наличие модели, которая понимает контекст, обучена на этом языке, на этом диалекте, обладает необходимой культурной грамотностью для расширения возможностей. людей этой страны. Так что я считаю, что это хорошая идея. Как именно это будет выглядеть, ну, я не уверен. Геополитика, очевидно, сильно влияет. Как ты думаешь, геополитика повлияла на решение клиентов относительно суверенитета моделей в тех обсуждениях, которые ты наблюдаешь? Ну, я думаю, что то, что мы канадцы, является нашим преимуществом. Думаю, это полезно для людей. Канадские компании хотят покупать вас больше. Я думаю, что компании по всему миру заинтересованы в общении с нами. И отчасти это потому, что мы канадцы. Смотри, за последние несколько лет Америка показала, что она готова отключать доступ к технологиям по политическим причинам. Верно? Мы видели, что связи между американскими технологиями и американским правительством становятся всё менее ясными со временем. Что это значит? Я британец. Это значит, что Трамп влияет на американские технологические компании? Похоже на то. Да. Да, похоже на то. Я имею в виду, даже на прошлой неделе, кажется, они объявили, что приобретают 10% акций Intel. Это интересное развитие событий. Я не экономист и не знаю, хорошо это для страны или нет, но это интересное развитие событий. Поэтому я думаю, что многие компании в Канаде и по всему миру заинтересованы в работе с неамериканскими технологическими компаниями. Я бы сказал, что для нас это преимущество. Ты думаешь, правительства должны финансировать суверенные модели? То есть является ли для Европы империтивом иметь мистраль в качестве актива для Европы? Я думаю, что для стран хорошая идея иметь инфраструктуру внутри своих стран. Я думаю, что для людей хорошая идея иметь электростанции в своей стране. Мне нравится, что в Канаде есть несколько атомных электростанций и гидроэлектростанций. Это здорово. Я думаю, языковые модели не так уж сильно отличаются от этой инфраструктуры. Ты думаешь, наше основное устройство ввода информации по-прежнему будет телефоном через 5 лет? Я думаю, что язык Я знаю, что язык будет более важной частью этого. Я думаю, что фундаментально мы должны взаимодействовать с компьютерами, используя язык в большинстве случаев. Не во всех. Бывают моменты, когда язык на самом деле не лучший способ взаимодействия с компьютером. Намного лучше иметь графический пользовательский интерфейс, где ты что-то делаешь. Я знаю, что в прошлом году был Rabit Re. Был Human Pin, и они не совсем попали в точку. Но я думаю, что-то в этом было крутое. Эй, как мы можем использовать языковую модель для более эффективной работы с компьютером? Я ещё не видел, чтобы это было сделано правильно, и не знаю, будет ли это. Я не знаю, потому ли это, что люди не одна из вещей, возвращаясь к технологическому оптимизму. Я был очень взволнован, когда вышли Google Glass. Я думал, это очень круто. Да, я тоже. А потом у меня это было на аватарке, да? А потом я однажды сел в автобус, и на ком-то были Google Glass, и они были такими хрупкими. И внезапно все это увидели мгновенно, сразу заметили. И я думаю, я был очень взволнован VR в течение некоторого времени, а потом я понял, что на самом деле не хочу пристёгивать компьютер к своему лицу. Я не заинтересован в том, чтобы ещё больше отключаться от мира. Я хочу быть более вовлечённым в мир, чем сейчас. Я не хочу, чтобы меня отстраняло ещё больше вещей. Я не думаю, что многие люди этого хотят. Ты просто беспокоишься о том, что это настолько масштабно. Это состояние мира с точки зрения депрессии, одиночества, знаешь, самой большой пандемии, эпидемии, как бы мы это не назвали. Я никогда не знаю разницы между пандемией и эпидемией. Вау, это такой подкаст. Я не делал много подкастов. Это самый подкастный подкаст, который я когда-либо делал. Я просто это слишком интересно, когда я думаю: "К чёрту всё". Нет, это интересные вопросы. Я счастлив о них поговорить. Я просто так нервничаю по поводу состояния одиночества, неуверенности, расстройств пищевого поведения, зацикленности на материальном у молодых людей. Самая желанная работа, которую хочет получить любой молодой человек - это быть инфлюенсером. Да, есть вещи, о которых ты говоришь, которые меня беспокоят. И я беспокоюсь, да, о распаде сообщества. Я думаю, как я говорил ранее, я хочу быть более вовлечённым в мир. Я хочу, чтобы технология, которую я использую, лучше связывала меня с миром. Я не хочу, чтобы она отключала меня от мира. Думаю, многие люди это чувствуют. Я думаю, многие люди ищут способ большего соединения с технологиями. Я занимаюсь музыкой. Во многом я играю музыку, потому что это мгновенно. Это связывает тебя с людьми, с которыми ты играешь, и с людьми, которые тебя слушают. И многие люди, которые приходят послушать музыку, приходят, чтобы соединиться в моменте. Это действительно важная часть. Так что я думаю, многие люди это чувствуют. Я думаю, что многие люди чувствуют это, потому что они статистически переживают то, что ты описываешь в своей личной жизни. Я также знаю, что это беспокойство типа: "О, нет, мир сегодня такой плохой, и всё идёт в неправильном направлении, и дети сегодня такие странные. Раньше было лучше". Это исторически повсеместное явление. И все всегда так думали, начиная с греческих философов, оплакивающих распространённость письма, потому что оно заставит людей перестать пользоваться своей памятью и говорящих: "О, нет, дети сегодня не понимают чести". и заканчивая людьми, оплакивающими распространение газет, потому что все сидят в автобусе и читают газеты, вместо того, чтобы сидеть в автобусе и разговаривать друг с другом. Итак, я думаю, что есть две взаимоисключающие вещи. Первое, да, меня беспокоит всё, о чём ты говоришь. Я думаю, что технологии и люди, которые создают технологии, должны очень серьёзно подумать о том, помогает ли их технология в этом или вредит. Я думаю, это так. Второе. Всегда думали, что время, в котором они живут - это худшее время. И ты должен удерживать оба этих противоречивых взгляда в своей голове. Я пришлю тебе после этого блестящую песню. И это, на самом деле, не песня, а это как бы выпускная речь База Лурмана. И она называется Sunscreen. И она говорит именно об этом. Каждое поколение всегда оглядывается назад и говорит: "О, сегодня цены так высоки и дети такие грубые, а в моё время было лучше". И это такой непрерывный жизненный паттерн оглядываться назад и думать, что было лучше, чем то, что у нас есть сегодня. Да, но это, смотри, если говорить о внутреннечеловеческих вещах, то это тоже кажется обычным человеческим желанием. Хотеть быть частью чего-то большего, хотеть создать что-то, что переживёт тебя человечно, думать, что всё было

лучше, когда ты был молод. Хорошо, мы сделаем блиц, да? Так что если бы ты был Сэмом Альтманом сегодня, что бы ты сделал? Он не делает. Я не думаю, что Сэм Альтман оказал услугу миру. Говоря о том, как близок Ag, я думаю, что он сделал несколько прогнозов, которые оказались неверными и которые были, очевидно, неверными в то время, когда он их делал. Какой из них самый пророческий? О, например, что Ии убьёт весь мир через 2 года. Он намекал на такие вещи. Он совершил мировое турне, где разговаривал со всеми крупными лидерами по всему миру, чтобы сказать им: "Эй, эта технология будет, ну, представляет экзистенциальную угрозу". Я думаю, что это было академически неискренне. нанесло ущерб технологии, которую он любит. Ты не видишь корреляции между словами, которые кто-то говорит о будущем AGI и EИ и их потребностями в финансировании? Я не знаю, что это. Ты понимаешь, о чём я? Это как Демис и Цукерберг долгое время не нуждались в финансировании, и они гораздо более сбалансированы, нейтральны. А другие люди, которым нужно финансирование, должны быть гораздо более провокационными и заметными, потому что им нужны твои чёртовые доллары. Да, я не знаю, была ли эта стратегия. Корреляция, на которую ты указываешь, существует. Я бы сказал, что мы компания, финансируемая венчурным капиталом, и нам не нужно финансирование, но мы этого не говорим. Что меня на самом деле беспокоит, так это то, что даже риторика твоих дэмисов и Цукербергов изменилась. Даже их агрессивность по отношению к грядущим изменениям перевернулась. что заставляет меня волноваться. Почему это заставляет волноваться? По той причине, что на самом деле мы гораздо ближе, чем думаем, к очень существенным сдвигам в структурах труда, в поведении рабочей силы, когда даже Цукерберг, который не нуждался в деньгах ни от кого, или Демис, который не нуждается в них ни от кого, говорят: "О, чёрт, изменения реальны". Да, но есть некоторые реальные изменения. Верно, я не хочу. Это технология фундаментально преобразующая, так же как персональный компьютер, фундаментально преобразующий, как промышленная революция. Паровые двигатели, печатный станок, это всё крупные технологии. Я действительно так считаю. Так что есть много разумных вещей, о которых стоит поговорить. И я рад, что люди говорят о них. Есть также много неразумных вещей, на которые эти люди тратят своё время. Какой у вас, как у основателей, ритуал после закрытия каждого раунда? Кто тебе об этом рассказал, Джордан? Это забавно. Мы едем в McDonald's. Вы едете в McDonald's? Мы едем в McDonald's? Да. И едите одно и то же? Да. Я обычно беру два джунир Chcken. Я не помню, почему это началось, но буквально после каждого раунда вы едете в McDonald's. После того, как подписали документы, мы втроём едем в McDonald's. Сколько раундов вы провели? Пять. Че? 5че Мне это нравится. Это потрясающе. Вы едете в McDonald's. Что самое худшее может случиться с регулированием в отношении Из-за ошибок. понимание технологии. И знаешь, из-за того, что люди думают, будто то, что мы строим - это цифровые боги, чем многие большие языковые модели не являются, но если ты думаешь, что они строят именно это, то можешь подумать: "О'кей, круто, нам нужно, знаешь, придумать бенчмарки, связанные с экзистенциальными угрозами". Я думаю, бывают моменты, когда рассмотрение таких бенчмарков, например, зацикленность на определённых бенчмарках, которыми можно манипулировать и которые можно обучить делать что-то либо намного лучше, либо намного хуже, не помогает в определении того, как технологию можно использовать и злоупотреблять её. Так что я думаю, что худшее, что может сделать регулирование - это сказать: "Мы выберем этот случайный бенчмарк, который, по нашему мнению, представляет AGI, и мы, ну, остановим любое развитие в этом направлении". Я думаю, это было бы ошибкой. Ты думаешь, Китай будет производить лидирующие модели в течение следующих дву лет, которые продолжат превосходить модели США? Не думаю. Они ещё не сделали этого. Они сделали хорошие модели, определённо хорошие модели, но я не думаю, что они сделали модели, которые превосходят другие модели. Тебя они беспокоят возможности моделей Китая. Когда я смотрю на темпы Китая, за неделю, около месяца назад, появилось семь новых поставщиков моделей, и они были довольно хорошими. И я подумал: "Вау! Да, я имею в виду, Китай очень интересная страна, но беспокоит ли меня это? " Я бы сказал: "Нет, я не думаю, что меня это беспокоит. Я думаю, что они продолжат создавать модели, и эти модели будут полезны, и они будут особенно хороши в тех вещах, на которых они их обучали. Но это не вызывает у меня. Каков твой самый смелый прогноз для больших языковых моделей в двадцать шестом году? В двадцать шестом ты сможешь открыть компьютер, ну, войти в Norf или любое другое приложение, которое ты используешь, и сказать: "Оформи мои расходы". И тогда модель выяснит, какая политика расходов действует и где находятся фотографии, и сделает всё это за тебя. Это мой самый смелый прогноз. Я знаю, что он не очень смелый. Я знаю, что в некотором смысле это о звучит не так уж и далеко. И тем не менее, заставить это реально работать и быть чем-то, на что ты можешь положиться, ещё не удалось. Это не в каждой компании. Большинство людей не имеют опыта, который я только что описал. И я думаю, что это станет повсеместным способом использования компьютера. Я думаю, что мой финансовый директор полюбил бы тебя. Нас постоянно гоняют с расходами. Полностью понимаю. Если бы ты не был в Кахир, то где бы ты хотел оказаться? Google великолепен. Deep Майind создаёт классные вещи. Это захватывающе. Появились ли какие-либо инструменты, которые ты добавил в свой рабочий процесс и которые значительно повысили твою продуктивность? Для меня, например, WHF Flow. О, Whisper, да, конечно же, NORF - наш собственный продукт, но я использую CER. И CERSр - отличное приложение для кодирования. Ты требуешь, чтобы вся команда инженеров использовала CSRр? Нет, вовсе нет. Кто-нибудь использует Винсорф или Дэвин? Думаю, да. Я не уверен. Думаю, люди, да, мы не требуем использовать один инструмент. Я думаю, что многие полагаются на модели. Чувствителен ли ты к повышению стоимости CРСер? Нет, но я живу привилегированной жизнью. Я могу себе позволить не переживать об этом. Но когда цена, когда стоимость вырастет в 10 раз, а у тебя 100 инженеров, о, как бизнес, да, как бизнес, очевидно. Как это проявляется? Увидим ли мы такую вещь, как, ну, для нас, да, я имею в виду, мы создаём свои собственные модели. Так что если бы мы захотели использовать, знаешь, нашу собственную модель и подключить его к расширению VSode, это было бы то, что мы могли бы сделать. Будет ли качество вывода схожим прямо сейчас? Нет, нет. CSRР - хороший продукт. Они сделали, знаешь, они проделали действительно хорошую работу с UX, но если бы цена выросла в 10-100 раз, то, конечно, мы начали бы думать. Увидим ли мы триллионную компанию в сфере ИИ за пределами США в следующем десятилетии? Да, может быть, к северу от границы. Хорошо, последний вопрос. Какое качество ты любишь в себе, которое внесло большой вклад в твой успех, но которого ты также опасаешься? Думаю, я довольно любопытный и идущий на перекор. И это одновременно и преимущество, и препятствия. Бывают моменты, когда очень полезно быть типа: "Да, мне супетересно что-то". И я узнаю об этом. И я думаю: "Всё будет так". И они абсолютно не правы. Это суперполезно. Вот почему, когда Эден спросил: "Эй, хочешь основать компанию, занимающуюся языковыми моделями, ещё в девятнадцатом году, я сказал: "Да, конечно". Это не было широко распространённым мнением. Совсем нет. Так что да, я любопытный, но бывают и другие времена, когда весь мир был определённо прав, а я ошибался. Когда ты ошибался больше всего? Когда я был очень молод, я был очень большим технологическим оптимистом, как уже упоминал. Но я думал, круто, все показатели человеческого прогресса будут продолжать расти. Знаешь, продолжительность жизни будет расти, неравенство доходов будет снижаться, счастье будет расти. типа путь к человеческим начинаниях и успеху монотонной. И это неправда. Бывают моменты, когда в этом я очень ошибался. Да. Ещё одна вещь, в которой я ошибался - это эффективность. Эффективность данных обучения с подкреплением на основе обратной связи от человека. Это просто, чтобы дать реальный технический ответ. Я был, это было примерно в двадцатом году, и я помню, как думал. Нет, ты не можешь. Ты не можешь создать небольшой набор данных обратной связи от людей и сделать модель лучше. Это была технологическая ошибка, Ник. Это было интервью со многими интересными поворотами, и я очень радуюсь тому, что делаю. Естественный разговор, который вдохновляет. Большое тебе спасибо за согласие принять участие в таком широком разговоре. Не за что. Спасибо, что пригласил меня.