Как компании зарабатывают миллионы на ИИ: реальные кейсы из МТС, VK и Яндекса | Дмитрий Твердохлебов

Добрый день. Меня зовут Николай Хлебинский. Вы находитесь на канале Экtion. Сегодня обсуждаем искусственный интеллект. У меня сегодня в гостях экс-директор МТС по искусственному интеллекту Дима Твердохлебов. Дима, привет. — Привет. — В Китае, по слухам, врачи обязаны будут использовать Deep PSК как second opinниion. — Полгода назад корпоративное обучение искусственному интеллекту заключалось в какой-то сферической лекции про сферические вакууме. Типа придите, расскажите на час, как великие и нас всех завоюет. 9 с по из десяти компаний смогли заработать на внедрение вот этих

технологий, которые сейчас на хайпе. Мы получили системный промт внутри департамента Альфа-Банка по ипотеке. Можем создать кастомный GPT и какие-то уже прикладные задачи ему отдавать. — Самая зарабатывающая компания за двадцать четвёртый год. Это даже не Open это не Nvidia. — Профит никто получить не может. Но есть вера в то, что те, кто найдут те сценарии, те способы, те системные инструкции, которые дадут вот эти самые иксы, догнать конкурентам их уже не получится. — Вобще сельское хозяйство - это практически самая недооцифрованная отрасль в мире. Не только в России, в мире. Хуже только стройка. — Экономическая целесообразность серьёзная появляется там, где стоимость ошибки очень небольшая. Из дети проектов так или иначе не взлетают. Это правда. Это нормально. Такой период сейчас. — Спасибо, что нашёл время. Ты экс-директор МТС, ещё и до этого топ-менеджер ВК, Яндекс и ещё больших других технологических компаний. Что ты делаешь сейчас? Сразу расскажи. — Вышел из всех этих больших технологических компаний и делаю собственную технологию. То есть я идентифицирую себя как какого-то и ниндзя, консультанта, а, ментора, преподавателя. То есть я в таком режиме свободного художника, вольного каменщика, как это не назови. Я помогаю компаниям большим, средним, иногда малым, с обучением и с внедрением именно генеративного искусственного интеллекта в их продукты и процессы. — Мне попалось на глаза недавно исследование MIT, в котором есть один из выводов очень интересных, что 95% плюс компаний крупных, которые инвестировали во внедрение искусственного интеллекта в свои бизнес-процессы, не получили значимого эффекта на PNL. То есть 92 из десяти компанийгу — не смогли заработать на внедрение вот этих технологий, которые сейчас на хайпе. Твой опыт, во-первых, подтверждает ли он это, такую статистику? Во-вторых, какие у тебя есть яркие примеры и того, и другого? Поделись. — Примерно про такую статистику я уже, наверное, год рассказываю. Только год назад мне мало кто верил, а сейчас всё больше и больше подтверждений непосредственно с рынка о том, что статистика близка к истине. 95%, это, конечно, смотря как считать. Но в целом, если относиться к применению или внедрению искусственного интеллекта, особенно генеративного и, да, здесь очень важно зафиксироваться, что мы про генеративный, то есть вот старый добрый имеil где-то сзади, там с ним всё понятно, а есть вот непредсказуемый, недодетерминированный гены Ии, которые все сейчас пытаются вкрутить во все щели и с переменным успехом.

— Для инженеров будет шутка, с каких-то пор ML стал предсказуемым абсолютно. У нас — он предсказуем с точки зре он гораздо более предсказуем с точки зрения как раз вот пнделечки Profit and loss то есть более-менее понятно, если мы берём какую-нибудь там нужно нам накрутить модель, которая жёлтые каски Роснефти отличает от синих касок Газпрома и вычисляет, сколько они там на перекур все ходят на своей газдобыче. Ну, понятно. Берём там пять сатанистов. Дата сатанистов. Берём ещё там парочку девопсов. Полгода их не трогаем. Зарплату перемножил на шесть, прибавил, умножил на два. Ну понятно, сколько затратишь, понятно, какой будет эффект. Гены он совсем другой. Он недодетерминированный, он непредсказуемый. Модель эволюционирует. Это не срабатывает, то не срабатывает. Куча допущений. И плюс это всё строится на том, что бизнес к этому продолжает относиться как к бизнес-проекту. То есть не как R& D, а прямо вот пндедлечку. То есть, а сколько стоит внедрить такую-то историю без пилота сразу же, да, на старте? И честный ответ на вопрос: сколько стоит внедрить, сколько будет стоить продакшн решение? Честный ответ: хз, хорошего протект-менеджера, да? Ну, потому что слишком много переменных. А второй вопрос на всех этих там, не знаю, бюджетных, продуктовых комитетах, какой будет экономический эффект? И здесь тоже, если прямо честно отвечать, то та же самая аббревиатура получится, потому что экономический эффект вот на старте просчитать, ну, довольно-таки сложно. Сейчас он является проксиметрикой от того, что что-то успешно внедрил, а бизнес он любит на старте, да, вот не арендишничать, а прямо вот все эффекты показать. Поэтому, если мы посмотрим действительно там, где эти штуки окупились, то сейчас, ну, ну ладно

восемь из десяти проектов так или иначе не взлетают. Это правда, это нормально. Такой период сейчас, э, технология только развивается. Но в целом, да, циферки верные и всё больше и больше валидации от рынка мы на эти циферки видим. — На самом деле, есть какой-то дисбаланс по моим ощущениям. То есть, ээ, во-первых, уровень абстрактности задач, которые мы можем решать теперь, он куда-то улетел в космос. — Да, — и ожидание, что этот уровень абстрактности задач без полгода обучения команды инженеров дорогостоящих, которую ты описал, будет работать вот так же, как с ними, он как бы ожидается, что он так и будет. И главное, что примеры этому есть. Вот смотри, в общем, э, я подписан на паблики, связанные с

авиацией. Увлекаюсь, вот я авиации, там сделал, э, автор этого паблика вот такой опрос. Вопрос звучал так: какой аэропорт на этой фотографии? Я потом посмотрел в мире около 40.000 аэропортов. Как понять, какой это? Ну, судя по количеству полос, это не Шереметьевов, которые чаще всего в жизни бываю. И, наверное, даже не Домодедова. Я пошёл в чат же G пти, задал этот вопрос. И через 49 секунд получил вот такой вот ответ, что это аэропорт Гатвик. Я пошёл на карты, посмотрел, значит, и оказалось, что, во-первых, он очень похож на аэропорт Гатвика. Во-вторых, в аэропорту Гатвика полосы абсолютно параллельны. То есть начало полос совпадает, — а здесь вот на экране видно, что одна полоса чуть-чуть выходит за это за другую. Отдаю комментарий и говорю, что в аэропорту Гатвику совпадает начало и практически совпадает конец у полос. А здесь видно, что они смещены. Подумаю ещё раз. И ещё через 37 секунд — Угу. — мне выдаётся аэропорт Манчестера. — И можно пойти на карту посмотреть, вот кому интересно. Это реально аэропорт Манчестера. — Красивый. — Так вот, уровень абстракции этой задачи для машины, как только я это сделал, я понял, что, ну, всё, видимо, я в будущем живу уже. Всё будущее как бы наступило. — Угу. — Машина знает, что такое полоса, что такое конец полосы. и начало. Что такое совпадение начала и ещё столько всяких категорий, которые нам кажутся привычными, когда мы общаемся естественным языком спустя много десятилетий обучения нашего мозга. Угу. — Машина здесь решила эту задачу сразу же. И ожидается, что она будет решать такие абстрактные задачи с таким же уровнем качества и скорости всегда. — Но — ожидается. — Пока что это не так. Да, — это иллюстрация магии, которая может произойти, потому что тот, кто хоть чуть-чуть связан с технологиями и с предыдущим поколением того, что тогда назывался искусственный интеллект, — Угу. — Machine learning, который сейчас уже у меня тут в одном подкасте назвали классический машиarн — олдскульный ML, да, вот так сейчас называется, — да, вот уже олдскульный он уже не классический, а уже олдскульный для той волны ээ технологий вот это казалось недостижимым, — да? Сейчас нам это кажется обыденностью. Мы уже обесценили вот это. И то, что какая-то задача абстрактная, которая никак не классифицирована, подана очень просто, с очень размытым заданием, иногда даёт не тот результат, который мы хотим. Это сразу говорится: "О, да они

все глючные, да они врут". — Ну да, ничего не работает, да, всё глючит. можешь привести пример какой-то яркий из твоей практики недавней кейсов, наоборот, успешных, когда какой-то взяли сценарий, что-то внедрили, построили и прямо вау, ничего себе, заработали денег ещё и при этом — могу. Э не в часе заработали денег, а, ну, в смысле, деньги уже как бы зарабатываются, но самые главные деньги начнутся чуть позже. И да, тоже, пожалуйста, перешарю экран здесь. Я прямо двумя руками тебя поддержу, что в части компьютервиision и вообще распознавание, что находится непосредственно на фотографиях, вот современные генеративные, ну, большие языковые модели, они, мягко говоря, активно прокачиваются. Это вот пример с недавнего обучения для сетио, прежде всего ритейла, когда мы скормили ему, ты же видишь экран, да? Да, — вот скормили мы просто фотографию полки в Пятрочке без какого-то глубокого промтинга, без там какого-то суперконтекст инжениринга, типа что на фотки, да, там, не знаю, в роль мерчендайзера посмотри. Вот. И GPха а определяет все эти несчастные макароны, ещё определяет их бренды, на глаз определяет какое-то количество там, собственно говоря, упаковок. То есть там, где мы, вот, как мы уже назвали его, в олдскульном МЛЕ вынуждены были бы вот только для этих макарон крутить, не знаю, 5, 10-15 разных моделей, которые это всё определяют. Здесь Лэмка умеет уже делать это из коробки. Да, долго, даро, это не секунда, то есть уходит на рининг какое-то количество и электричества, и, соответственно, токенов и размышлений. Здесь он думал, по-моему, 2 минуты 47 секунд. Для каких-то prodдакшнрей решений это ещё пока, ну, слишком долго. То есть вот не заставишь мерчандайзеров бегать и по 2

минуты у каждой полки стоять. Но тем не менее понятно, как это ускорить, понятно, как дальше применять. И здесь вместо вот старого олдскульного эмельного подхода, да, когда нам нужно там два этажа датысаентистов посадить, полгода к ним не ходить, да, здесь можно в одного, в два человека сделать, ну, пока ещё долгое и настолько точное, но это вопрос времени, когда будет уже нормальное такое prodдакшн решение. И продолжая как бы историю про кейсы именно с компьютервиженом, сейчас я как раз вовлечён в очень такой интересный проект по точному земледелию, как это называется такое, Precision agriculture или Precision Farming. Здесь важно сказать, да, что вообще сельское хозяйство - это практически самая недооцифрованная отрасль в мире. Не только в России, в мире. Хуже только стройка, там вообще всё на тетрадках. И в части компьютервижена мы уже сейчас научились по просто фотографиям со смартфона с поля, с его текущего состояния. То есть не дроны, ни спутники, не какие-то дорогие штуки, а просто агроном, может быть, не всегда трезвый, ездит вдоль поля и фотографирует. Мы научились определять культуру растения, мы научились определять степень там, а, собственно, плотность стеблей, болезни на начальных этапах. То есть вот что случилось с пшеницей, а это там какая-то тля или какой-то фузыриоз, каких-то там вредителей. И в реальном времени мы можем перемножать это на исторические

данные со спутника и давать большие точные прогнозы по обработке этого поля, по, соответственно, дальнейшему за ним уходом и всем остальным. Вот таких кейсов всё больше. Они объединяются одним. То есть мы идём в какие-то области, где не то что искусство, интеллект, там цифры вообще в помине никакой не было. И поразительным образом он начинает уже на этапе пилотов давать какие-то, ну, мягко говоря, многообещающие результаты. Вообще хочу сказать, что вот, ээ, как это пучок таких сценариев использования вот такого рода инструментов, он лежит э так или иначе в плоскости контроля качества. — Угу. — Всё, что можно проконтролировать как что сделал человек или машина, вот туда вот эти вот технологии уходят и ложатся очень хорошо. Это для тех, у нас есть серия роликов на канале, где мы пытаемся сгенерировать идеи и под эти идеи какие-то навайпкодить быстренько приложения. Так вот, у кого проблема с идеями, смотрите в сторону контроля качества в абсолютно любом бизнесе, в абсолютно любой нише. То, что лежит на поверхности, самое главное, что не стоит делать ни в коем случае - это контроль качества в отделе продаж, потому что все его делают. Нет смысла — Красный океан, да, — да, нет смысла это делать. Просто потому, что сценарий лежит на поверхности, не то, что плохо, потому что сценарий лежитной поверхности рынок не такой большой и там уже очень-очень много игроков. Но вот твой пример, ээ, и с пачками с макаронами это же контроль качества выкладки. — Ну, например, — э в поле - это контроль качества того, как растёт растение. — Угу. — Может быть работы агронома, может быть работы кого-то ещё, но это всё лишь всё равно оценка качества. На заводах раньше стояли огроменные такие хреновины в конце конвейера, которые со всех сторон сканируют детали. Дпуы вот это тоже можно удешевить, потому что устройства очень дорогие, а компьютерным зрением можно добиваться как будто бы интересных результатов. Не факт, что это можно вот прямо сейчас пойти на конвейер, куда-то воткнуть, но начать в эту сторону думать стоит. — В конце концов, на смартфоне есть не только камера. Сейчас во все смартфоны, вообще-то ещё и лидары встроены, которые довольно неплохую 3D-модель могут нарисовать на поверхности. Опять же, вот в том же самом исследовании MIT там ещё есть интересный такой как бы наблюдение

что 50% бюджетов внедрения технологии искусственного интеллекта идут в маркетинг и в продажи. — Угу. — Пытаются сделать и агентов, которые сами что-то там доводят какими-то чатами, переписками до продажи все. Угу. и генерируют, естественно, контент, потому что — контентзаводы — или всё это женят вместе и называют это контент-завод. Действительно, генеративные нейронные сети, которые делают крутые изображения, крутые видео, это вообще просто, ну, невероятно. Давай, может быть, тоже какими-то примерами поделимся, что там вообще сейчас можно творить. Но, э, профит весь в этом же исследовании такой вывод: профит весь не там. Профит весь где-то в операциях — и в бэк-фисе. — А я туда, я туда не лезу. Вот у меня есть вот эти есть три всадника апокалипсиса, как я их называю. Первый - это вот действительно сказал про продажи и маркетинг. Это вот, знаешь, вот такой первый всадник, в который все ломанулись. А почему? Потому что более-менее понятен профит, который произойдёт, если решение сработает. — А ещё там коммерсы есть. — Ещё там коммерсы есть, да. И вот снова надевают эту шляпу хорошего честного продукта, который вот должен ответить хз на вопрос, сколько стоит, какой будет эффект, да. Но ему вежливость не позволяет. С точки зрения мартинга продаж здесь как-то, ну, какая-то большая прогнозируемость. То есть можно прикинуть, сколько будет стоить внедрение там эти все скрипты, речевая аналитика, можно прикинуть, насколько они больше будут продавать, но опять же, я не знаю компании в России, которая там стала продавать в два, в три, в пять раз больше, чем до использования ГНИ. Это всё равно не иксы, это всё равно какие-то истории там, ну, потратили 100 млн, заработали 120, не знаю, 130. Это всё про процентные пункты и десятки процентные пунктов, но это не сотни, это са. — На самом деле так было и в машинлернинге. Вот я помню, что 10 15 лет назад, когда мы стартовали Rйil Rocket, тоже выходили всевозможные исследования все вот всяких больших очень имён. — Угу. — И кейсы, которые применялись, ведь мы же взяли машинр и перенесли это в Мартех, в автоматизацию маркетинга для ритейла. Но в целом плюс-минус везде говорилось, что machшиning добавит 10-20- 30% эффективности к часто повторяющимся задачам. Вот это вот нормальные ожидания. И как будто бы здесь тоже можно такие ожидания сформировать. Не получится иксануть ээ в бизнес-процессах, но значимое улучшение мы должны каким-то образом получить. — Ну хочется иксов. То есть давай переносимся на немножко в немножко прошлое, да? 90% решений не взлетают, — да? А, соответственно, почему до сих пор не всё не померло, а всё ещё развивается, мягко говоря, там огромными темпами, потому что десятое решение, которое сбывается, которое срабатывает, оно приносит те самые как бы иксы. То есть она просто вот дизраптит эту

отрасль или этот процесс или этот продукт. Настолько — вот привести примеры таких вот что дизрапнуло. Вот вообще, чтобы бизнес весь просто переделался на — чтобы прямо вот Да, — слушай, мы на этапе ещё, когда зарабатывают продавцы лопат, продавцы гвоздей, досок и то есть вот этих вот самородков их вот таких ещё нету. То есть, если мы посмотрим на структуру вообще как бы выручки и доходов каких-то вот крупнейших мировых даже, наверное, компаний, которые так или иначе связаны с ГНИ, а и с внедрением искусственного интеллекта, выясняется, что самая зарабатывающая компания за двадцать четвёртый год, да, кто больше всех бабок заработал на Иидцать четвёртый год. И это даже не ОP, это не Nvidia, мы сейчас про чистую прибыль. Это компания Accenture, они консультанты, они рассказывают людям, как внедрять генеративное искусственные. деньги сейчас, по крайней мере, лежат там. — Ты поэтому перешёл в консалтинг из технологической компании? Да, — потому что спрос очень большой, никто не знает, что делать. Не, на самом деле реально это новая ниша. Я, значит, здесь вот как бы я бы это представил. Э в том же, кстати говоря, исследовании есть такой термин, который называется gen AI gap. Generative A gap- пропасть генеративного

искусственного интеллекта. Смысл её в том, что профит никто получить не может. Но есть вера в то, что те, кто найдут те сценарии, те способы, те системные инструкции, те какие-то вот комбинации агентов, которые дадут вот эти самые иксы, — Угу. — догнать конкурентам их уже не получится. И поэтому компании туда инвестиции наращивают, потому что это сравнимо с неокром в области разработки ядерного оружия. Страна, которая получает первым такого рода елду, — Угу. — получает такой дисбаланс силы, что конкурировать с ней на рынке будет уже дальше очень тяжело. Поэтому они туда идти продолжают. Но на самом деле у нас уже есть примеры, на мой взгляд, ээ, что сделал антроopic, что сделал там clдку курсор. Программирование перевёрнуто полностью. Угу. — Мы больше не пишем код так, мы как мы писали его раньше. И без этого уже всё. Ну, то же самое можно сказать и про Open AI. Они нашли сценарии, связанные с поиском информации. — Угу. — Потому что они перетягивают у себя трафик поисковых систем. Э, и пытаются, вот как мы видим сейчас по последним новостям, затянуть туда шопинг. Пока не очень получается. Пытаются браузер что-то там сделать такое. В общем, они пытаются это аудитории побольше собрать, но там сценариев пока нет. Консультантами интересно, но вот мы пытаемся всё, давайте сделаем контент-завод, рынок SMM. Сейчас скажу.

У меня есть цифры, на какие рынки мы смотрим, пытаясь залезть в них. Естественно, маркетинг и продажи. Продажи в плане контроля качества примерно 2 млрд руб. в год. Выручка это всё, что есть. Это весь, грубо говоря, фот всего персонала, связанного с контролем качества SMM контентзаводы 65 млрд руб. Естественно, весь YouTube забит тем, как ставить себе задачки в тескменеджер, как проверять почту, как, значит, календарь апдейтить, что-то в табличку записать или прочитать из неё. Куда же нам без этого? Тут я вообще не понимаю, что это за рынок. Там это просто какие-то игрушки пока что в HR некоторые лезут. Рынок 100 млрд. — Я тоже лезу, да, — примерно. И образование. Вот где-то там что-то тоже такое делается. При этом пока что непонятно, как эти технологии будут работать. Грузоперевозки 2,2 триллин, медицина 1,8 триллин. Хотя в

Китае, по слухам, то ли через год, то ли через два, врачи обязаны будут использовать Deepsi как second opinionнин. То есть нельзя ни в коем случае строить никаких решений на базе этого. Но когда ты решение построил, тогда ты можешь всю историю, а и так далее загрузить и попросить машину сделать то же самое и в случае значимых расхождений — какие-то триггернуть процессы дополнительных проверок. — Как второе мнение. Общий ПИТ 3,7 триллин, — ничего не делается. Хотя вот опять же недавно у Оскара Хартмана вышло интервью с Давидом Яном. И что-то они там делают какую-то звонилку, автоматический букинг. это столиков, ну и так далее. То есть вот в маленьких рынках Gameче Changжера X10 пока не произошло. Вернее, в больших рынках никто не знает, как. А вот именно туда надо смотреть, на мой взгляд. — Накидал много. Давай сейчас попробую, да, вот размотать с конца в начало. Значит, э, касаемо офигенного интервью Давида, Яна Оскару Хартману, вот он там очень-очень важную вещь подсвечивает, то, что чем Герош, что на этапе какого-то дема, на этапе там какого-то прототипа сделать так, чтобы какая-то моделька отрабатывала там девять из десяти раз хорошо, не знаю, модель какой-то, агент, какая-то вот какое-то решение. Вот, может, там, ну, не студент, но человек там немножечко подкованный в вообще возможностях искусственного интеллекта. И я вот сейчас тоже на экране показываю, да, вот эти 90% они, ну, как бы достаточно легко достижимы. Там может быть не на продакшене, но на этапе пилотов это очень легко показать. Но поскольку любой маломальский процесс, он под капотом содержит какое-то количество этих агентов, ну, то есть не одна модель принимает решение, допустим, там три или пять агентов, ну, не знаю, на примере там то же самое техподдержки какого-нибудь, не знаю, телеком оператора. Есть первый агент, который определяет интент. Вот типа что человек хочет вообще, там, он про деньги или там тариф сменить или там просто поругаться с чем-то ещё. Второй там принимает решение, то есть первый агент определил интен, что это про деньги. Второй принял решение, что деньги там списаны неправильно или там, допустим, из-за того-то того, что он там не на тот сайт какой-то сходил, какую-то подписку, третий там возвращает деньги, перед ним извиняется. И вот все эти три агента, они работают на точность 90%. И вот я проматтываю, да, вот они работают последовательно, и каждый из них девять из десяти раз отвечает классно и принимает правильное решение. Вот точность работы всей системы на трёх агентов 72%. Когда их пять агентов 59%. Вот как бизнесу такую норм вообще. Почему так? — Чистая математика. То есть вот этот один раз из десяти ошибся туда дальше переш, да? И всё ужается 0,9, да? Это всё просто ошибка как бы — мультиплицируется, да, и у тебя вот пять агентов под капотом, вот 59% отрабатывания всей системы. — Честно говоря, меня и 0,9 не устраивает, если когда ты сказал, что возвращает деньги, — то есть это финансовая операция, которая в 10% случаев происходит неправильно. Правильно, да? — Это значит, что там как минимум есть пространство для уязвимости в целом. — этой системы. Надо просто 10 раз к ней обратиться за возвратом, она те как бы один раз вернёт. С другой стороны, ээ ещё и ну 10% денег для бизнеса в каком-то сценарии звучит больновато. — Да. И снова возвращаемся к Давиду Яну, который вот сразу после этого цитирует то, что как бы а бизнес нужно 995 из ты 1.000, чтобы она нормально отрабатывала. Не 9 из 10, а 995 из 1.000. Тогда это будет нормально. И как достигается эта цифра? вот глубоким погружением в контекст, глубоким погружением вот непосредственно в особенность конкретного процесса, как этого инструмента, то есть именно сегментация. Вот. И Давид такой взял какой-то рынок

вот столики, в ресторанах hostс там это самое, вот он не делает продажи Гербалайфатизацию, он не делает автоматизацию каких-то колл-центров страховых компаний или там банковских, там банками, допустим, Костя Круглов занимается очень хорошо. А у Давида у него сегмент, вот рестораны, вот такой-то рынок, вот мы про рестораны классно модельки уже там дофантюним, дотренируем, запромтим, рагов накрутим, всего остального, чтобы достичь, и то это долгий процесс, да, достичь этих 995 из тысяч. И здесь главное золото, ну и главные трудзатраты и деньги лежат. Я, наверное, добавлю, что вот как я эту мысль помню, она меня зацепила, но вот только что туда добавился ещё одно такое тезис о том, что экономическая целесообразность серьёзная появляется там, где стоимость ошибки очень небольшая, потому что одно дело мы — пть из тысячи столиков не забронируем в ресторан. — Угу. Ну, в мире от этого особенно ничего не изменится. Если мы 5 из тысячи пациентов где-то совершим ошибку, это на уровне смертного греха. — И где-то посередине там ещё стоит, если мы пять раз из тысячи всё равно неправильную финансовую операцию проведём на уровне банка или телеком оператора, тоже звучит страшновато как-то. Именно поэтому на текущий момент самые основные сценарии использования этих технологий связаны с подходом, который называется Human Loop. — Угу. То есть машина готовит что-то для человека, а человек всё равно финальное решение выносит. Именно поэтому второе мнение дипсиком у врачей в Китае, — да, здесь чувствуется вот эта вот разница, фундаментальная разница подходов, когда одни пытаются искусственным интеллектом заменить человека. И, на мой взгляд, это, по крайней мере, на данном этапе неправильный подход. Он очень рисковый.

А второй подход - это для того, чтобы помогать человеку. То есть какие-то истории копилотные, какие-то помогающие истории, где Human in the Loop, где-то в середине Man in the midle, как это не назови. Вот. Но где-то, возможно, там не на 100% ответов какой-то выборке всегда присутствует человек, который, да, принимает решение и вовремя может подсветить то, что что-то сломалось. А ломается всё довольно часто. Этот принцип он это тот, который достаточно хорошо работает сейчас. Правда, с дипсиком у меня другая, на самом деле гипотеза, да, что врачи обязали не для того, чтобы врачи меньше ошибались, хотя, возможно, к этому тоже прокси эффекту приведёт, а для того, чтобы модель меньше ошибалась, ей нужны обучающие данные и по сути врачей законодательно. То есть, если бы я был товарищем Си, вот, и мне потребовалась бы какая-то оптимизация или какие-то там прорывы в медицине, и у меня были бы настолько широкие правительственные, управленческие возможности, значит, — мы знаем по прошлому веку, что Китай склонен к экспериментам. Да. Дада. Да. Воробьи, миллионыв не дадут нам соврать, да. Меся товарищ си, да, то есть лучших разметчиков для модели, чем врачи, ну, наверное, придумать сложно, тем более, что врач всё равно принимает решение. То есть он просто как бы консультируется, но качество-то будет расти за счёт этого. В то время как где-нибудь там на Западе или в России эта сфера медтеха, она настолько зарегулирована, настолько, то есть там вот никуда ты не всунешься со своим решением, что здесь Китай может и в этом месте может получить технологическое преимущество. — Пожалуйста, ни в коем случае не используйте искусственный интеллект в качестве доктора или вместо доктора. Я знаю много людей, которые говорят: "А что, я загрузил анализы, мне дали расшифровку, мне объяснили, что пропить, как себя вести. Этого делать ни в коем случае нельзя". Значит, машина ээ не должна говорить вам правду. Есть заблуждение такое распространённое, что он что-то там врёт или глючит. Не, это вообще не так. У неё нет задачи говорить правду. У машины есть задача дать наиболее вероятный ответ, исходя из текста, который выдан до этого, и запроса, который сделан, и корпуса текстов, на котором модель обучена. И эта вероятность, она может быть в, ну, вообще не такой, как вы ожидаете. Вот недавно мы обсуждали кейс значит сделали агента для выставки. — Угу. сделали, ну, какую-то загрузили документацию, объяснили, где какие компании стоят, там, как, к какому стенду пройти. И вот, значит, робот вот этот бегает, его спрашивают: "Выяснилось интересное, подходит посетитель и говорит: "А где компания такая-то?" Компания такая-то на выставке на этой отсутствует. — Угу. — Робот начинает объяснять, говорит: "Вот туда-то пройдите за таким-то стендом, подите налево и так далее". И все такие: "Ха-ха-ха, он соврал. Ха-ха-ха, его проглючило". Нет, у него где-то в весах, которые определяют то, какой ответ наиболее устроит человека. Ответ: "Я не знаю". У меня нет такого в базе. У этой штуки вес меньше. — Угу. — Чем событие придумать что-то, выкрутиться как-то из этой ситуации, потому что вот он так вот устроен, у него нет намерения плохого или хорошего. Поэтому, короче, ни в коем случае не заменять экспертов, особенно в критичных вопросах, связанных со здоровьем, с каким-то благополучием финансовым, в том числе, да, — Угу. — Ээ машин, работать только с экспертами. Не знаю, что ты на это что думаешь. — У меня загружены все анализы в чат GPT за 3 года. У меня загружен туда мой, значит, ДНК, скачанный из генотека. Всё это запромптировано в такого терапевта

эндокринолога, вот в такую большую достаточно конструкцию. Но самое главное то, что я всегда это действительно обстукиваю, да, ну, то есть всегда проверяю у реального специалиста. То есть я не принимаю решение чего-то там пропить или сделать какой-то анализ просто потому, что мне GPха посоветовала. То есть я после каждой встречи как бы с, — не знаю, терапевтом я ту подгружаю обновлённые данные и прихожу к нему с гипотезом. И мы вместе обсуждаем, где тут явная галлюцинация, а где действительно А да, прикольно, я про это не подумал, давай это покрутим. Это тот самый man in the middle, да, когда мы вместе с врачом потом вместе смотрим, а там есть вся как бы история этих данных

да, как менялись те или иные показатели, да, в чём здесь большие модели как бы сильны? В том, что о них контекста они про меня помнят гораздо больше, чем мой врач. Тем более, что у врача там, не знаю, 10 человек в день там проходит, про каждого не запомнишь. И здесь они помогают. — А можешь показать, как у тебя устроен системный промт без содержания диалога? Вот именно настройка вот этого проекта, системная инструкция? Слушай, у меня я от этого глобального системного промта, который мне тут на всё это самое отвечает, отказался. То есть здесь у нас есть как бы в персонализейшене. Я здесь оставил очень знакомое внимание на будущее, потому что пошёл очень сильный перекос в какую-то область знаний, да, просто очень скромно написал, что я как бы AI консультант, у меня тут как бы AI технологи, — не? А вот в этом конкретном проекте у тебя есть инструкция какая-то? — Аа значит на медика не покажу. Да, смотри, у меня есть инструкция на большинство проектов, которые торчат как бы в джипетихе сами по себе. Вот чем хорошо, что эти как бы инструкции можно сейчас туда провалимся, где наши все тля и все эти истории. Её можно, она будет относиться к конкретному проекту, то есть не распространяться на, собственно, общие чаты. Вот. И здесь при помощи system как бырейтора, да, вот у нас сейчас и агроном здесь, да, у нас сейчас на экране присутствует. Вот есть, собственно, те заточенные под компьютерное зрение в данном случае, да, через несколько итераций. Такой системный промк, который действительно помогает, но в каком-то другом проекте он будет, соответственно, другим. — Что такое System Prom Generator? Я вижу, что это такое приложение, — да, кастомный GPT, — которое у тебя стоит. Расскажи про это. Что это такое? — Кастомный GPT, который запромщен писать промты именно для — размышляющих для Нет, не моя штука. Бо — она доступна в сторе. Амдоступно сторе. То есть мы заходим в GPTS, в ищем по запросу System prompt. Он нам, собственно говоря, подгружает. А я перепробовал, пробовал клодом писать отдельно, пробовал GI через prссёрch гонять, но лучше всего справляется вот именно почему-то вторая, опять же, на мой субъективный взгляд, да, у нас есть вот такая большая system from generator там на 100.000 плюс и 4 и5. И вот второй список на всех второй списка тот самое вываливается, это for reasoning models. То есть он лучше пишет промты на режим резининга. А у меня reasoning стоит везде. Ну то есть у меня GPT5 по умолчанию. У меня GNI 2.5 тоже Pro, который тоже по дефолту с размышлениями, с цепочкой размышлений. И вот вторая сверху system prompt generator for reasoning models. Вот он у меня здесь уже, соответственно, выделен, которым я, ну, в каких-то первых отерациях вот генерирую себе систему. — Зоро. Так, ребят, для тех, кто видит вот эту штуку впервые, в ка в chт GPT есть такая функциональность, которая называется custom GPT. можно создать отдельную как бы ветку, что ли, общения, внутри которой вы можете загрузить, во-первых, системную инструкцию, во-вторых, можно загрузить туда дополнительные файлы с какой-то информацией, ну, например, ваши внутренние какие-то документы, регламенты или какие-то медицинские данные личные, любят загружать туда, например, всевозможные личностные тесты, всякие там диски, хартхилы, хоганы и прочие такие штуки, чтобы вот машина лучше, что-то знала про меня. У меня на тему создания кастомного GPT есть отдельный выпуск на канале. Совсем недавно он вышел. Если кто-то ещё не разобрался с тем, что это такое, обязательно посмотрите. И есть store, то есть, э, библиотека вот этих вот кастомных GPT, которые кто-то сделал заранее для каких-то задач. Они там логотипы рисуют, какой-то фитнес-трекерами служат, что-то ещё делают. В общем, кому какая в голову идея придёт. Я, кстати, сделал в этом выпуске кастомный GPT, обученный по всем книжкам по тризу. — Угу. — И системный промп тоже написал, что ты вот, значит, там эксперт супер по бизнес-тризу. — И у меня есть такой вот, значит, триз — с двумя буквами итриз, да. — Э три с такой customм GPT, когда у меня есть какая-то вот дилемма такая бизнесовая, у меня есть целый личный

совет директоров в чат GPT. У меня есть и Аристотель, у меня есть и Трис, и там ещё несколько. Я им задаю всем один и тот же вопрос и получаю просто много разных мнений — на одну и ту же задачу с разных точек зрения. Как-то мне показалось интересным, — чтобы я мог взаимодействовать с имитацией авторов — книг. — Как они смотрят на тот или иной вопрос. Покажи, пожалуйста, как ты используешь вот этот System prom generator. Я такого custom GPT раньше не видел. Давай какой-нибудь промт сделаем для какой-нибудь задачи. — Для какой? Ну давай для сельского хозяйства вот и сделаем или для макарон, или, я не знаю, любую боевую задачу, с которой ты сталкивался только что. — Наша задача просто посмотреть, как оно работает. — Ну, вчерашняя, буквально-таки практическая задача, я там консультирую каких-то то топ-менеджеров одного большого российского банка. Э, не знаю, хотя, ну, можем, не знаю, на примере какого-нибудь, не знаю, Альфа-Банка, допустим, потренироваться, что что-то берём нейтральное. И, допустим, мы хотим сделать какой-то, ну, может быть, такой корпоративный пример, да, ну, хотим мы посмотреть на основные риски, не знаю, ипотечного рынка в двадцать шестом году со стороны банка, что там будет, собственно говоря, плохого. Ну, то есть подсветить основные риски. Вот для этого мы нужен как бы контекст, да, что мы не просто какой-то действуем в роли банковского аналитика, да, нам нужен контекст конкретного банка с его возможностями, его филиальной сетью и всем остальным. Поэтому в первую очередь мы идём в перплексе для того, чтобы получить summy, да, альphaбанк summary в части ипотечного рынка. Всё-таки в глубоком исследовании, но нам здесь будет это самое, да, давай рынка. А-а, давай не более одного страницы и отправим его быстреньки deep resarch. А deep resarch perplex работает на платном тарифе, но есть возможность в России купить платный perplexity за там 800 руб. на год, если что. Вот бесплатный, по-моему, три позволяет deсрча делать в день. Во-первых, Perplexity - это ещё одна LLM, ещё одна большая языковая модель. Это в каком-то смысле аналог чат GPT, Gemini, Deeps и, наверное, что-то ещё там, что там с XI делает. Почему ты пошёл в Perplexity для этой задачи? Вот ты как эксперт объясни, почему ты не написал это в Gemini, почему ты не написал то же самое в чат GPT, где тоже функция depressch есть. Perplexity - это тот самый редкий пример продукта, когда правильно упакованный, хорошо продуктово проработанный, может быть, без какого-то супертехнологического преимущества, но просто сделав удобный продукт, ребята очень сильно отвоёвывают рынок э поисковых запросов. Вот. То есть чем хорош перплекс, в чём его отличие от просто модели, то, что он заточен под поиск, под так вот называемые фактовые ответы, да, что то, что мы обычно спрашивали там в Яндекс, в Google, в каком-то ещё поисковике, он через нейроответы прогоняет с текущими данными, которые он нашёл в индексе, в серпах Search Engine results Page, каких-то основных поисковиков и даёт мне уже консолидированный ответ на то, что я искал. Угу. — То есть сшу там, не знаю, выручку Альфабанка заютретий год, то обычный поисковик мне даст вот список там вот тебе годовой отчёт, вот тебе там какая-то официальная информация, вот о Перплексе ещё всё это сварит на проанализирует и вернётся ко мне с циферкой, что я посмотрел в годовом отчёте, но на двадцать пятой странице выручка была такая-то. А это то, что я хотел узнать. Вот Иперплексис отрабатывает достаточно быстро и достаточно точно. У него под капотом есть там свои добыученные модели, можно там же чат GPT использовать и всё остальное. Ну, в общем, части фактовых ответов я иду теперь вместо Гугла, вместо даже Open AI, наверное, да, иду в Perpплекси, потому что это быстро и достаточно точно. — Угу. — Но опять же не говорю, что это единственный какой-то вариант, просто как бы работает в России, работает без ВПНА, в бесплатном тарифе до фига всего можно делать. Ну и ребята очень классно растут. Я с удовольствием как бы за ними наблюдаю. Вот я получил сары на Alльphaбанк. После чего я уже в GPTхе в System prompt генераторе. Я как бы Да, сейчас тут секундочку. У меня тут тоже полосочка. А-э, действуй в роли аналитика департамента ипотеки. — Можно голосом диктовать. — Банка. Да. Ну, можно, да, тут просто в зуме иногда перехлёст этим всеми диктациями, да, могу ещё с супервиспером здесь наговорить. А, потеки банка, э, контекст про банк через двоеточие, что мы нашли в Perplexти, и просто его сюда скопируем. Единственное, что нам очень не нужны здесь, э, ссылки на источники. Мы их удаляем. И, то есть, что мы сделали? То есть мы задаём роль для данного конкретного как бы системного промта или агента, как его там не назовите, и при этом туда а подсовываем контекст э конкретной там компании, от имени которой мы там, ну, не от имени которой, ну, в общем, с со спецификой которой мы хотим сделать дальнейший анализ, что это не просто банк сферический вакуум, а конкретный вот с вот показателями с текущей долей рынка и всем остальным. — А задачу какую мы им даём? — А, погоди, же системный прот. Мы сейчас его обрамляем, мы его сейчас затачиваем, чтобы потом ожидает в начале контекста — ипотечный вопрос потом, собственно говоря, задавать. Вот — и у нас здесь как бы, да, аналитическая справка, динамика развития, управление рисками. — Ну, как будто он переупаковывает информацию, которую ты ему отдал. — И что-то Да. Дадада. Сейчас секунду. — Тоже задачи никакой не отдано. — Угу. — Вот он даже спрашивает, что делать-то. Хочешь свод сделаю? Хочешь сценарий? Да. Аналитика рынка ипотеки Альфабанка. Ну вот он пошёл, собственно, сначала по-английски. Они часто переводят с русском английский обратно. И вообще английский он — язык сильно более эффективный. Ну по сравнению с русским, допустим, для более точных ответов. Не потому, что там разработчики ленивые, а потому, что русский язык с точки зрения машинного обучения, вероятности, это один из самых ужасных языков для машинного обучения. По одной простой причине, то, что в русском языке, если ты меняешь какие-то слова местами в предложении, от этого смысл не всегда меняется, а вот, допустим, в английском языке, э, поменяется кардинально или там недопустимо по правилам грамматики. А поскольку у нас система вообще модель большая действует вероятностями, то вот в английском языке, не знаю, мама мыла раму, да? То есть в английском будет mother was m was washing the frame, ты там никак не переставишь. Есть вероятность, что если mother was washing, она там уже theфame в конце там по вероятностям подставит русский язык. Значит, переносимся к нам: мама мыла раму, раму мыла мама. А мама раму мыла и вот это всё. Здесь уже в три, в четыре, в пять раз больше вероятности, которые нужно проанализировать на этапе притрейна и вот подобрать уже нормальный ответ. И за счёт того, что в русском языке, то есть один и тот же смысл может быть упакован вот в разной последовательности слов, а напомню, большие модели, они просто как бы следующий токен угадывают в зависимости от контекста предыдущего, да? Из-за этого на русском языке им отвечать точнее, сильно более сложно, чем, допустим, на английском. Что у нас тут получилось? Да, спасибо как бы за портфель на это самое. Ну и как бы, да, переведи на русский, потому что частично он нам тут на инглише чего-то наделал. — Так, хорошо. Э, мы получили системный промпт — Угу. — ведущего аналитика рынка недвижимости внутри департамента Альфа-банка по ипотеке. — Ээ, и что мы теперь с этим делаем? Можем создать кастомный GPT, — можем со — характера и какие-то уже прикладные задачи ему отдавать. Да, можем — будет решать их эффективнее, чем если мы просто спросим в чат GPT такую же самую задачу решить — или не будет, но скорее всего будет, потому что мы дали ему больше контекста. Но custм GPT мы сейчас, наверное, делать не будем, — да? Это просто пример того, как мы можем использовать. Давайте тогда, ну, вот так вот его завернём. скажем, что если вас по какому-то вопросу не устраивает ответ чат GPT или другого инструмента, тогда вы можете попробовать вот такой вот финт. Создание более точной инструкции через вот сценарий, который мы только

что обсудили, и посмотреть, что будет. Не факт, кстати говоря, что это даст результат лучше. — Иногда может ухудшить даже, да, — да, иногда может ухудшить, но ожидается, что, да, в большинстве случаев результат будет значительно лучше. Ну и вот мы здесь некоторые уже упражнения проделали, а ты в самом начале разговора нашего упомянул, что ты проводил для ритейлера, для технической команды, обучение. И, видимо, ты проводишь обучений много для корпоративных структур. Можешь, я вообще большой сторонник этого. Я считаю, что это новый набор компетенций, который надо внутри себя наращивать, которые с которыми надо разбираться вот как эффективнее решать задачи повседневные. можешь общими мазками накидать из чего состоит структура обучения. Вот те, кто нас смотрит, но в корпорации большой не работают и поучиться у тебя не смогут там, что им вообще делать, чтобы в ногу со временем идти и вот такие вот лайфхаки на кончиках пальцев на своих держать. — Угу. — Как вот личный трек образовательный построить в этой области? — Короткий ответ всё больше и больше нырять в какой-то свой узкий сегмент. А на примере опять же, давайте сейчас корпоративного обучения это объясню, как это развивалось. Поэтому наличное обучение, на какою-то вот такую частную практику, это, ну, практически полностью экстраполируется. То есть, э, ещё там, не знаю, полгода назад корпоративное обучение искусственному интеллекту заключалось в какой-то сферической лекции про сферические в вакууме. Типа придите, расскажите на час, как великие нас всех завоюет и браздит большой театр и что там происходит. Э, эта штука, она больше про, наверное, вдохновение, про такого условного и Тони Роббинс, который там хочешь ходить, встань, иди. Ну, то есть вот как бы с точки зрения практического материала даёт мне очень много. С точки зрения вдохновения о кажется за этим будущее- это там не пузырь, не просто хайп, а вполне себе рабочий развивающий инструмент, наверное, как бы полезная история. Но быстро поняли, что как бы а за этим должно идти что-то ещё. И пошли уже такие лекции более, не знаю, сегмент специфичные с какими-то уже элементами, не знаю, воркшопов, когда мы там не просто сферические вакууме, как он там суперразвивается, а уже со спецификой, допустим, там HR, там юристов, там

пригнали всех, аккаунтинг, бухгалтеров, продажников, и уже на их специфичной какой-то области уже на примере воркшопов показываешь, смотрите, там какру уже сейчас могут помочь в инструменте. делайте так-то, промты такие-то, инструменты такие-то, связки такие-то, идите пробуйте. Это сильно лучше, чем просто сферическая лекция, но тем не менее в режиме как бы by doing не очень сильно срабатывает. Ну, то есть люди пришли, посмотрели, как какой-то дядька в модных, умных очках чего-то как-то там делает, да, всё вроде круто получается, а у самих как бы блок. И сейчас мы уже приходим на какой-то третий такой этап, называем его, не знаю, и акселерация, когда с конкретны прямо кейсами вот ребят, которые приходят, ну, то есть вот, допустим, в корпорации там, не знаю, вот сейчас вот там будет для продажников одной крупной компании, торгующей алкоголем, э, проводиться прямо акселерация на месяц, когда мы берём их кейсы, мы даём теорию, мы раз в неделю встречаемся вот в режиме какого-то коворкинга, и они прямо пилят свои задачи, мы им там в этом помогаем, и дальше уже там через месяц они выходят с работающими прототипами, работающими демо, который можно уже, то есть у них становится понятно, во-первых, что за инструмент, как он работает. Им становится понятно, что показать, продать руководство. Им становится понятно, что пойти заказать в айтишечке. То есть уже не просто а внедрить нам и в какую-то штуку, да, а уже конкретно, что вот здесь, вот здесь вот нам нужны такие инструменты. И в части личного обучения можно идти точно так же, то есть начиная с каких-то общих обзорных лекций, как эта штука работает, да? Не знаю, если что-то одно, погуглите, ну, в общем, поперплексиционируйте слочетание Андрей Карпаты. куча видео на Ютубе очень полезных, которые прямо на пальцах очень доступным языком рассказывается, как это работает. А дальше уже смотрите в какие-то уже как бы специфику. То есть если вам нужно там для юридической отрасли или вы там занимаетесь чем-то ещё там или в hчаре, да, смотрите и для этого, для этого постепенно накапливаете контекст и пробуйте, экспериментируете. Ну, то есть я вот не верю в сферические и какую-то взаимную применяемость инструментов, да, вот раскапывать прямо свои кейсы и вот внедрять, как это называется, AI first мышление, да, а могу ли я эту задачку попробовать сделать при помощи яишки, да? Ну, то есть в большинстве случаев не получится, это нормально, но тем не менее такой AI first подход, вот я вот беру что-то начинаю делать и пробую для этого применить какую-то ишку, эта штука очень часто срабатывает. — Класс. А можешь перечислить вот конкретные прямо сценарии или задачи, в которых чаще всего срабатывает? Ну, ты упомянул какие-то вот задачи, связанные с продажами, какие-то задачи, связанные с HR. Может быть, ещё какие-то области есть там, где уже, ну, вот много раз попробовали и вот точно сработает. Как правило, это задача действительно, где есть большое количество дисперсной, такой распределённой, несвязанной, неструктурированной информации и где не очень, а высокая цена ошибки, как ты совершенно справедливо заметил, а чуть раньше. То есть когда у нас есть

какая-то большая куча всего, где нужно каких-то неявных зависимостей понадёргать и свести в это в какую-то понятную историю, на этих задачках яишка срабатывает лучше всего. прежде всего задачи ресерча, аналитики, каких-то поисковых запросов, да, и как вот сварить с чего-то очень маленькое, из чего-то очень большого, что я бы руками что-то, собственно говоря, читал. Это там, где срабатывают больше всего. То есть какие-то прямо ресёрши. В первую очередь я иду там в чат GPT deepре resarch, которая там, во-первых, мне задаёт очень много классных наводящих вопросов, да, чем хороший deep resarch от chatчат GPT в режиме depresearch в том, что она никогда сразу не пижит вот делать resarch, который я попросил. Она по контексту меня переспросит: "А вот здесь вот так или так? А здесь это?" Я такой: "О, классно, да, я об этом не подумал". И уже уточнённо идёт что-то делать. Поэтому в первую очередь я за рерческие задачи от дальнейшей автоматизации сильно зависит от конкретных автоматизаций, но пока с этим довольно всё печально. Deeparch - это такая функция для тех, кто не знает, в всех встроенный в чат GPT и у Гугла, и у Perplexity, это внизу кнопочка, которая называется depresearch или глубокое исследование, при котором нейросеть, вот этот инструмент не только пользуется своей базой знаний, но ещё и находит источники в интернете. Причём Google deep resarch вот в Gemini делает какое-то безумие. Он там сотни проводит этих источников. Это длится довольно долго и собирает много-много много информации. На всякий случай отметим, что интернет как бы это большой такой забор. И там

есть и мнение очень уважаемых специалистов и больших экспертов. И что-то там написал ещё Вася где-то стопудово, что он там был. — И машина Почему вот ещё раз как бы отметим, что нет задачи у неё врать или правду говорить. У неё есть задача наиболее вероятный ответ отдать. И этот наиболее вероятный ответ получается из-за усреднения того, что сказал Вася и того, что сказал суперэксперт. Это я сейчас утрирую. Так, конечно же, там отбираются источники, у них там есть какие-то признаки авторитетности или нет, но тем не менее работает оно примерно вот так. Это надо учитывать. Это первое. Второе. Я заметил вот в своих, ээ, исследовательских работах, что есть у этих инструментов, особенно у чат GPT, какая-то поддержка твоего личного. Как-то они тоненько, по тональности улавливают, что ты хочешь получить, и пытаются тебе как бы продать, что вот это именно то, что ты хотел получить. То есть, если ты

озабочен, допустим, принятием решения на основе там какого-то объёма рынка, — Угу. то эта штука будет тебе объяснять, почему этот рынок большой и решение стоит принять. Вот в эту сторону как бы тебя будет подталкивать. Я замечаю такое поведение, когда я вижу, что причём, если ты ей скажешь: "Слушай, подожди, это же вот совсем по-другому скажет: "Ты прав и пересчитает тебе всё в другом ключе". То есть но произойдёт на самом деле то же самое, то решение, которое ты как бы транслируешь между строк, вот в эту сторону будут уходить результаты. которые ты получаешь, и оно всё идёт, опять же, из вероятностей, которые за которыми люди гонятся. То есть она хочет отдать ответ, который понравится больше всего. Поэтому серьёзные такие финансовые решения, ну, как бы ставьте рядом с ними риск того, что вот это может происходить. Это довольно опасно. О'кей. Resarch, понятно. — Угу. — Оно для этого сделано. Вообще долгое время в числе самых популярных запросов к лалэмкам был поиск информации. — Угу. Потом сменился на код, на написание

кода. Сейчас сменился опять в этом году на сценарии личного коуча с личного психолога. Люди всё начали общаться, особенно молодое поколение — начали общаться с этими штуками, как с людьми, заменять этим живое общение. Но вот resarch для бизнеса - это такая чёрная дыра. Ресёрчить можно сколько угодно. Э-э, до денег можно никогда не дойти. — Можно. — А вот какие есть у тебя сценарии использования реализованные, классные, где прямо вот, ну, что-то произошло такое, стало жить всем лучше? — М, они действительно про resarch, где мы очень большое количество неструктурированной информации превращаем в структурированную информацию и выдвигаем какие-то гипотезы. А на примере химического производства есть химическое производство, которое делает там определённый клей для определённых нужд. — Угу. — Вот там на автомобильную тематику. Значит, проблема. Значит, есть у нас референтный клей, к которому мы стремимся, который производится в Германии. Теперь, значит, по понятным причинам недоступен параллельный импорт. Если доступен, то стоит каких-то нереальных денег. Вот отечественному потребителю нужно предложить что-то очень сильно похожее, но не задорого. Кожаное решение вот этой проблемы, да, то есть сидят какое-то количество химиков, таких рандишников, которые там с пробирками алхимичат, чего-то делают там десятилетиями, вот пытаются добиться какого-то результата. Значит, приходят бородатые мужики с иишкой в умных очках, опять же, да, вот слами: "Давайте попробуем через депресср, через какие-то количества итерации, опять же, с подкреплением эксперта внутри погонять". То есть мы описываем цель. Смотри, есть клей такой-то, нарой на него всё, что найдёшь в интернете. Какие-то, возможно, открытые патенты, высказывания там их сотрудников, руководство, какие-то интервью, всё остальное, где хотя бы вскользь говорится о том, из чего он там состоит. То есть попробуем максимально понять его, собственно, формулу, если там не защищено слишком сильно как супер, кажется, что дипсик в этом должен быть очень хороший. — Псик в этом как бы очень хорош, да? То есть мы вот как бы попытались отресёрчить цель, к которой мы стремимся. Теперь смотри, что делаем мы. Вот наш производственный процесс. Вот наша формула. Вот у нас такие станки. Так мы это делаем. Столько-то держим. Центрифуга такая-то. 5.000 оборотов. Получается вот такие характеристики. Это где мы сейчас, смотри, мы то, что сейчас хотим вот чтобы оно было как там. Посоветуй, пожалуйста, или нам наметь гипотезы, что нам изменить к технологии в рецептуре или в том или другом, какие там

дополнительные ингредиенты добавить с учётом текущего санкционной политики в отношении России. То есть мы не можем в Европе покупать какие-то там реактивы, грубо говоря. Поэтому смотри, прежде всего какие-то аналоги или дженерики с рынков, которые доступны для прямого импорта нам. В первую очередь, естественно, это Китай и Индия. И эта штука через несколько-то раз, значит, варит, варит всё это вот так вот, собственно, как бы делает. Вот мы это показываем на экспертов-химиков. Они говорят: "Да, вот здесь интересно, здесь точно фигня. Мы размечаем ответы модели, где точно фигня с точки зрения эксперта, а где мм прикольно, надо там попробовать". И на пятую итерацию выходим на результат, к которому стремились. То есть мы сделали там в три раза дешевле клей, а, который по характеристикам практически догоняет тот референтный образец. Просто de пресarch, то есть там, где вот эксперты химики варятся уже за счёт того, что это долгие эксперименты, долгий перебор, это прямо алхимия чистоя варится десятилетиями, мы к такому же результату прибежали за 2 месяца. Ты сейчас упомянул технику, которая называется F shot prompting. Ээ суть этой техники, работы с искусственным интеллектом, заключается в том, что мы даём градацию примеров, даём обратную связь и говорим, что вот эта часть - это очень хорош, это очень хорошо, вот это вот, ну ладно, средненько пойдёт, а вот это вот очень плохо, так не надо. Штука в том, что когда мы исследовательскую работу проводим, первый ответ от промпта, какой бы мы его не создали, это черновик. И у нас есть несколько техник, которым надо ответ улучшать. Fot prompting - это одна из них, когда мы выдаём хороший пример, плохой пример, средний пример. — Плюсую изза фьюшота, да, то есть вот definition of, то есть вот какой результат ты ожидаешь получить от модели на свой запрос, потому что есть очень большие толкования, да? То есть создай мне отчёт. А что такое отчёт? Ну то есть

у модели там она вот средний отчёт больнице. Вот поэтому когда даёшь ему пример этого отчёта или такую структуру, что в отчёте должно быть то-то, то-то 1 2 3 4 5 и гораздо проще попасть в эти ожидания, чем вот как бы проанализируй мне отчёт и создай справку. Что это, блин, что такое проанализирует? Да можно же анализы не только чисел делать, но и каких-то биологических жидкостей. То есть модель теряется. На самом деле мы вот как-то обыденно рассуждаем, но если попробовать назад вернуться и хоть чуть-чуть отрефлексировать, что вообще Дима только что рассказал, что в три раза уменьшилась себестоимость продукции, сильно выросло качество, только произошло всё это, ну, наверное, на горизонте нескольких часов. Аналитическая работа, я имею в виду, была проделана, может быть, даже меньше. чистого времени работаем модели несколько часов с учётом вот валидации через экспертов, переразметки и то есть, естественно, тоже не с первого раза это получилось, там с пятой, с шестой итерации, да. Вот с учётом валидации об экспертов чистого времени, ну пусть будет 2 дня, вот с учётом самих экспериментов, пока химия доит, пока мы там намешаем, там 2 месяца. Вот. Но чисто время работы модели - это несколько часов, да? А вот, ну вот просто это исследовательская часть, сколько бы времени она заняла и была бы она вообще возможна бы, если бы мы убрали вот эти все инструменты, — как обычно кожаные и делают, то есть пойти что-то поискать, проанализировать все сайты, что там нового вышло. Ну то есть вот десятилетия, у нас есть исторические данные, что это занимало 10 лет, чтобы вот получить какую-то новую итурацию формулы вот этой штуки. — Вот об этом разговор, что на самом деле происходит. революция, в том числе и в производстве. Я думаю, что только этот вот сценарий один с формулой. Мне, конечно, в нём кое-что не нравится. Мне в нём не нравится то, что мы как бы не создаём пока что что-то, а мы пытаемся воспроизвести существующий результат. То есть это в целом особенность такая. Угу. — Lлm любит очень в пример приводить сцену здесь из Я робот. А ты напишешь картину, вот в котором Уил Смит обвиняет робота в том, что он не напишет картину, не сделает музыкальный шедевр. Роботу говорит: "А ты сам-то сделаешь это?" — Вот. И тут немая сцена такая повисает. Что-то такое вот здесь есть. Но тем не менее сценарий использования боевой инструмент рабочий. И стоило всё это в деньгах несопоставимо — с тем, что можно было бы потратить без этих инструментов. — Ну, это только начало, да? То есть, в смысле, это вот просто подбираешь, не нет универсального решения, подбираешь инструменты и через рации, через какие-то вот споры самим собой ты рано или поздно доходишь до достаточно этого 995 из тыся хорошего результата. Но инструменты они сильно разные и под каждый случай подбираются отдельно. Тут главное пробовать, да? То есть никогда модель с первого раза вот нормально не отвечает. Ну так, чтобы такой о'кей взял там, ну совсем какой-то простой запрос, но тем не менее итерации через обратную связь от эксперта, от человека, что ещё и как исправить. — Какие сценарии можешь привести в продажах и вчаре? — В продажи я не лезу. Мне я их очень не люблю почему-то. То есть там действительно какой-то прямо красный океан, там есть что поделать, но все бросились автоматизировать продажников. автоматизировать их скрипты и все эти речевые аналитики, как там что продаёт. И в большинстве случаев выясняется, что проблема там была не в отсутствии искусственного интеллекта, а в том, что сами процессы и скрипты. Ну то есть начните с того, чтобы продажники вовремя приходили на работу. Это сразу там плюс 20% продаж там начинается, да? Потом начните с того, чтобы они там заносили всё в CRМК, пусть сришка там плюс ещё 20%. В общем, продажа - это штук, которые пытаются обмазать искусством интеллекта, но если там покопаться, то понятно, что можно очень много результата без искусственно интеллекта увеличить. Вот. А в случае с HR - это супер интересная штука. Там очень много сфер именно применения, куда ещё, как что-то вкрутить, причём по всей воронке. из тех экспериментов, которые уже непосредственно делали, что если обложить модель достаточным количеством контекста, то можно, во-первых, дообогащать резюме на основе мест работы, потому что в чём проблема большинства резюме, особенно если не какие-то, э, высокооплачуемо айтишники, вот, а условно там что-то, не знаю, там есть такой сегмент синие воротнички, и там есть проблема, что у них там 90% резюме [ __ ] полное. Ну, в смысле, вот работал там, ты не судим, всё, и ты из этого не можешь сделать никакие-то выводы, да, и яишко, оказывается, можно через вот, э, парсинг, через ресёрсчи вот этого о ромашка по иннном, там, по названиям, по каким-то самым, понимать, чем оно занимается, в чём его специализация и дообогащать какой-то отраслевой опыт, что перед тобой не просто там маркетолог из ООО Ромашка, а маркетолог, который там с определённой степени большой вероятности вот занимался там в том числе продвижением товаров там на маркетплейсе, допустим, потому что о Ромашка этим занимается и дело из этого очень сухого, сжатого, не самого подробного в резюме, да, обогащая его дополнительными данными. Это штука, которая, э, сильно улучшает матчинг. Вторая история - это анализ э интервью. То есть, во-первых, можно писать скрипты интервью для, ну, или помогающие скрипты, если нужно кого-то отсобеседовать, а ты, особенно если ты там малый или средний бизнес, ты вообще не вдупляешь, о чём его спрашивать, да? То есть я вот не специалист по маркетингу, как мне собеседовать маркетолог, я там не умею, да? ты получаешь прямо скрипт, о чём точно с ним можно как бы поговорить. можно загрузить, уже есть прямо рабочее решение, загрузить э запись этого интервью в модельку, и она прямо на уровне уже 90% точности неплохо скорит э хард скилы и ачасоф скилы и может делать как рекрутёр уже какие-то выводы, а это там кандидат подходит или не подходит, просто на часовом записи интервью желательно с видео, потому что есть ещё инструменты распознавания эмоций по гармоникам, по а движениям головы, мышцы и вообще распознаванию эмоций по выражению лица. Есть уже такие инструменты. Это экономически целесообразно. Часовые интервью с синими воротничками по 25 кадров в секунду распознавать. То есть это же дорого. Это суперцелесообразно, потому что здесь меняется сам подход к интервью, когда не нужно вот человека звать в офис, не нужно учить его ставить себе Zoom на телефон или там, не знаю, какой-нибудь Яндекс Телемо, смотря чем вы пользуетесь, когда это можно сделать в асинхронном инструменте типа Telegram бата, куда приходит там сгенерированный аватар или просто вопрос, то есть отвечает на такой вопрос, и там человек может просто в ответ записывать, когда ему удобно кружочки с ответами на эти вопросы, и ты их можешь анализировать, да? То есть это интервью может длиться асинхронно там, ну, когда у него будет время, там ответить, да, там, не знаю, день, два-три, да? То есть он на что-то ответил, мы ему ещё вопрос прислали. То есть в отличие от Сабеса на час, когда нужно все вместе собраться, мы можем асинхронно потом опрашивать большое количество людей, собирать с них какой-то набор кружочков с ответами на вопросы, которые наша модель считает как бы интересными и значимыми для оценки уровня этого кандидата. всё это анализировать и давать какой-то уже конклюionн в первую очередь уменьшая количество Ну хорошо, модель не должна принимать решение о найме человека, да, но значимоть количество ложноположительных или ложноотрицательных результатов интервью эта штука уже умеет. И такие прототипы уже есть, которые что, ребят, напишите в комментариях. В следующем выпуске навайп-кодим такого Telegram-бота, который будет отправлять вопросики по кружочкам делать какие-то выводы. Так, ну да, звучит интересно. Здесь всё ещё кажется, что все критерии наши попадают под то, какие приложения целесообразно делают такими штуками. Стоимость ошибки довольно низкая, потому что это интерпретатор каких-то характеристик человека, и он отдаёт эти данные всё-таки эксперту. Эксперт уже принимает решение, что с этими данными делать. Судя по тому, что в HR происходит, по моим наблюдениям, в большинстве случаев интерпретация будет гораздо более эффективна, чем те специалисты, которые Угу — её проводят, потому что учат просто этому мало. Компетенций недостаточно так, чтобы они были высокими везде. Это первое. Второе, там есть точка контроля, то есть мы всё ещё попадаем под некоторый контроль качества, в данном случае контроль качества кандидата, — да, — где-то там на воронке. Вот поэтому что звучит интересно. — Ну это только первая половина задачи, а есть вторая половина задачи называется всратые вакансии. Потому что как бы если мы посмотрим на среднюю вакансию её описания, это всегда что-то очень болезненное для того, кто её составляет. Обычно это какие-то общие описания на примере продакт-менеджеров, да, нужен продукт мини SEO в продукте, должен уметь в А-тесты, должен уметь там немножко в SQL, всякие такие штуки. Но вот этот вот гэп, этот разрыв между сухим описанием вакансий и того, что за человек с какими скилами, хардами и софтами на самом деле нужен, он очень большой. И точно таким же образом мы можем собирать информацию и обогащать не только кандидате, а о команде, о работодателе, это со стороны работодателя, что за кандидата им действительно подходит. И это уже не просто сухое описание, да? То есть, если мы там подключимся к их там рабочим перепискам, рабочим чатам своим, потом придём там на пару-тройку их встреч рабочих, как они проводятся, и анализ этого сентиментов, мы поймём, что на самом деле здесь нужен кандидат, который там сильно более в Discoverovery вместо Delivy, который толерантен к небольшому, но всё-таки матерному выражению на рабочих встречах и при этом любят пить пиво по пятницам. А это мы можем вытащить просто взяв какой-то кусок коммуникации внутри команды и сделав просто даже не ви кружочками опросив руководителя: "А что за человека ты ищешь?" Да? И здесь мы с одной стороны есть про кандидата вот дофига всего, что можно смчить с данными про вакансии. Не просто записание, что он SQL знает или там умеет Экселем пользоваться, например. Вот. А добогатив ещё знания изнутри, которые были со стороны работодателя. И это уже совсем другой уровень мэтчинга, когда люди уже вот находят друг другу, а не просто вот на фиговое резюме приходят на какую-то фиговую вакансию. — Напишите, ребят, в комментариях, как вы думаете, какие ещё бизнес-процессы в регулярном менеджменте, в управлении персоналом, в HRTтек в целом, вы видите, можно автоматизировать и с помощью искусственного интеллекта улучшить. Всё возьмём, заиспользуем в качестве идей, запилим Telegram ботов, какие-то сервисы, посмотрим, что из этого получится. Скажи, пожалуйста, Дим, вот есть какая-то ещё важная мысль, которую ты считаешь, как вот вишенку на торте нужно донести до зрителей, до наших. Как правило, она так проявляется, что каждый раз или через раз, когда ты где-то что-то рассказываешь проит вопрос всплывает, и ты говоришь: "Я всё время говорю обязательно, ребята. Угу. — Вы должны знать вот это. Вот можешь эту фразу продолжить? Как написано в замечательной книге "Какой вопрос я тебе не задал?" Из тех, который должен был задать. нас очень любят пугать страшилками про AGI, ACI, Artificial General Intelligence, Super Intelligence, про вот этих всех, значит, терминаторов, завоёвывающих весь мир. Тут можно долго дискутировать, но если вот посмотреть в будущее, я совершенно не ожидаю, что это вот супермодель, моделище будет какой-то одной от одного какого-то вендера. То есть, как только этот AGI, чтобы мы не подразумевали, да, под этим словом, наступит, это будет не какое-то огромное детище какой-то огромной корпорации или какой-то там детратизованной сети такой модель всех моделей Tool, который нас поработит. А я верю, что это будет оркестр из десятков сотен, тысяч узко специализированных, очень хорошо заточенных под каждую задачку моделек. И а в итоге человечеството будет очень хорошо. Вот те решения, которые мы пием, чтобы было 9 5 из тысячи, они как раз про то, что мы берём какой-то узкий сегмент, раскапываем его до конца и делаем прямо узкую задачу, которая решается великолепно. Здесь всё это зависит от всех нас. Вот насколько мы вовремя сегментируемся, прекратим этот общий и вот применять на какие-то общие задачи и получать очень странные результаты типа количество букв R в словестбери. И вот я всех призываю, э, в какой-то своей узкой специализации прямо сильно закопаться в инструмент и сделать маленькое, но точечное решение, которое, во-первых, там будет вас кормить. Вот. Во-вторых, сделает сильно лучше для человечества в создании вот этого AGI, которой на самом деле является таким роем очень талантливых, очень трудолюбивых, но маленьких пчёлок. Вот мы за пчёлок сейчас. — Друзья, все инструменты, которые мы сегодня обсуждали, включая все кастомные GPT, ссылками будут выложены у меня в Telegram-канале. Ссылочка на канал под этим роликом находится в описании. Пожалуйста, нажимайте лайк, делитесь вашими мыслями, подписывайтесь и увидимся с вами в следующем видео. О.