Какие нейросети искользуют в Яндекс.Доставке прямо сейчас. Опыт сотрудника

14:26

Какие нейросети искользуют в Яндекс.Доставке прямо сейчас. Опыт сотрудника

Лебедев про Нейросети: уроки, секреты, лайфхаки 20.06.2025 637 просмотров 14 лайков

Machine-readable: Markdown · JSON API · Site index

Смотреть на YouTube

Поделиться Telegram VK Бот

Транскрипт Скачать .md

Анализ с AI

Описание видео

🎁 Хочешь разобраться в нейросетях с нуля? Забирай бесплатный курс «Нейросети. Быстрый старт» — всё по делу и без воды: https://iiuniversitet.ru/free?utm_source=youtube&utm_medium=video&utm_campaign=opicanie&utm_term=marketograf&utm_content=YT-446 📖 Обучайся сейчас — завтра может быть поздно. Скачай книгу «Нейросети: как обрести профессию будущего»: https://iiuniversitet.ru/futurebook_free?utm_source=youtube&utm_medium=video&utm_campaign=opicanie&utm_term=marketograf&utm_content=YT-446 ⏩ И еще больше подарков, которые можно забрать сразу: Мастер-класс «Прибыльные нейросети» https://clck.ru/38ypws Мастер-класс «ChatGPT полный курс» https://clck.ru/38ypxa Бесплатные аналоги ChatGPT https://clck.ru/38ypxk Курс «Нейропродюсер» http://iiuniversitet.ru?utm_source=youtube&utm_medium=video&utm_campaign=opicanie&utm_term=marketograf&utm_content=YT-446 В этом видео . Константин Голяев. ЯндексGPT: Как нейросети Яндекса ИИ помогает экономить бюджеты и делать качественный сервис Как Яндекс.Доставка экономит миллионы на поддержке с помощью нейросетей, не теряя в качестве сервиса. Рассказываем о стандартизации, машинном обучении, внедрении GPT, автоматизации ответов и повышении клиентской удовлетворённости. Практические примеры, цифры, сценарии внедрения. Экспертный опыт изнутри Яндекса. Навигация по видео: 0:00 — Введение: опыт использования нейросетей в Яндексе 0:40 — Особенности Яндекс.Доставки и доступ к сервисам большого Яндекса 1:10 — Экономия на поддержке: автоматизация без потери качества 1:20 — Стандартизация процессов и внедрение машинного обучения 2:00 — Масштабы поддержки: более 33 млн обращений в год 2:30 — Экономия средств через автоматизацию (14,5% автоматических обращений) 3:00 — Конкретные примеры экономии и расчёты 3:40 — Влияние на качество сервиса: контроль показателей удовлетворённости 4:20 — Оценка качества работы: цифры, метрики по разным сегментам 5:10 — Постоянное улучшение модели, не только экономия, но и сервис 5:40 — Как строится логика и сценарии для автоматизации 6:30 — Особенности обучения моделей, нюансы обработки нестандартных случаев 7:20 — Пример с сарказмом: ограничения текущих ML-моделей 8:10 — Внутренние процессы: отрисовка логики, работа с метаданными 9:00 — Постоянная проверка качества и работа команды 9:40 — Переход к GPT: как это работает, зачем внедряли 10:10 — Вариативность ответов и ускорение поддержки с GPT 11:00 — Самообучающиеся модели: плюсы и контроль 12:00 — Разбиение на тематики для лучшего обучения 13:00 — Уход от шаблонности, больше «человеческих» ответов 13:50 — Финальные мысли: контроль качества, цели на будущее (4.5 удовлетворённость) 14:15 — Резюме: почему нейросети реально экономят деньги и улучшают сервис 🚀 Также можете найти меня здесь: Телеграм: https://t.me/marketograf ВКонтакте: https://vk.com/skillsupru Дзен: https://dzen.ru/marketograf Нейропрокачка https://t.me/+5DvJWeYvoFpmMGE6 Rutube https://rutube.ru/channel/41156136/ #нейросети #нейросеть #ии #chatgpt #чатгпт #ПавелЛебедев

Оглавление (22 сегментов)

Введение: опыт использования нейросетей в Яндексе

А как вы используете нейросети у себя в Яндексе? Помогает экономить большое количество денег в поддержке, не теряя качество сервиса. У нас уже автоматические обращения закрывается на 14,5%. Это 185 млн руб. за год экономия на поддержке, используя автоматизацию. Так, как мы это делаем? У Кости потрясающий опыт. Он ещё работал в своё время в проекте Совесть, и мы записывали с ним в своё время интервью и приезжал к нему в офис. В общем, давно мы с ним знакомы, и он, а, вообще, для меня произвёл впечатление такого человека очень круто продвинутого, потому что когда все только-только начинали говорить про онлайн-обучение, он уже там делал какие-то вообще TikTok-курсы, какие-то продвинутые штуки. И сейчас мне очень интересно узнать у тебя, а как вы используете нейросеть у себя в Яндексе? Если говорить про саму доставку, я

Особенности Яндекс.Доставки и доступ к сервисам большого Яндекса

сегодня буду говорить именно про Яндексдоставку. Все понимают, что компания Яндекс, она достаточно большая, есть отдельные продукты Яндекс GPT, Яндекстаси, многие пользуются сервисами Яндекса. Но при этом использование сервисов - это всё-таки некая, можно сказать, группа компаний, которая позволяет использовать внутренние сервисы и на сервисы дополнительно. Вот мы есть Яндексдоставка, и внутри Яндексдоставки мы можем пользоваться всеми сервисами большого Яндекса, да, большого брата. Поэтому сегодня я буду рассказывать, как нам и помогает экономить большое количество денег в поддержке, не теряя качество сервиса. И начнём мы с самого интересного. Понятное

Экономия на поддержке: автоматизация без потери качества

дело, что Eи строится на самом деле не только с того, что у нас есть GPT чаты и всё остальное. Начинается всё со стандартизации. Стандартизация у нас это вмельки. Может быть, кто-то об этом

Стандартизация процессов и внедрение машинного обучения

знает, кто-то об этом слышал. Если кто-то об этом слышал, подробно, наверное, расскажу для тех, кто вообще никогда не сталкнулся с машиной леning. Это процесс обучения модели на стандартных примерах. Если взять э поддержку, то давайте представим, мы пишем стандартизированные запросы и на стандартизированных запросах, имея возможность описания сценария, мы можем давать стандартные ответы. Имея возможность делать шаблонные ответы, ты, по сути, обучая модельку, начинаешь чуть-чуть переходить в сторону от ручных ответов к в сторону возможности использовать роботы и экономить ресурсы. Давайте рассмотрим, на самом деле, сколько всего вот в поддержку доставки могут писать людей. За год прошлогодний нам написало более 33 млн обращений. То

Масштабы поддержки: более 33 млн обращений в год

есть это люди, которые обрабатывали те или иные запросы. Причём запросы могут приходить, как понимаете, от курьеров, которые выходят на линии, пользоваться нашим приложением. Это также пользователи, которые при используют нашу услугу. Вот именно столько обращений пришло непосредственно к нам для обработки. Дальше мы понимаем, что если использовать только руки, каждое обращение стоит денег и, следовательно, используя только ручной процесс, ты очень много денег будешь тратить только на ответы на те или иные запросы. И если ты имеешь возможность стандартизировать этот процесс, в двадцать четвёртом году

Экономия средств через автоматизацию (14,5% автоматических обращений)

мы выше стандартизацию процесса обучения модели на 14,5. То есть у нас уже автоматические обращения закрываются на 14,5%. наверное, хороший пункт, но на самом деле мы двигаемся дальше. В двадца пятом году ставят цели более амбициозны. Сколько стоит одна обработка вообще любого обращения в поддержке? Это тоже важно для того, чтобы в дальнейшем показало на самом деле какая экономия вот от использования автоматизации в той или иной поддержке 40 руб. Долгими расчётами можно посчитать, на самом деле, сколько мы экономим. Если в роверах, то это полтора ровера. Полтора ровера денег полных мы сэкономили. Если в наших сумках доставки, то это две

Конкретные примеры экономии и расчёты

полных сумки доставки. А если это в цифрах, то это 37 кг 87 г денег, это в объёме 44 л и в количестве купюр - это 37. 120. А на самом деле это всё в номинале 5. 000 руб. Это 185 млн руб. за год экономии на поддержке, используя автоматизацию, именно стандартизацию обучения модели. Хорошо ли это или нет, ключевые показатели, на самом деле, обучая модель, ты понимаешь, что можно так стандартизировать ответы, что на самом деле все пользователи твоего сервиса, они не очень сильно будут рады ответу робота. Да, и многие, наверное, знают, что там банковских сферах деятельности в сейчас вот в Финтех направлении активно используют модели для того, чтобы отвечать в чатах поддержки. Всегда ты рад. Зачастую ты

Влияние на качество сервиса: контроль показателей удовлетворённости

пишешь там: "ПЗови оператора", потому что, ну, достаточно много моментов робот начинает отвечать неверно. У тебя один запрос, робот отвечает другим запросом. Мы с этим боролись полтора года. Я уже более 3 лет работаю вот именно с обучением моделей. 2 года мы достигли, на самом деле, очень классный показатель именно качества роботе для того, чтобы говорить о том, что робот не ухудшает сервисное обслуживание клиентов. Да, если посмотреть на тоталкat, если кто-то в поддержке работает, то значит, что самая главная метрика - это удовлетворённость клиентов. Она мерится в ксате. Следовательно, посмотрев на тотал пятизначного, мы видим, что сейчас мы циферку 413. Это достаточно высокий сервис-leлевеel для того, чтобы говорить, что модель ни в коем случае не ухудшает ключевые показатели качества сервиса. Если говорить про разбивки, то

Оценка качества работы: цифры, метрики по разным сегментам

в сегменте курьеров это чаще всего пишущие нам ребята по нашим приложениям удовлетворённость 4. 2. Если говорить про бизнес, то бизнес удовлетворён 4. 3. Если говорить всеми пользователями, которые являются любой пользователь, заходящий в приложении GO, он удовлетворён на 4. 2. Если говорить про рынок, качества и удовлетворённости, циферки пять, понятное дело, что скорее всего это либо какое-то читерство, либо ещё что-то. Но на самом деле левел самый хороший, 4,5 - это считается супер классный сервисный показатель, поэтому к нему мы и стремимся. И на самом деле обучение модели мы стараемся сделать непосредственно этот сервис более лучше и качественнее. Это ещё раз доказывает, что это не простая экономия денег, а на самом деле предоставление качественного сервиса для наших клиентов. Так как мы это делаем? На самом деле, начинали мы, как я и сказал, с-модели. Сейчас мы уже активно будем и использовать GPT. И я тоже про это немножечко расскажу, чтобы вам было понятно, что на самом деле сервис не только останавливается на

Постоянное улучшение модели, не только экономия, но и сервис

ML-модели. Сейчас мы имеем более 250 сценариев. Сценарии - это размеченные модели, обучающиеся, которые позволяют понимать, что пишет тот или иной клиент, тот или иной пользователь нашего приложения для нашего сервиса, именно для того, чтобы ответить. Каждая из сценариев имеет более десяти ответов. То есть модель не подразумевает один ответ, один сценарий. Это подразумевает много логик для того, чтобы ответить на тот или иной запрос. Как это происходит? На самом деле происходит сначала большая трисовка логики. Понятное дело, что есть много

Как строится логика и сценарии для автоматизации

моментов, связанные с ручным либо неручным ответом. Сейчас я тоже об этом расскажу, что людей на 100% заменить невозможно, но на самом деле большой объём уже сейчас мы используем. Отрисовка логик. Всё очень просто. При запуске той или иной фичимо прорисовать логику работы робота для того, чтобы он понимал, на какие триггерится. Мы не говорим сейчас про триггерные слова, да? Триггерная модель на словах, это, мне кажется, уже года как два старая история. Сейчас мы уже триггеримся на внутренние метаданные, которые собираются по нашему процессу внутри, давайте так назовём, нашего инструмента. Я не буду называть конкретный инструмент, каким мы пользуемся. В нашем инструменте мы можем позволять себе набивать метаданные. Из этих метаданных мы тянем логику ответа. Что происходит дальше? Дальше мы обучаем модель. Модель сама по себе учится на примерах, которыми мы отвечаем. Если мы первый раз запускаем, мы видим ту или иную логику, э, использования и в некоторых моментах

Особенности обучения моделей, нюансы обработки нестандартных случаев

есть некие широковатости ответов, да, непопадания на всякий случай. Я всегда рассказываю про пример. Любая модель не определяет сарказм. AL-модель не определяет сарказм. По-разному можно сказать слово спасибо по-разному. Если вы в ба в банках где-то использовалимо модель, я, слава богу, в на периодично делаю тесты в других направлениях, смотрю, вот можно по-разному написать саркастично на тот или иной ответ, и она ответит не саркастично той моделью и тем ответом, который ей зало заложил разработчик. К примеру, тебе никто не помог, и ты такой: "Спасибо, потратили моё время". А моделью заложен ответ на спасибо, именно на триггерное слово, и она тебе отвечает: "Спасибо, рады были помочь". И вот таких примеров достаточно много, где действительно большие компании не отключают вот эту модель словесную и используют её в некачественном сервисе. Это на самом деле очень плохо, и хотелось бы, чтобы, ну, все уже переходили на модель, которая всё-таки генерится на исключительно примерах использования.

Пример с сарказмом: ограничения текущих ML-моделей

Яндекс - это большой сегмент различных программ, которые мы можем использовать. И вот для того, чтобы те или иные метаданные посмотреть, мы рисуем ручки. Ручки - это, на самом деле, поход в какую-то мету для вытаскивания э необходимой информации и в дальнейшем применения её к нашей модели. Вот для запуска любого сценария необходимо нарисовать походы те в те или иные сервисы наши. Все понимают, да, что многие могут работать не в одном сервисе. Это нужно проверить в том или ином сервисе, как зарегистрирован, это тоже нужно проверить клиента и тому подобное. Все эти ручки отрисовываются для того, чтобы сценарий запустить. Это процесс достаточно сложный, и его делают опять разработчики AIL. Но самое главное, что после вот этого всего, всей трисовки сценария, запуска ручек, использования посредственно обучение модели, мы не останавливаемся на этом, и у нас есть отдельный отдел, который приводит качеству ответов э нашего робота для того, чтобы все эти сценарии

Внутренние процессы: отрисовка логики, работа с метаданными

прорабатывали верно и мы получали хорошую оценку. На я на самом деле не рассказал, тоже поджусь, что предыдущий слайд, где я показывал оценку за сервис, на самом деле это responsate - это количество оценок более 25%, то есть каждый четвёртый человек отвечает и ставит удовлетворительную оценку. модели и нашему сервису. Это хороший спонсрейт. На самом деле многие сервисы не имеют такого количества ответов. Мы за каждый ответ стараемся, ну, за каждый решённый кейс мы стараемся получить ответ. Это для нас важно, потому что, по сути, мы там обучаем в дальнейшем моделей и смотрим, насколько качественно либо некачественно она прорабатывает. Вот. Поэтому здесь мы тоже останавливаемся, что любая из запущенных моделей и любой из запущенных сценариев - это отдельная проверка э непосредственно нашей команды. Ну и, наверное, тоже самое интересное. Сейчас мы говорили про модель такую более ручную. Это всё-таки ручная модель с использованием разработчиков э ручек

Постоянная проверка качества и работа команды

имейлей, да, это возможность использовать команду и всё-таки больше взаимодействия непосредственно на стандартизации ответов. Что же происходит, когда в стандартизацию включается сам GPT и помогает не только руками отвечать, но и на самом деле генерить возможность ответа намного лучше либо качестнее? Скорее всего, это более такой интересный слайд для тех, кто, может быть, хочет либо хотел бы использовать сеть GPT в своих сервисах обслуживанию клиента. В двадцать пятом году мы сделали год GPT. Объясню, почему. Потому что в двадцать четвёртом мы начали тестить это протестили, посмотрели, как это работает. Сейчас как раз на примере расскажу. получили же определённые оценки и начали генерить возможность использования в стопроцентных случаях уйти от модели

Переход к GPT: как это работает, зачем внедряли

ручной как конкретными примерами и обучением на GPT, где мы действительно даём вариативность ответа, где мы понимаем, что человек общается уже не с роботом, да, зачастую многие сервисы нас забывают роботизированными именно за шаблонность ответов. Вот от того, чтобы это уйти, можно использовать там вариативность, вариативность ответов, но на самом деле можно использовать GPT, который поможет это эту вариативность сделать ещё круче. И, следовательно, модель твоя будет намного эффективнее. И ответы, и качество сервиса тоже. Что даёт нам сейчас уже GPT? GPT уже даёт увеличение

Вариативность ответов и ускорение поддержки с GPT

увеличиваем SL ответов. SL ответов - это скорость прихода не моделью, скорость прихода ответа руками. Сейчас объясню, как. На самом деле GPT формирует большого количества вопросов, которые задаёт пользователь либо, ну, давайте, пользователь нашего сервиса. Он формирует основную выжимку и даёт возможность нашему саппорту, нашему оператору ответить конкретным примером. Да, он под даёт возможность быстрее дать ответ, подходящий под запрос непосредственного клиента. То же самое сейчас вам помогает на нашей, а, непосредственно-модели. Мы проговорили и поработали непосредственно с подключением к нашей модели и сейчас быстрее и эффективней отвечаем, на самом деле, вариативными ответами. Что ещё отличает GPT от модели, э, нашей, это, на самом деле, самообучающая модель. Всё очень просто. Если мы говорим про машинное обучение, мы говорим о том, что всегда нужно загружать непосредственно

Самообучающиеся модели: плюсы и контроль

примеры, а непосредственно должен быть человек, который сидит и вгружает в него те же самые саркотичные примеры, объяснения, проделывает много работы внутри для того, чтобы эта модель самостоятельно понимала, где и какой конкретный ответ использовать, то сама обучающая модель, она позволяет это ускорить в два раза. То есть мы, по сути, сейчас отходим от модели ручного ручной надбивки и обучения к самообучению. Но здесь мы не забываем о том, что самообучающаяся модель, а, она подразумевает постоянный контроль по той простой причине, что она может обучиться не в тех тематиках. И здесь тоже важно главное э рассказать, чтобы вы понимали, что всё, что я сейчас говорю, возможно только на использовать в том шаблоне, когда вы сильно разбили на конкретные тематики. Потому что если у вас есть какой-то большой запрос и он ожидает какого-то конкретного ответа, то это будет очень сложно сделать, если нет подпунктов. К примеру, там, не знаю, та же самая, ээ, ну, вопрос там, где находится мой курьер- это стандартный вопрос от пользователя. Вот этот стандартный вопрос для пользователя, он для модели должен разбить на несколько

Разбиение на тематики для лучшего обучения

подпунктов. Где находится курьер? На точке А курьер забрал заказ, к примеру, да, либо не забрал заказ. И ещё пять подпунктов, на которые модель будет смотреть. И ей для того, чтобы это всё сделать, нужно сделать большой алгоритм вычислений, который она поймёт, к чему сейчас происходит вопрос получателя, для того, чтобы ответить. Вот. Вот в этом моменте сама обучающаяся модель на самом деле всё равно чуть-чуть остаётся под контролем непосредственно людей только в том, что мы развиваем на конкретные тематики, чтобы модель обучалась в конкретной тематике быстрее. Вот это на самом деле тоже важно, если будете использовать э сервис у себя в тех или иных инструментах. Что ещё помогает GPT, как я уже много рассказал про то, что шаблонность ответов в последнее время- это кредо, можно сказать, поддержки по той простой причине, что шаблонная илька как раз и подразумевает использование шаблонных ответов на ту или иную тематику. GPT позволяет уйти от шаблонности и, ну, многие из вас, возможно, уже используют кто-то использует для переделывания текста, для резюме или ещё что-то, вы уже понимаете, что GPT быстро это всё делает, 100% не даёт

Уход от шаблонности, больше «человеческих» ответов

два одинаковых ответа в тот или иной период. Вот если говорить про модель предыдущую, про которую я рассказывал, она может это делать, если неправильно обучена, там на один запрос, всё время будет отвечать одним и тем же, ну, одним и тем же ответом. Здесь мы говорим про то, что в GPT нам помогает уйти от шаблондизации и 100% погрузиться в различные ответы, и человек уже понимает, что он общается не с роботом. На самом деле у нас нет задачи там обмануть, человек общается с роботом или нет. У него всегда есть возможность написать там: "Позови оператора". Но вопрос про то, что у него есть понимание, что он общается с экспертом в этой области, получает качественные ответы и, возможно, даже где-то и не зная о том, что это, ээ, нейросеть. Но и последнее основное, то, что мы всегда делаем при запуске любой из экспериментов, любые из наших сетей - это оценка качества. Как я и сказал, для любого сервиса важно это удовлетворённость клиентов этим

Финальные мысли: контроль качества, цели на будущее (4.5 удовлетворённость)

сервисом. Если ты запускаешь тот или иной продукт, важно понять, насколько этот продукт нужен рынку. И второй момент, насколько этот продукт непосредственно позволяет качественно отработать э запрос клиента. Мы целимся в то, что у нас качество в двадцать пятом году 100% будет лучше, и всё-таки мы там дойдём до цифры 4-5 - это бест-практика использованию. И, следовательно, эта цель стоит, мы её защитили и двигаемся к ней. Вот. А это

Резюме: почему нейросети реально экономят деньги и улучшают сервис

основные моменты, которые я хотел донести по использованию сетей и нейросетей, как они нам дают возможность экономить деньги и как мы это делаем.

Другие видео автора — Лебедев про Нейросети: уроки, секреты, лайфхаки

Ctrl+V

Экстракт Знаний в Telegram

Экстракты и дистилляты из лучших YouTube-каналов — сразу после публикации.

Подписаться

Лучшие методички за неделю — каждый понедельник