RAG база с НУЛЯ за 10 минут | Чанки, векторы, эмбединги простым языком [LightRAG]

Ну что ж, всех приветствую. Сегодня будем бомбить ракбазу, да? А в этом мне будет помогать а вот такой вот крепыш, да. А если кто не понял, это крокодил. Я его поставлю сюда, и мы начнём. А начнём, наверное, с, конечно же, немножко теоретической части. Это видео будет посвящено именно комплексному, комплексному разбору каких-то терминов, а, пониманию, что такое рак, что такое чанки, бендинг, как это всё происходит, формируется супер простым языком и понятным. Поэтому, а, я, ну, стараюсь сделать материал свой так, вообще любое видео, чтобы, а, человек без технической подготовки его понял и смог повторить, да? Ну, по крайней мере, там, если даже не смог, то какие-то вопросы смог сформулировать и задать и потом уже повторить. Вот, кстати, любые вопросы можете задавать в моём Telegram-канале. Обязательно это тоже учитывайте и подписывайтесь. Да, я там стараюсь публиковать только самые важную информацию и все материалы, которые я озвучиваю в своём видео. Итак, а, наверное, с чего стоит начать, это с того, что, а, первые первый момент, с которым я столкнулся, ну, во время того, когда начал изучать тему рак, а в чём вообще отличие, да? Вот, например, есть вот эта система, которую вы видите у себя сейчас на экране, да? То есть это некое такое уже более профессиональное приложение, где есть возможность подгрузить документы, где есть разная интеграция с АИ. То есть можно вот эту базу интегрировать в разные сервисы, там, ну, будь то на вашу платформу, в Telegramботы, ещё куда-то это всё подвязывать. А и в чём же отличие, например, а, ну, от тех же самых ассистентов, которых мы создаём в каких-то нейросетях. А что это значит? Ну, например, если мы берём платформу Open Applightform, я вам сейчас тоже покажу её переключусь, то а там же у нас тоже есть возможность задать имя, задать, а, ну, инструкцию, да, получается, ассистенту и подгрузить него векторную базу. Сейчас для наглядности быстренько переключусь и покажу. А, то есть, вот мы видим, получается, а, системная инструкция, а, чуть выше у нас есть name, имя нашего ассистента. И вот здесь как раз-таки есть функция file search, то есть нажимаем здесь на плюсик. И вот у нас возможность есть создания своего векторного хранилища. Так вот я и задумался, а зачем так усложнять, если можно просто зайти сюда, закинуть там 5пть баксов и работать спокойно через ассистентов. А, но здесь есть свои минусы и плюсы. Конечно, если у вас задача что-то быстро сделать, быстренько запустить, протестить, если у вас база не такая объёмная, то, конечно, вот это вот решение использовать какие-то готовые сервисы, а, ну, более, наверное, идеальное и простое, потому что, ну да, вы будете в моменте там чуть больше переплачивать, но зато вы не будете париться с настройкой, а не будете там особо разбираться в этом всём. То есть, в принципе, работает и работает. Но здесь есть важные моменты, которые стоит учитывать. Я их выписал на своей майнкарте. Сейчас я туда переключусь, и мы, ну, обсудим это. Я решил именно с этого начать, а потом уже будем разбираться вообще, что такое рак в его, а, так скажем, изначальном представлении. Так вот, а получается, что если мы берём какую-то готовую платформу, не обязательно это может быть Open Aistance, может быть вообще что-то, ну, любые другие платформы, это некий Blackбокс, то есть чёрная коробка в переводе на русский язык. То есть вы не знаете, как он ищет информацию, не можете настроить и платите за каждый запрос. Если же мы берём какую-то более профессиональную систему, например, свою ракбазу, которую я сейчас показал, то вы получаете полный контроль, прозрачность и возможность оптимизировать данные как

бы под ваши задачи. А, ну, как здесь я и писал, вы получаете больший контроль, вы получаете более приятную стоимость. И самое важное, если вы, например, планируете делать какие-то проекты для клиентов, то, в первую очередь для клиентов важна конфиденциальность и именно что связано с хранением данных. Так вот, если мы берём какие-то готовые решения, то а там данные хранятся где-то вовне. Но для некоторых клиентов это важно. И поэтому собственный рак позволяет взять какой-то сервер виртуальный, да, например, российский какой-то сервер, и на нём развернуть уже локально эту ракбазу. Получается, все данные хранятся на российском сервере и подконтролены, например, тому же самому клиенту. И это большой-большой плюс, если мы говорим про какие-то такие проекты более серьёзные. А, ну и, конечно же, это гибкость архитектуры. Аа здесь есть ещё какие-то слова непонятные, наверное, я не буду их проговаривать, а больше производительность, короче, знаете, а, наверное, если мы берём какие-то готовые решения, это как, ну, не знаю, там какой банальный пример можно привести. А, короче, это как ездить, я не знаю, на Ferrari с колёсами у Джигули, да? А если мы говорим про свой собственный рак - это, ну, как ездить на Ferrari со своими собственными колёсами. Ну да, то есть, короче, в полной комплектации. Поэтому тоже, ну, как бы я это должен был проговорить, чтобы у вас был общий контекст понимания. А также скажу, что сервис мы будем использовать для работы, а, в дальнейшем сейчас во второй части, то есть у нас первая часть касаема практики, вторая часть, о, точнее, первая часть касаема теории, вторая часть касаема практики. будет, а мы будем использовать Lightrack- это достаточно интересное решение, простое, самое главное, которое можно развернуть на селфсти, ну, так называемом локальном, а, хостинге, да, то есть то, что я сейчас и проговаривал. Я это всё покажу, как делать. Там очень всё просто. И, соответственно, у этого сервиса большой-большой функционал есть, который закрывает, наверное, 90%, ну, любых задач, с которыми придётся сталкиваться в дальнейшем. А теперь переключусь уже и поговорим вообще, что такое ракбаза. А рак вообще это Retrieval Argumented Generation. А я сразу, если говорю, что если я что-то неправильно произнёс, извиняюсь. Так вот, а как состоит и работает рак? А вы как человек задаёте какой-то запрос. Дальше у вас есть заранее подготовленная база знаний, которую вы погрузили

подгрузили в свой рак. Дальше получается, ну, ваш запрос ищется по этой базе знаний. Ну вот получается, да, и, ну, то есть этап поиска идёт, а, поиска ответа, и потом идёт выдача ответа, ну, там, используя определённые нейросети, да. А в чём здесь состоит тонкость? Когда вы задаёте ваш вопрос, то он с помощью такого инструмента, как embдеer, то естьдер - это как переводчик с человеческого языка на язык математики, который понимают компьютеры. Так вот, этот инструмент, он переводит ваш запрос в векторный формат, то есть переводит в числовое в числовые значения. И что происходит дальше? Когда он перевёл ваш ответ в числовые значения, он его как раз-таки передаёт, вот как я говорил, в качестве запроса уже в базу знаний. Ну и получается в базе знаний представим, что у нас уже подгружены какие-то файлы. Например, вот подгружен, я выбрал в качестве примера файл один, а в котором в этом файле прописано, что, например, да, YouTube - это интернет видеоплатформа и социальная сеть, основана в 2005 году с октября 2006 года, принадлежит компании Google. Так вот, а у нас есть, например, вот этот файл, и он, этот файл разбивается на чанки, так называемые. А что такое чанки? А, то есть, если у нас есть какой-то большой документ, да, представим, то чтобы создать, а-а, ну, какую-то базу, весь этот документ нужно подразделить на мелкие блоки, да, так называемые чанки, чтобы при вашем запросе, аа, получается, система обращалась только к нужным чанкам и выдавала релевантную информацию, а не искала по всей огромной базе, потому что представим, что документов может быть тысячи. И получается, так как ваш вопрос имеет векторный формат числовой, то когда он, ну, делает поиск по базе, он обращается как раз-таки к этим чанкам. И каждый чанк имеет свой, как скажем, тоже уникальный, ну, как не ID, но тоже некое цифровое значение. И чем ближе а тот вопрос, который вы задали, да, вот эти вот числа ближе к этим числовым значениям чанков, получается, тем будет релевантнее ответ. Ну, я думаю, постарался объяснить понятно. То есть представим, что давайте приведу простой пример. Вот ваш вопрос. А он, например, а перевёлся в векторный формат. Ну, пусть это будет там число 0,5. Ну, здесь я понятно просто в качестве лёгкого понимания. У вас есть файл какой-то большой, который разбит на множество разных чанков. То есть чанк о, чан, чанк 3, там ичетыре. А представим, что у нас есть у каждого чанка есть какое-то числовое значение. Например, пусть это будет от, условно говоря, 0,1, да, там пусть будет здесь 0,2, а у этого чанка здесь 0,3

да, и здесь вот 0,4. Ну, это я так сразу скажу, кто шарит за тему. Прошу заметить, что я просто стараюсь объяснить простым языком. Так вот, ваш запрос, он ближе всего к чанку номер один, да, и он, соответственно, его забирает и уже выдаёт вам в качестве ответа. Вот, думаю, идея понятна. Давайте чуть-чуть рассмотрим пример. То есть чанк - это кусочек текста, на который разбивается большой документ, как я и сказал. А зачем вообще нужны чанки? Представь, что у тебя есть книга на 300 страниц про YouTube. Если загрузить всю книгу целиком враг - это плохо, потому что слишком много информации сразу, сложно найти конкретный ответ, и lм имеет ограни ограничение на размер контекста. Решение разбивать книгу на маленькие кусочки, чанхи. Ну или там можно перевести на более человеческий язык, разбить книгу как бы на главы. А пример разбивки начанки. Вот, например, у нас есть исходный текст, который мы подгрузили в нашу базу. Вот такой вот большой. А как он его разобьёт на чанке? Например, Чанка 1 - это будет, что YouTube - это интернет-видеоплатформа, там тыры-пыры. То есть он вот здесь вот, получается, обрезал текст. Вот дальше он создал второй чанк и а в него закинул информацию, что YouTube там основан в таком-то году. И вот он как бы разбил, а вот на такое большое количество чанков. И получается потом наш запрос, а чем ближе он по числовому значению к какому-то чанку, тем будет релевантнее ответ. И получается, а, на вопрос, кому принадлежит YouTube, а, он мне должен, а, ответить, ну, по-моему, здесь нет такого примера. Ну, например, вот он выберет, что, ну, давайте представим, что я задал вопрос: "А в каком а году основан YouTube?" Вот. И он как бы сравнивает, сравнивает, видит, что ближе всего Чан 2, да, видите, по смыслу в том числе. И он его как бы забирает и выдаёт вам в качестве ответа. Ну, перерабатывает, понятно. И получается у вас вот такой вот комплексный поиск по базе вашей. Так, давайте сейчас всё удалю лишнее. А вот, как я и сказал, в базе данных а каждый вот этот вот файлик, да, который мы в него подгружаем, преобразуется вот в такой вот векторный формат. То есть, например, текст YouTube - это платформа имеет, ну, там, условно говоря, вот этот вот формат. Потом Google - это крупнейшее, да, там имеет вот такой формат. Ну, и так далее, да, вы видите. И когда мы задаём вопрос, кому принадлежит YouTube, он у нас, получается, имеет тоже преобразуется векторный формат. И дальше мы как бы вычисляем близость нашего вопроса к тем как бы чанкам, которые у нас нарезался наш текст, и видим, что он находит самый релевантный чанк и выдаёт вам ответ этого чанка. То есть, чем ближе векторы смотрят в одном направлении в многомерном пространстве, тем выше сходств. То есть идею, я думаю, здесь постарался несколько раз даже объяснить. Вот также есть, а, получается у нас второй этап. То есть первый этап, он находит сам релевантный ответ, а второй этап он, получается, здесь я написал топ-три наиболее похожих документа. То есть, условно говоря, что он может найти, например, не один там самый релевантный, а подобрать несколько каких-то чанков, потом это всё объединить в единый ответ. То есть мы видим, что есть здесь есть такой параметр, как скор, то есть здесь 0,95, 0,73, 0,68. В целом это три значения, которые максимально близки, если мы говорим вот про векторный формат, то есть максимально близки к той информации, которая находится у нас в базе. И он забирает, например, вот эти вот три найденных похожих документа и после этого передаёт это всё в контекст а нейросети, да? То есть он что передаёт? YouTube принадлежит с Google, а Google с октября 2006. YouTube - это видеоплатформа, основана в 2005 году. А когда мы задаём вопрос, кому принадлежит YouTube, он как бы уже на эросеть у него есть контекст и у на и у неё есть вопрос наш, и она нам выдаёт ответ, что YouTube принадлежит компании Google с октября 2006 года. И вот такой вот получается у нас комплексный ответ. Давайте рассмотрим простую 2D визуализацию, просто чтобы быть вообще ещё на шаг

продвинуте. А как это выглядит? Например, ну, ещё раз просто я вам третий раз уже объясняю, чтобы было понятно, да, как эта всё система работает. Представим, что у нас есть три документа. Вот у нас документ. Так, давайте я другой цвет выберу, чтобы не сливалось. То есть вот у нас есть документ три, там документ один и документ 2. А и вот наш приходит запрос, кому принадлежит YouTube? И здесь у нас находится близость, да, векторов по вот это вот расстояние, да, то есть чем ближе у нас вот это вот векторное расстояние, да, тем у нас больше сходства. И получается, как мы видим, а, ну, если мы рассматриваем, то самый, конечно, близкий ответ - это вот этот вот, а потом уже чуть дальше вот этот вот. Ну, и самый далёкий, да, у нас сходство с ним тут показано 0,45 условно, например, это вот этот документ. И таким образом он ищет информацию по базе и выделяет самые ключевые моменты. Вот. То есть, а это, наверное, вот то, что я и хотел рассказать в первом видео, что ракбаза - это такой некий комплексный инструмент, который позволяет, а, ну, использовать его вообще под разные задачи. Вот, например, я вам сейчас тоже хотел показать в этом видео один свой проект, который я сейчас делаю. А я его сейчас открою. Telegram как раз-таки ту ракбазу, которую я вам показывал в самом начале, она как раз создавалась именно для этого проекта. А в чём состоит его идея? Что есть некая база, которая, ну, то есть, а, человек проводит обучение и у него есть конспекты всех его уроков, там, записей, какие-то методики, которые он там высчитывает, параметры определённые. Ну, там, например, а это в данном случае проект был по нутри, ну, то есть по здоровью, да, то есть высчитывая там где-то вес, там есть калькулятор какой-то определённый. И вот мы это всё загружаем в наш рак и потом такого бота, ну, то есть привязываем нашу базу к Telegramботу и добавляем Telegramбота уже а в чат обучения. А что происходит дальше? Дальше при, ну, когда человек задаёт какой-то вопрос, ну, понятно, я сейчас не буду объяснять логику, там бот его квалифицирует, да, что это именно тот самый релевантный вопрос, и после этого обращается сначала а крак, потом передаёт ответ в ассистента и уже в T of voiceсее вот этого эксперта формирует ответ пользователю. А, покажу сейчас просто на пример, как это выглядит конкретно, вот так, как я это сделал. Итак, смотрите, как вы видите, я вывел консоль, то есть логи бота с левой стороны и с правой стороны я вывел непосредственно чат, где добавлен как раз-таки этот бот с ракбазой. Что сейчас я буду делать? Я сформировал вопрос, ну

вот на основании, ну, релевантной, конечно же, базы. То есть, чтобы там был ответ на этот вопрос, там, ну, вот, здравствуйте, благодарю за интересную информацию, там хотелось бы, чтобы приготовление пищи было несложным и недлительным там, ну, и так далее. Вот. Дальше я как пользователь, а, задаю вопрос просто в чат и всё, да? И беру. Сейчас сделаю отправить без звука, чтобы никого не беспокоить. И смотрите, что происходит в логах. А вот у нас пришёл вопрос. А, так, давайте я телефон уберу. Вот. А, пришёл меessдж новый. Видим, а, usернейм, видим, ID его тут. А, дальше видим, а, там, админст определённый. Так, давайте, чтобы телефон не мешал его. Вообще, я считаю, надо закрыть. Вот. Дальше, что ещё мы здесь видим? А сейчас мы видим первый stage 1 - это процесс валидации. То есть мы видим, что этот вопрос, который пришёл, вот он, здравствуйте, он сначала должен свалидироваться, что это вообще просто, ну там, может люди в чате общаются, да, и этот вопрос не нужно вообще на него отвечать. Вот он его слидировал, а он должен, а, во время валидации прислать либо да, либо нет. Ну, я просто весь процесс объясняю. И сейчас, а, как мы видим, он статус валидации прислал yes. То есть, да, получается, этот вопрос, а, ну, принят к обработке. И теперь он видим обращается, а, крак, то есть видим HTTP request, видим обращение к, ну, по апи и видим, соответственно, запрос. А после этого он формирует ответ и передаёт его во второго ассистента, который уже формирует непосредственно сам ответ. То есть он, а, выдал информацию, вот он нашёл в базе такие вот данные и передал это всё в ассистента искусственного интеллект. Он этот эти все данные преобразовал согласно, а, как бы тону войсу того человека, да, ну, как бы эксперта. И после этого он передал всю эту информацию в бота админа, где уже происходит непосредственно, а, ну, как бы, как правильно сказать, валидация того, нужно ли отправить этот вопрос в чат или нет. А давайте ещё покажу, кстати, админбота. Может, кому-то будет интересно. Итак, мы видим, что в админбота пришло сообщение новое, да? Видим пользователя, а видим вопрос и видим ответ. Можем нажать на показать полное сообщение. То есть мы здесь можем посмотреть, что вообще написал искусственный интеллект. А если нужно, мы можем отредактировать его. Ну, я сейчас не буду нажимать, потому что когда я нажимаю редактировать, там уведомление приходит все всем администраторам, что я начал редактирование, чтобы сейчас не дёргать никого. Вот я там могу голосом или текстом описать, что мне не нравится. Он мне подкорректирует, снова пришлёт исправленный вариант с этими же кнопками. И при нажатии на кнопку отправить этот вопрос у меня отправится в групповой чат, а как бы с помощью функции reply на сообщение пользователю, которое, ну, вот получается он, а, мне сделает реплай вот на меня как бы вот на ну вот на меня как пользователя с этим ответом уже, который здесь прописан. Вот. А реальный кейс использования этой системы, да? То есть, для, вот, например, курса по обучению, а, вариант использования тьма. Просто нужно понять вашу задачу и, ну, как

вообще пользоваться этим инструментом. Как раз-таки как им пользоваться, мы уже будем, ну, разбираться в дальнейшем. А, на во второй части будем всё это развёртывать, настраивать и так далее. Как вы видите, я сейчас покажу вам документ. Я уже всё заранее подготовил. А, покажу примерно, как сейчас выглядит эта настройка. Вот этот документик. А, видите, я уже всё по пунктам прописал, да? Что тут? Вот как надо настроить. Здесь буквально всё это настраивается, наверное, минут за пять, да? Ну там, ну максимум за 10, если вы первый раз это делаете. Просто Ctrl C, Ctrl V. Ну и плюс там ещё ваши, ну, мои данные заменяете на ваши. Всё, вообще ничего сложного нету. Делается вот буквально по щелчку пальцев. Ну и, конечно же, мы там с вами разберём, а, про свой хостинг, потому что, чтобы нам вот это всё где-то развернуть, нам нужно, ну, где-то, короче, это развернуть, поэтому нужен будет свой сервер. Но свой сервер стоит копейки, там что-то 20 или 30 руб. в день. То есть это вообще супер копейки, и вы получаете как бы свою личную ракбазу на вашем собственном российском сервере, что самое главное. Поэтому, ну что ж, будем эту часть заканчивать. А всем большущий привет вот от этого Чубрика. Ну и до новых встреч. А кто не знает, у меня есть свой собственный Telegram-канал, где я стараюсь делиться всеми материалами, которые я рассказываю видео, а делиться какими-то интересными инсайтами, новостями. Поэтому вы там найдёте тоже много всего полезного. Так что, если вам это интересно, подписывайтесь, чтобы всегда быть в курсе, а, самыми первыми всех новостей. Ну и, конечно же, а, по возможности поставьте лайк, напишите комментарий, если вам видео понравилось, да, и то объяснение, которое я рассказал. Если что-то не понравилось, тоже напишите, потому что я, а, ну, как бы стараюсь тоже каждое видео улучшать и улучшать, чтобы оно становилось всё интереснее, всё понятнее, да, и объяснять какие-то сложные вещи простыми словами. То есть я это называю, а, какое у меня было такое интересное словочитание, я придумал, как, а, доступная глубина. Во, то есть это доступность для любого человека, чтобы он понял, как раз, ну, разобраться с разными инструментами искусственного интеллекта через какие-то простые ассоциации и пошаговый план. Ну что ж, до новых встреч, друзья, и увидимся во второй части.