Самый ПРОСТОЙ Путь Сделать Fine Tune Модели Для Ollama (Локальная Модель, Google Colab, Unsloth)

Друзья, всем привет. Ну что, сегодня мы обсуждаем, что такое файнтюнинг, ну или, если дословно, тонкая настройка. По сути, если говорить упрощённо, то это взятие некоторой предубуй языковой модели и дообучение её для того, чтобы она лучше выполняла ваши конкретные специфические задачи. По сути, можно представить, что вы обучаете какого-нибудь человека бегу, и, естественно, вы возьмёте человека, который уже хорошо ходит. а не того, кто умеет только ползать, и будете его обучать конкретным специфическим знаниям о том, что такое бег и каким образом бегать правильно. Итак, вот как это будет работать. Вместо того, чтобы обучать какую-то модель с нуля, мы будем брать что-то вроде GPT или клода, которые уже понимают хорошо человеческий язык, а потом мы будем подавать этим моделям примеры наших конкретных случаев использования. Ну, например, это могут быть разговоры со службой поддержки, юридические документы, медицинские записи, модели, затем корректируют свои знания, чтобы лучше отвечать в конкретной области, используя эти данные. То есть мы должны понимать, что это не настройка параметров модели, которые мы обычно видим, когда работаем с классическими интерфейсами современных нейронок. То есть это не имеет ничего общего с температурой или с топ параметрами, а это изменение конкретного поведения выбранной модели. Ну что, когда следует проводить файтюнинг? На

самом деле есть всего лишь три базовых кейса. Во-первых, когда вам требуется последовательное форматирование или стиль, которых нельзя добиться с помощью обычного промтинга. Например, самый классический пример, когда вы хотите, чтобы модель отвечала в стиле какого-то человека постоянно. Второй кейс, когда у вас очень много специфичных для вашей предметной области данных, которые модель просто никогда не видела раньше и никогда и не увидит. например, какие-то продвинутые юридические документы, медицинские записи, журналы службы поддержки клиентов, которые модель просто не могла знать, потому что она, ну, неспецифична для этого. Ну и третий, самый базовый кейс, когда вам просто нужно сократить расходы, используя меньшую openсорсную специализированную модель вместо действительно массивной, более крупной, коммерческой. Ну и в данном кейсе ключевое преимущество файнтюнинга заключается в том, что для этого требуется гораздо меньше данных и вычислительных мощностей. Вместо миллионов примеров и месяцев обучения вам могут потребоваться тысячи, ну или даже сотни, как в сегодняшнем видео, примеров, возможно, минуты или часы обучения, а не недели, как бывает с большими моделями. Конечно, когда мы проводим фантюнинг модели, мы должны понимать, что мы можем сделать её глобально хуже в общих задачах, но намного-много точнее и лучше в наших специфических задачах. Ну что, такое интересное? Значит, подписывайся, оставляй коммент, оставляй лайк и погнали смотреть конкретную реализацию.

Нам для сегодняшнего видео понадобится два сервиса. Первое - это Unslot - это Open source решение Framework для файнтюнинга моделей. Здесь имеет смысл перейти на их GitHub, потому что мы увидим, в принципе, большое количество openсорсных моделей, для которых они уже создали некоторые фреймворки, некоторые подготовленные для нас алгоритмы, которые позволяют тренировать те или иные модели. Например, очень популярная модель GPT OSS 20 млрд параметров. Ну, потому что её можно, в принципе, развернуть на каком-то понятном сервере, не тратя все свои деньги на конфигурацию. Каким образом это делается? Вы просто нажимаете соответствующую кнопку "Начать бесплатно", и вас перебрасывает на сервис, который называется GoogleAB. По сути, это мегасервис, который предоставляет вам ресурсы для обучения нейронок. То есть он вам даёт, по сути, вы можете определить его конфигурацию и получить доступ, например, к видеокартам Т4 самым популярным для того, чтобы попробовать зафантюнить ваши модели. Это мегакруто. И именно этим сервисом мы будем сегодня пользоваться. Вы всегда можете посмотреть сами на то, каким образом Unslot помогает вам фантюнить модели. А мы сегодня будем делать прямо всё пошагово с нуля и намного более меньших моделях, потому что у меня Mac, у меня, в принципе, даже нету возможности использовать графический процессор для того, чтобы запускать нейронки или фантюнити их. Поэтому мне важно сделать пример на какой-то нейронке, которую впоследствии мы можем, в принципе, и запустить даже у себя на компьютере. Если мы перейдём на их репозиторий, на hgenное количество моделей, которые они подготовили для файнтюнинга. Надо понимать, это не их модели, это opсорсные модели, просто которым они написали специфические алгоритмы, которые помогают их файнтюнить. Например, я буду использовать вот эту довольно маленькую модель. И её преимущество для нас в том, что она же есть уже доступна в репозиториях алламы. То есть мы сможем, например, себе поставить оригинальную модель, запустить её, посмотреть, каким образом отвечает на наши вопросы она, и после этого сравнить с оттренированной моделью, которую мы сделаем вместе. В принципе, я только что это сделал. Я развернул аламу у себя локально, N8N у себя локально и для наглядности спросил очень специфический вопрос: можно ли подарить квартиру несовершеннолетнему ребёнку? То есть юридический вопрос, ответ на который вот просто так выдумать нельзя. Но мы видим, что эта модель не остановила отсутствие знаний по вопросу. Она что-то выдала, какой-то индивидуальный промок и, в принципе, какую-то белиберду нам отдала, что не является вообще хоть сколько-нибудь приемлемым, даже с грамматическими ошибками. То есть ответ мы квалифицируем как негодный. И сейчас мы из него сделаем мегагодный. Итак, я себе только что подготовил скриптик в Google Каллабе, который мы прямо с вами пошаговой пройдём. Когда мы говорим про

фатюнинг, вообще говоря, всё начинается с данных, данных в специфическом формате. Так как я только что вам показывал пример на юридическом вопросе, я подготовил специальный датасет. Вот он выглядит таким образом. Это, в принципе, Jon, массив, который обладает очень специальной структурой. То есть это input, какие-то вопросы, которые обычно задаются юристам, и output ответы, правильные ответы, мы считаем их правильными, которые должны отдавать квалифицированные юристы. И здесь, например, есть тот же самый вопрос: можно ли подарить квартиру несовершеннолетнему ребёнку? И ответ от юриста первоначальный: да, нужно согласие органов опеки, то есть что-то конкретное, начальное вместо гаволюционирования и растекания мыслью подреву. И у меня этот датасет лежит как отдельный GON. Возвращаемся в наш коAB. И нам здесь нужно будет нажать кнопочку connect. То есть это, по сути, запускает новый Runтайм. Мы получаем ресурсы от Гугла, доступ к их графическим мощностям, к оперативной памяти и к диску. Мы видим, что вот мы запустили наш Runime. После этого мы должны будем нажать эту кнопочку и нажать здесь загрузить файл. Вот он мой Jon, который я прямо загрузил в корень этого проекта. И здесь я пишу вот такой скрипт. По сути, это подгрузка моего Джесона. Давайте исполним и проверим. Вот я вывожу самую первую запись и вижу, что вот она и есть. Что делать, если работодатель не выплачивает зарплату и output. Всё, это на этом заканчивается первая запись, а там таких 500. Дальше

мы с вами устанавливаем в зависимости как раз от команды unslot, которая поможет нам фантюнить нашу модель. Просто запускаем, нажимаем Play и ждём, пока закончится установка этих зависимостей. Итак, мы видим, что это заняло 30 секунд, и в принципе всё у нас готово. Так как у меня уже были установлены какие-то зависимости, у меня такая ошибка возникла. Если вы делаете в первый раз, у вас такой ошибки не будет. Дальше мы импортим очень важный пакет. Это торч или P torch. По сути, это инструмент, чтобы легко брать какие-то openсорсные модели, адаптировать наши собственные данные под них и начинать обучение. Давайте нажмём Play. Всё у нас произошло. Дальше наша задача- выбрать модель, на основе которой мы будем делать фаюнинг. Мы с вами уже выбрали такую модель по принципу, чтобы я смог на своём Маке запустить её. Вы, естественно, если у вас машина мощнее, можете выбирать любые доступные модели из каталога Unslot, которые готовы к фатюнингу. Дальше мы инициируем такинизатор, подгружаем сюда нашу выбранную модель, устанавливаем максимальную длину секвен и ставим флаг четырёхбитная в true, потому что она четырёхбитная, и выполняем её. Так, этот шаг выполнился, и мы можем переходить к следующему. Наша задача - подготовить

наш датасет для того, чтобы он мог быть использован для файнтюнинга. Нам важно, чтобы вся структура выглядела следующим образом. Сначала идёт input, а дальше output. То есть в inp целевой вопрос, а в output целевой ответ. Если мы исполним этот скрипт, то мы увидим, что как раз наш JSON превращён в строку, где сначала идёт input, после этого уже output- оттвет. И дальше добавлена специальная конструкция end ofте, чтобы при обучении модель понимала, где заканчивается один объект, начинается следующий. И дальше происходит, наверное, самый важный шаг - это добавление адаптеров. Lora - это аббревиатура, это low rank adaptation. В самую глубину мы погружаться не будем, но если кратко, то это механизм, который позволяет не дообучать или изменять веса исходной модели, а создавать маленькие веса или маленькие адаптеры, которые добучаются и которые впоследствии добавляются к основным весам. В общем и целом, это позволяет экономить колоссальное количество ресурсов. Давайте выполним этот шаг. И на следующем шаге мы, по сути, формулируем все аргументы для обучения. В общем и целом, мы здесь финализируем модель, наш токинизатор, загружаем датасеты и формируем этот объект. Давайте выполним этот шаг. Всё, он готов. И дальше мы должны понимать, что ещё никакого файнтюнинга не было. Мы только готовим наши данные для того, чтобы сделать первичный фантюнинг модели. Пока она ещё не натренирована, я хочу спросить вот тот же самый вопрос, который мы задавали в самом начале, и посмотреть, каким образом она ответит. Давайте попробуем это сделать. Так, можно ли подарить квартиру ребёнку? Да, можно подарить карточка с картой мира или созвездия. Ну, короче, та же белиберда или даже ещё хлещеа, которую мы видели в самом начале видео. Ну что, давайте же научим эту

модель отвечать не белибердой. В принципе, этот шаг начинает файнтюнинг этой модели. Этот шаг может занимать совершенно разное время, в зависимости от размера модели, которую выбрали, от размера вашего датасета, количества данных. В моём случае он будет занимать примерно 6 минут. И когда эти 6 минут пройдут, я к вам вернусь. Друзья, пока идёт у нас файтюнинг нашей модели, я хочу сказать, что все сервисы, которые мы используем в данном видео, я положу в свою бесплатную Telegram-группу. Ссылка на неё будет в описании. И более того, я туда же прикреплю и сам вот этот файл Google Colab для того, чтобы вы могли себе его забрать и потренироваться на ваших моделях. Ну что, файнт нашей модели только что завершился. Я к вам возвращаюсь. И самая приятная часть в

этом всём, что можно потестировать нашу модель, а прямо здесь, не уходя куда-то. И для того, чтобы это сделать, я задам тот же самый вопрос: можно ли подарить квартиру несовершеннолетнему ребёнку? Давайте выполним этот шаг и подождём, что нам ответит модель. Так, модель ответила, давайте идём вниз. Можно ли подарить квартиру ребёнку? Да, но потребуется согласие органов опеки и попечительства. И сделка должна быть оформлена нотариально. сравнить это с ответом, который она нам дала до этого. Тут какие-то видеоигральные компьютеры и компьютеры с виртуальной реальностью. То есть мы с вами взяли openсоourсную модель бесплатную, добучили её на своих данных таким образом, что она нам отвечает очень точно на основе наших специфических данных. Конечно, если я несколько раз выполню этот промт, то ответы будут разнообразны, не всегда точные. Мы должны понимать, что это очень-очень маленькая модель, и я дал всего лишь 500 примеров для обучения. Конечно, по-хорошему, их должно быть хотя бы несколько тысяч для того, чтобы точность ответа возрастала. Но в общем целом, у нас есть теперь много путей того, каким

образом работать с этой моделью. Мы можем её выгрузить, например, на hgen сервисы, где хранятся датасеты, различные openсорсные модели для общего использования или для персонального использования. И мы можем, например, скачать эту модель и развернуть её в нашей локальной аламе для того, чтобы можно было, например, прямо из nvc сначала подключиться к аламе, а потом уже внутри аламы выбрать новую модель и коммуницировать через ncman с этой моделью. Это делать возможно, это стоит отдельного видео, конечно же. И такие серьёзные штуки мы, например, обсуждаем в нашей прогруппе. Обязательно идите в прогруппу, если вы хотите углубляться вообще в сферу искусственного интеллекта, в такие вот знания. Там вы массу крутейшей информации про искусственный интеллект, про автоматизации можете найти. А на этом всё. До скорых встреч. Коммент, лайк и подписка с вас. И хорошего дня. y