КАК установить МОЩНЕЙШИЕ НЕЙРОСЕТИ на ПК и пользоваться БЕСПЛАТНО ? (Инструкция для всех!)

в прошлом видео я вам рассказала всё про нашумевшие модельку deeps всё что про неё нужно знать В чём преимущество Как выбирать правиль модель Как выбирать правильно компьютер как её устанавливать В чём есть свои нюансы В общем всё в том видео А это видео конкретно только установка модели на свой пок я вам покажу как её устанавливать также я покажу как сделать так чтобы это было всё в удобном класне интерфейсе как чат gpt а не в терминале помимо этого я ещё вам покажу как устанавливать и другие модельки Как лучше прави выбирать параметры квантизация модельки с гн фейсом В общем это такой Классненький туториал

туториал начинаем Итак приступим для того чтобы нам установить любые какие-то модельки к себе на компьютер нам понадобятся три программы первая программка - это Ома она нам нужна для того чтобы мы могли устанавливать и скачивать модельки и запускать их без всякого кодинга то есть чтобы не прописывать команды вручную эта вот программка будет делать всё за нас здесь есть Владочка модельки регистрироваться здесь не обязательно просто переходите в раздел модельки И выбираете нужную модельку которая вас интересует вот здесь есть deeps здесь есть Лама здесь есть Мик Mistral quen То есть все самые такие популярные модельки нас сегодня интересует deeps R1 - Это означает что она с ризони гомз она умеет размышлять второй сервис который нам понадобится - Это docker позволяет нам создавать контейнер в котором будет запускаться наша нейросеть и благодаря докер у нас будет создаваться специальный интерфейс чтобы мы могли взаимодействовать с нашей мко в простом и удобном интерфейсе а не писать вопросы в консоль как и делают это некоторые и третий сервис который нам понадобится находится на хабе а Называется он openweb UI благодаря нему у нас будет Вот такой вот красивый интерфейс Где мы можем переключать модельки и взаимодействовать точно так же как мы взаимодействуем например с чем дем gpt О'кей переходим к установке

первое что нам нужно - это нам нужно скачать саму Ома нажимаем скачать и далее вымираем Наш компьютер нашу систему у нас она macos у нас Linux или Windows у меня Mac я скачиваю для Мака после того как у нас Ома скачалась Мы открываем папочку в которой она скачалась и запускаем архив который мы скачали супер программка разархивировать и она у нас появилась теперь нам нужно её переместить в программы поэтому зажимаем её и перетаскивай в программы Теперь нужно проверить корректно ли она у нас установилась для этого мы заходим в launchpad и запускаем нашу программку у нас появляется такое вот окно здесь мы нажимаем next и Install далее вводим пароль от вашего Мака нажимаем ой и фиш и теперь чтобы убедиться что Ома у нас окончательно установлена и работает для этого Мы открываем терминал то есть в поиске пишем терминал открываем его и далее пишем такую фразу о Lama пробел Help если Ома выдаёт Вам вот такие вот команды значит всё работает прекрасно установилось продолжаем на нашу

установку установим docker переходим на сайт docker. com и нажимаем кнопочку скачать docker Desktop Здесь вы должны выбрать вариант который подходит под ваши параметры Например я устанавливаю сейчас это на Mac Intel Chip если у вас последний Mac M модельки соответственно вы выбираете второе Mac Apple Silicon Ну и в зависимости если уже Windows то Windows Linux если вы не знаете опять же вы можете спросить всегда у чата gpt Какой у вас MAC в общем скачиваете под свой компьютер всё нажимаем скачать и после того как он скачался открываем папку и устанавливаем появляется вот такое вот окошко мы просто переносим docker в Application далее открываем launchpad и запускаем наш docker и здесь Нам нужно только авторизироваться нажимаем на sign in входим через ваш email нажимаем Открыть приложение docker всё и на этом моменте докер нам больше не понадобится он просто должен быть запущен теперь нам

нужно установить веб-интерфейс потому что пока мы можем использовать модельку у нас только в терминале А мы хотим чтобы это всё было красивенько в интерфейсе для этого переходим на github ссылочка также всё будет в документах и спускаемся ниже здесь Вы конечно можете почитать описание этой программки на сейчас интересует просто команда для установки она у нас находится вот здесь вот самая первая installation with the default configuration нас интересует первое если Ома находится на вашем компьютере Используйте вот эту команду Смотрите если вы потом в будущем будете подключать сервера разные то Вам нужно будет использовать уже другой код в этой команде уже за нас всё написано нам нужно просто её скопировать дальше перейти в терминал и вставляем просто эту команду нажимаем Enter и ждём Когда создастся докер со всеми нужными зависимостями и так далее То есть на этом моменте и происходит создание Докера то есть в этом и заключается суть его использования что разработчики написали такой код чтобы нам ничего не приходилось самим писать Это займёт какое-то время просто Подождите пока всё завершится супер готово наш интерфейс установлен чтобы это проверить Нам нужно будет открыть докер и здесь у нас должна появиться вот такая сам порт если мы сейчас нажмём на этот порт у нас откроется такой интерфейс как бы чата gpt Где мы можем уже его использовать но на данный момент мы ещё не скачали никакую модельку поэтому переходим к этому шагу переходим на сайт

Ома модельки и здесь мы уже выбираем модель нас интересует Deep SE R1 приставка R означает что это модель с ризон которая думает нажимаем на неё здесь у нас написано название модельки её описание и параметры в этом разбирается можете подробно изучить теперь немножечко расскажу вам о параметрах и квантизация это очень-очень важно потому что от этого будет зависеть в принципе работоспособность модельки как я уже говорила чем больше у нас параметров тем умнее модель тем она качественнее тем она умнее То есть она обучена на больших объёмах данных вторая вещь на которую стоит обращать внимание - это квантизация - это сжатие модели чтобы она занимала меньше места на твоём компьютере и работала быстрее можно привести пример с книгой есть книга в котором написано всё научно всё разж прямо такими большими красивыми приложениями А можно сделать так чтобы просто все вот эти сложные объяснения заменить на более простые соответственно суть будет та же Но количество символов становится меньше то есть смысл остаётся тем же но возможно не таким точным Да не таким детальным в моделях и это работает также вместо сложных чисел используются упрощённые чтобы сэкономить соответственно память и ускорить расчёты и соответственно Чем больше квантизация тем луч чем она меньше тем хуже Как подобрать правильную квантизация Вы должны всегда помнить о вашем железе то есть о вашем компьютере всё будет зависеть не так как вы этого захотите А насколько позволит Ваш компьютер Это относится и к параметрам и к квантизация если у вас компьютер слабый самый такой простой как например вот я сейчас использую для этого видео с Intel чипом то для него подаёт модельки такие как Q4 Q3 Q5 Они самые такие лёгкие и быстрые модельки но соответственно они будут хуже отвечать Для более лучшего Для более шего компьютера уже можно выбирать квантизация точно но и ресурсов они будут жрать намного больше Но если у вас хороший мощный компьютер то как бы он этого и не заметит Да это будет для него нормально Теперь как выбирать модельку здесь когда Мы открываем любую модель для установки у нас есть вот такой вот пунктик у нас написано Сейчас 7 млрд это 7 млрд параметров если мы его Открываем мы можем увидеть вот 1,5 млрд параметров весит 1 Гб 7 млрд уже весит 4 ГБ 32 млрд параметров уже весит 20 ГБ Ну а 671 вообще 404 ГБ но здесь мы не можем видеть квантизация Вот я например сейчас нажму на 32 млрд параметров но мы видим что у неё квантизация четыре Это означает что несмотря на того что она умнее но квантизация у неё хуже и соответственно она будет работать не так точно то есть она будет давать ложные результаты а для того чтобы сразу же смотреть и миллиардов И сколько у них квантизация мы нажимаем на View All и здесь мы уже это всё видим на в пример у нас есть моделька 1. 5 млрд параметров и квантизация у неё восемь Это хорошо это лучше чем квантизация четыре Да понимаем нажимаем на неё видим параметры 1,7 млрд параметров квантизация восемь теперь как установить эту модельку я выбрала именно такую Потому что мой компьютер просто не подтянет больше задача здесь показать вам как устанавливать эти модельки как с ними работать а вы уже потом будете выбирать правильные параметры под себя Потому что конечно же 1,7 млрд - это вообще ничто если сравнить с тем же там чатом gpt у него 170 млрд параметров Да и 1,7 Как вообще можно сравнивать но моя задача вас научить Как устанавливать параметры и квантизация вы уже будете выбирать В зависимости от вашей мощности а установка их идентичная О'кей выбрали например эту модельку у нас 1,7 млрд

параметр низация 8 весит она 1,9 Гб теперь как её установить и протестировать сама Ома нам предоставляет специальную команду и нам нужно её скопировать открыть наш терминал и просто её сюда вставить и нажимать Enter после чего у нас запускается Лин момент То есть у нас устанавливается эта моделька на компьютер Когда вы устанавливаете какую-либо модель не Пользуйтесь компьютером чтобы не красть как бы дополнительные мощности вашего компьютера Просто Подождите пока установится программка и дальше уже можете продолжать работу с компьютером вот здесь написано кстати время у меня написано сейчас 15 минут Супер после того как у нас моделька скачалась видимо она у меня скачалась за 12 минут у нас открывается чат такие три галочки и написано сообщение Send mess То есть это в сути дела Уже общение с моделькой вы уже здесь можете с ней взаимодействовать Вы можете пока просто протестировать работает ли моделька и задать какой-то Здесь вопрос Для начала просто протестируем вообще всё ли установилось

Например я здесь напишу Сколько будет 2 + 2 нажму Enter я вижу что моделька уже начала работать Всё супер всё остановилось видим да что как бы моделька работает так себе тут она вставляется периодически какие-то английские слова русские китайские Всё потому что у неё очень сильно мало параметров соответственно она не такая умная она вообще в принципе не умная Это всё потому что модельки просто не хватает ресурсов у неё самые почти минимальные параметры но ответ у нас четыре то есть ответила Она правильно Она работает теперь запустим её в

веб-интерфейс чтобы всё у нас было красиво Потому что так работать конечно же сложнее мы его уже устанавливали для этого мы переходим в docker Desktop и нажимаем на ports если при первой попытки у вас будет Вот такое у вас будет сбой просто немножечко Подождите после чего у вас откроется вот такой вот интерфейс нажимаем Get started И вам здесь нужно будет создать аккаунт администратора пишем например какие-то свои данные Иван Иванов почта почту конечно свою Укажите лучше создать аккаунт администратора Супер вы вошли в систему закрываем и всё готово вот наш интерфейс очень похожий вам Я думаю слева сверху Мы выбираем модельки пока у нас одна моделька которую мы скачали также есть временные чаты слева у нас просто есть чаты и Собственно сам интерфейс куда мы задаём вопросы видим что мы здесь можем голосом с ней говорить загружать что-то уже и слушать попробуем задать ей какой-то вопрос Привет кто ты и моделька нам отвечает видим что она отвечает не сказала бы что хорошо но она работает локально на нашем компьютере то есть она использует только ресурсы нашего компьютера Давайте напишем что-то более сложное посмотрим справится ли она с этим напиши пост для Instagram на тему того как запускать локальные модели у себя на ПК через Лама видим что мы написали уже более подробный промт Более сложный промт где модельке нужно подумать то ответы будут уже более медленные она использует опять же только мощности нашего компьютера не задавайте с вопросами почему она иногда общается на английском Почему на русском Почему на китайском Это она Сама решает как ей думать опять же и это из-за того что мощностей и параметров в принципе Мозгов у неё не так много здесь могут быть очень большие сбои Вот например что она нам выдала да то есть какой-то Привет студенческое и токовое работа по разработке локальных моделей Потом пишет какой-то вообще код непонятный для создания локальных моделей То есть это совершенно не то что мы просили почему так происходит опять же потому что модельки очень мало параметров но моя цель была просто показать вам вообще как устанавливается моделька Сейчас я вам покажу как установить более сложную модель и покажу что у меня по итогу получится на моём компьютере которого очень-очень мало мощностей для этого мы опять переходим на сайт Ома То есть в принципе Используйте теперь Ома Если вы захотите менять разные модельки Вы можете устанавливать на свой компьютер хоть 30 разных моделек если у вас позволяет компьютер Да дальше переходим в модельки опять Заходим в Deep seek открываем View All и выберем какую-то другую модельку конечно Я бы очень хотела бы установить вот этот модельку которая на 671 млрд параметров квантизация во она скорее всего будет работать очень хорошо но у меня не позволяет компьютер вот эта моделька скорее всего будет работать так же как ча gpt если у вас позволяет компьютер устанавливайте пробуйте работайте дорабатывает я сейчас установлю что-то

попроще например установлю на 8 млр параметров с тие 8 нажимаем на не также копируем команду переходим в терминал И кстати ЕС здесь написать Ома пробел то мы здесь увидим сколько у нас установленных моделей Вот напри мы установили Нау моль 14 минут назад перь ЕС хом установить ною модельку не удая предыдущую вставляем то что мы скопировали команду нажимаем Enter и у нас сейчас скачивается вторая моделька супер моделька у нас скачалась и попробуем задать ей какой-то вопрос чтобы просто протестировать пока например Сколько будет 2 + 2 отправляем и ждём видим эта модель она у нас помощнее весит больше ей нужно больше мощностей и по-моему мой компьютер вообще с ней не справляется вот в этом в принципе разница между моделями да более мощные более умный им требуется более мощность если у вас компьютер не позволяет как у меня произойдёт Вот именно такое с Смотрим Да Прошло уже несколько минут и он до сих пор не написал мне ответ Это только ещё его размышление это даже не ответ поэтому я сейчас с консоли эту модельку установлю и перейду в интерфейс чтобы задать какой-нибудь вопрос посмотреть как она справится с этим там чтобы остановить её в консоль мы нажимаем Ctrl + D вот мы её здесь остановили и покажу как она работает в веб-интерфейс просто возвращаемся в веб-интерфейс и здесь Когда нажимаем вверху выбрать модель у нас уже появляется наша новая моделька Вот она у нас весит 8 ГБ зададим ей вопрос Например привет кто ты и вижу что моделька Я всего лишь поменяла с 1,5 на 1,8 и мой Мак отказался вообще как-либо взаимодействовать и отдавать ей свои мощности всё он просто эта моделька не загружается мощностей компьютера не хватило то что я в принципе и предполагала но задача моя была сделана я вам показала как установить модельки Просто мой компьютер не выдерживает видите более мощную модель А так моделькой вы можете выбирать не только Deep сик возможно именно Deep сик с 1,5 работает плохо какая-то Лама будет работать лучше например Возможно у вас на ваших задачах здесь есть Mistral который очень часто используют квен вот очень популярная модель ламу например только не на 70 млрд параметров какую-то может быть попроще и возможно какая-то другая моделька на вашем компьютере

будет работать лучше То есть тут уже тестируйте Вы теперь научились вообще в принципе самому главному Как скачивать устанавливать све эти модельки на компьютер Играйте с теперь А вообще в принципе Почему так много моделек и чем они между друг другом отличаются как я уже говорила это разработчики визионеры энтузиасты берут разные модельки компаний и их переобувают То есть например они а убирают какие-то знания которые им не нужно сужают их знания чтобы они отвечали и справлялись какие-то задаче хорошо поэтому так много моделек то есть сколько разработчиков столько у них идей и разных целей в принципе от моделек то есть какая-то моделька лучше для кодинга какая-то для математический зад Какая се лучше для текста какая-то лучше для создания чего-нибудь да То есть вы это всё можете почитать вы интернете чати gpt наверное не будет хорошего ответа потому что он всё-таки в этом он не знает это ну если вы ставите ему инструкцию то он вам подскажет да А если вы просто будете задавать ему вопросы то скорее всего он этого не будет знать Ну есть форумы для этого есть браузер perplexity для этого можете у него поспрашивать и протестировать самое главное что вы поняли как это к себе устанавливать Вот например сейчас зашла на модельку mixal и вот видно написано delin Model by Eric hw то есть кто её создал на что она была фи coder то есть что-то там связанное с кодом она соответственно может быть хороша в этих задачах также у нас есть ссылочка на hugin Face кстати hugging Face отличное пространство Где вы можете находить модельки датасеты там на гин фейсе у нас находится в открытом доступе с открытым исходным кодом и вы также можете их скачивать через теперь Ома Как найти подходящую модельку Сейчас я вам покажу в зависимости что вам нужно модельки либо датасеты например либо какие-то документики Да например мы переходим в модельки и вот слева видите мы можем находить разные абсолютно модели У нас есть мультимодальные модельки где поддерживают и аудио и текст по

документация отвечать есть также computer Vision это конечно да более технически звучит в этом нужно разбираться Но если вам когда-то было интересно Я думаю что в этом видео вы вообще в принципе поняли что такое hugging Face Зачем люди теперь скачивают разные модельки что это вообще такое чтобы вы теперь могли с этим играться А вот здесь в кладо библиотеки Вы можете найти тип модельки которая будет работать с Ола мой То есть не все модельки Конечно же можно и через olam но некоторые можно у нас через olam работают все модельки с Library ggf Вы можете выбрать этот тип и вы можете смотреть какие модельки Вы можете скачать через Ома Вот например моделька от dips R1 вот есть какая-то кастомная модель Image Text To Text Moon например выберем вот эту quen 14 млрд параметров на неё нажимаете здесь указано описание этой модели и как её установить к себе Вы можете нажать на use This Model и выбрать Ома так как она у вас уже установлена вот у нас название нашей модельки А это у нас квантизация помним Да квантизация - это нас сжатие модельки чем число ниже тем она будет менее точная Чем выше тем она Более точная Ну соответственно она будет весить больше после того как вы выбрали квантизация нажимаем также копировать также переходим в наш терминал здесь мы можем Всё почистить чтобы почистить просто пишете Clear и нажимаете Enter и всё и просто вставляете также эту команду нажимаем Enter всё И у нас скачивается уже другая моделька совершенно с хаггин фейса теперь вот таким вот образом вы ещё и научились скачивать модельки с хаггин фейса Ну а что так это было всё я

вас поздравляю Вы теперь научились устанавливать модельки к себе на компьютеры и теперь всё зависит от мощности по сути дела вашего компьютера если хотите научиться Как делать модельку на вашем компьютере более мощнее А это то есть подключать её к серверам и не использовать ресурсы компьютера а использовать какие-то мощные сервера Напишите в комментариях если соберётся много таких комментариев Извините это тавтологию я запишу такую вот инструктаж с вас лайк коммент и Поделитесь этим видео пока