Opencode + Ollama – Бесплатная Альтернатива Claude Code

А ты знал, что ты платишь за чат GPT не только своими деньгами, но и своими данными? Хватит терять деньги и передавать всю информацию о себе большим корпорациям. Я покажу, как перевести работу с агентами целиком на ваше устройство, сделать систему, которая будет работать локально, иметь доступ ко всем вашим файлам и папкам, но это будет приватно и бесплатно. Дамы и господа, представляю вам решение CLI агенты, запущенные на локальных моделях. В этом выпуске мы узнаем, как скачать локальную текстовую модель через Улаama и подключить её к терминальному агенту. Я покажу на примере OpenC и новенького Vibe от MrЛ. Благодаря такому сетапу мы не просто сможем общаться с нейросетью через терминал, но раздадим ей доступ к разным инструментам для взаимодействия с компьютером. И, конечно, я объясню, какие есть ограничения у всей этой вечеринки и какое вам для этого понадобится железо. Люди, роботы, привет. Это Продсовет. Меня зовут дядя Д. Чтобы поддержать выпуск новых роликов, подпишитесь на канал, оставьте лайк, поставьте коммент и приятного просмотра. Давайте утвердимся в этом факте. Локальный - это круто. Вы не платите за подписки. У вас нет лимитов. Всё работает без интернета и приватно. Упней никогда не узнает ничего про вас, ни про ваши личные, ни про ваши корпоративные данные. Я уже снимал ролик про Cла агентов и показывал могущество такого подхода работы с нерестями через терминал. Если коротко, это быстрый, удобный доступ для нейросети к разным инструментам и контексту на вашем компьютере. Ну, там мы использовали клодкод, использовали дминый, который находится в облаке. Чтобы всё работало локально, мы будем использовать следующий сетап. Для начала зайдём на

сайт Олаama, скачаем это приложение и сразу после установки приложения загрузим модель. Открываем модель, которая нам интересна. Я попробовал скачать новый Animatron 3 nan. И, к слову, я его скачал, но он у меня не запустился, мне не хватило объединённой памяти, чтобы эту модель погонять. Вы можете использовать команду Allama Run и название модели. Alama POL и название модели, чтобы модель сначала установилась, а потом уже вы её запустили. Отлично. Вы загрузили LM и уже сейчас вы можете с ней начать работать. Для того, чтобы запустить программу Олаama, можно ввести команду Alama Surf. Возможно, у вас уже Алаama запущена. Тогда просто вводим команду олаam list и увидим весь тот списочек моделей, который у нас здесь есть. Далее, для того, чтобы начать пользоваться моделью, прямо тут в терминале, мы можем ввести команду Run и название этой модели. Привет. Что ты за модель? Пишу я Квену, который у меня установлен. Это Квен 3, 14 млрд параметров. И вот быстренько модель начинает работать. И даже мы можем пронаблюдать активность, какое количество памяти у меня на всё это дело израсходовалось. Ctrl D, модель остановить и выйти из режима диалога с ней. Вы точно также можете на самом деле открыть и вот такое диалоговое окно веб-интерфейс. Он появился тоже сейчас у Аламы в последних версиях. Всё привычное вам. Точно также выбираете одну из моделей, которая у вас уже установлена. И даже можно присоединять разные файлы. То есть, в принципе, вполне себе понятный пользовательский опыт, но мне этого мало. Это не тот опыт работы с и-агентом, который я хочу иметь у себя под рукой. Мне нужен терминальный агент с инструментами, доступом ко всем моим файлам, ко всему моему контексту. Вот чтобы прямо умный был и делал хорошо. Опять же, если вы пока теряетесь, отправлю вас на ролик про терминальных агентов. Он у нас набрал много просмотров. Тема популярная. После того, как этот ролик закончите смотреть, сходите туда, тоже немножко просветитесь. Как только я увлёкся селоагентами, мне захотелось попробовать запустить всё это чудо на базе локальной модели. Нам тут не подойдёткод, это не open source. И вроде там можно как-то даже присоединить локальную модель, но есть более интересные и как будто бы простые решения. И перед тем, как мы продолжим, я сразу отмечу, что есть ограничения у этой всей вечеринки. И я надеюсь, вы понимаете, какие. Мы до них доберёмся совсем скоро. Я расскажу, что модели всё-таки маленькие. Нужно мощное железо. Но поймите меня правильно, в этом ролике я не топлю за отказ от облака совсем. Часть задач сейчас просто невозможно решить без мощного железа. И если вам нужны серьёзные ресурсы не только для инференса, но и для обучения неросетей, то рассмотрите Immer Cloud. Imers Cloud - спонсор этого выпуска - это GPU-сервис, который позволяет арендовать мощные видеокарты RTX Tтеesla без необходимости приобретать всё это дорогостоящее оборудование. Можно за несколько минут запустить instance с мощными видюхами. Всё в облаке, без необходимости покупать или арендовать дорогую машину на месяц. Регистрация быстрая, простая, понятная. Создали аккаунт, через пару минут у вас уже есть доступ ко всем ресурсам. Для старта не нужно возиться с настройками, потому что есть готовые виртуальные машины с предустановленным по ино работе перейти. Поддерживаются образы с ML-библиотеками Porch, Ten Tenzer Flow, Jupiter и так далее. Есть 13 моделей видеокарт Nvidia, включая RTX и серверные Tтеesla, вплоть до флагманов новейшего H200, H100, А100 с 80 ГБ видеопамяти. Торификация, кстати, посекундная. Вы платите только за реальное время работы. Переплату по этому можно избежать. Базовая ставка от 23 руб. в час. Если видеокарта не нужна, можно её зархивировать при помощи функции shelf и тоже не терять деньги. Если пополняете счёт по ссылки в описании, то получите 20% к депозиту. Бонус от нас, который позволит провести ещё больше экспериментов и тестов. Переходите на Cloud, пользуйтесь. Ну а давайте установим нашего первого терминального агента. Как я говорил, я буду использовать Vipe и Open Cod. Сначала VIPE, и вы поймёте, почему. Это менее известная штуковина, вот только-только вышедшая от компании СРЛ. Э, но объясню, почему я рассказываю про неё в первую очередь. Вот такая ссылка нам необходима для того, чтобы совершить установку. Копируете, открываете новое окно в терминале, вводите. И если у вас выпадают какие-то ошибки, что возможно, потому что там где-то какой-то путь не присоединён, UV Executable, что-то не нашёл, хоть программа установилась, я не стал, честно говоря, в этом разбираться. Я просто всё скопировал в своего облачного терминального агента, в клод-код, который у меня открыт в другом окне, и сказал по фикси. И вот в этом сила тоже терминальных агентов, что вы можете вот все вот эти новые установки, новые процессы, новую работу в терминале передавать на аутсорс своему агенту, который у вас, ну, либо локальный уже будет, либо облачный, который вы там по моему прошлому ролику установили, либо просто сходите в Перплексте и спросить, спросите, как это решить. В общем, там всего парочку команд нужно ввести для того, чтобы настроить simлин, так называемый. И после этого у вас VIPE начинает работать. По команде VIP он открывается. Для того, чтобы начать им пользоваться, нужно, ну вот, сначала выбрать тему какую-нибудь, которая вам понравится побольше, и потом зарегистрироваться в платформел для того, чтобы взять ключ. Это бесплатно, то не нужно носить никакие деньги, но просто без вот этого подключения апиключа вы не сможете дальше пройти на следующий шаг в этой менюшке. и уже начать подключать локальные модели. Ну а

теперь давайте настроим конфигурацию Вайба, добавим туда локальную модель. Для этого нам нужно уйти в корневую директорию и найти скрытую папочку VI. Можете просто походить по своим папкам её найти, но на самом деле вот для мака юзеров будет такое расположение. И вы можете в терминале ввести команду Open и путь к этому файлу и название файла config. tomто. После этого, ну вот в курсоре у меня открылась вся эта конфигурация, и здесь нам в провайдеров нужно добавить сейчас оламу. Просто в этот файлик добавляем следующее количество, набор символов. Вот наш API endpoint локальный будет выглядеть вот так вот. API key, env примерно не заполняем. API style open AI, backend, generic. Оставляем это как есть. И далее же вот такая схема у нас для добавления моделей. название модели, провайдер, название модели, которое будет видеть юзер, когда вот откроется терминальный агент. И ещё несколько параметров. Давайте вернёмся в Аламу. Снова введём Алаama лист для того, чтобы посмотреть на список моделей. И затем, чтобы узнать точные параметры модели, мы введём с вами команду Alama Show и название нужной нам модели. Покажу на примере другой модели. Вот я ввожу Олаama Show. И название вот этой вот модели, оно такое вот немножко замудрённое. Мы видим с вами название модели и все необходимые параметры. Пойдёмте теперь заполним config. Имя, вот это вот долгое сложное провайдер Алаama, ElС. Назвать это можно как вам заблагорассудится, пусть будет Quent 3 YouTube. Параметр температуры лучше возьмите такой, который есть у вас здесь в модели улама. Тут это 0,6, поэтому тоже давайте напишем 0,6. Ну а input и output price мы ни за что здесь не платим. Модель у нас локальная. Ну, давайте попробуем запустить. Ээ, ввожу команду VIPE и дальше config для того, чтобы выбрать модель. Ээ, так, у нас с вами Deathstal 3 YouTube. Вот она, собственно, есть кнопочка Enter. Я это всё переключил. И сейчас я могу начать с моделькой общаться. Вот такой вот простенький пром для того, чтобы протестировать, насколько вообще нам модель откликнется. Мой любимый цвет чёрный, а твой. Как видите, память у нас загружена. И что ещё интересного в процессе этого всего чуда мы можем сделать, вернёмся в сюда в Оламу и введём команду Олаama PS для того, чтобы посмотреть, как распределяется модель по нашей памяти, что находится на центральном процессоре, что находится на GPU. И вот это плохое значение. Это уже значит, что ваше устройство плоховастенько тянет локальную модель. И, конечно, в идеале, чтобы здесь 100% было алоцировано на GPU. Поэтому с этой моделью дальше мы особо уже ничего сделать не сможем. И, как вы можете заметить, она уже вот 57 секунд думает, просто пытается как бы запуститься и начать генерировать мне ответ. Спустя какое-то время мы получили ответ, и я задам следующий вопрос: а какой мой любимый цвет отправить? — Мы получаем позорный ответ. Даниил, это она знает. Ты любишь синий? Особенно глубокий, насыщенный синий. Как это возможно, если я в предыдущем сообщении сказал: "Мой любимый цвет настроение чёрный". А ситуация вот такая. Все

терминальные агенты предварительно дозагружают какой-то контекст ещё перед тем, как мы начинаем диалог. Это может быть разные системные промты, какие-то файлы ClД MD. Вот, например, моё имя она вытащила, скорее всего, прочитав какой-нибудь там Cloud Clod MD или Agents MD файлик у меня в директории, где я её запустил. И у всех моделей Уламы, когда мы их качаем, контекст всего лишь 2. 000 токенов. То есть весь этот контекст забился сразу же, поэтому моё предыдущее сообщение просто срезалось. Как же это исправить? Нам вновь придётся провести несколько манипуляций с Аламой, э, и создать так называемый modelфайл, где мы зададим конфигурацию контекста для выбранной модели. И, по большому счёту мы сделаем копию этой модели уже с другой конфигурации. Как можете заметить, у меня есть Quent 314B, а есть Quent 314B midle. И у этих двух моделей разные параметры контекста. Тут важно, чем больше контекстное окно вы создадите и зададите в этих параметрах, тем больше видеопамяти эта модель будет алоцировать для того, чтобы начать работать. Соответственно, даже если модель 14 млрд параметров как бы бегает на вашем компьютере, о'кей, у меня 24 Гб в RAM, то если задать контекстом 60. 000 токенов или даже 32. 000 токенов, то можно очень сильно огорчиться. Не переживайте, мы почти уже всё настроили. Я сейчас покажу несколько команд, как сделать этот модуфайл. Это на самом деле очень просто. Но перед этим скажу, что у нас есть записанный, понятный, подробный эфир по села и агентам. Вот если для вас всё, что здесь объясняю, с некоторым скрежетом заходят в ваше когнитивное пространство, то, наверное, стоит это этот эфир посмотреть, потому что он такой прямо новичковый. Там мы клод-код скачали, запустили, подключили, посмотрели на директории, разобрались немножечко с командами в терминале. Ну то есть прямо вот база база, чтобы вы себя в терминале уверенно чувствовали и начали запускать всех этих терминальных агентов. Ну и какие-то первые автоматизации своей рутины настроили. Зайдите, посмотрите этот эфир, он абсолютно недорогой, идёт там в районе часа. И в общем, полностью разберётесь с тем, как работают терминальные агенты. Эта штука очень мощная, очень перспективная. огромное количество своей рутины сможете автоматизировать при помощи клодкод, погентов, разных там слешкоманд, промтов, скилов и так далее. Будет полезно и предпринимателям, и фрилансерам, в общем, всем, кто работает с компьютером, кто хочет выполнять свою работу и задачи быстрее. Главное начать, у вас обязательно получится. Ссылка находится в описании. Теперь давайте работать исключительно с моделью Quent 3, 14 млрд параметров. Она у меня запускается достаточно просто и там на 18 ГБ оперативы, и там на 16, наверное, тоже вполне себе она будет запускаться. На 8 Гб видеопамяти вы, конечно, уже такую штуку не потянете. Там скорее нужно будет запускать каких-нибудь малышек, ну вот типа Лама 32 млрд параметров или какая-нибудь модель на 8 млрд параметров, но это самый максимум. У меня 14 млрд бегает достаточно бодро. Давайте ещё раз посмотрим на её характеристики. И здесь, на самом-то деле, я всё уже сделал. Вот здесь, мне кажется, был какой-то у неё параметр нам CTX. А сейчас показывает, что этот параметр у меня не установлен, но тем лучше. Вот так вот сейчас у нас выглядит наша базовая модель со всеми её настройками. Как нам сделать модефайл? Вот у меня, в принципе, есть такая шпаргалка. Нам в терминале с вами нужно ввести вот следующую команду и здесь сразу изменить вот эти плейсхолдеры. Итак, название временного файла. Сюда просто можно назвать, ну, что угодно. У нас это quen 3, давайте назовём её тоже YT modelфай. Дальше from в это поле мы должны конкретно записать правильное название модели. У нас это qub. Сюда её вводим. Далее вот это вот то самое контекстное окно, которое мы хотим, чтобы у модели было. Вот можете посмотреть те точные значения, которые нужно вводить, если выбирать то или иное контекстное окно. Здесь я использую 16. 000 Давайте попробуем. Почему бы и нет? То 16. 000, мне кажется, я уже пробовал. У меня вот как раз там модель midл на 16. 000 32768. Нам предикт - это количество токенов, которые доступно в ответе. Ну я оставлял вот так вот на 4. 000 токенов. Модель может разглагольствовать. Если там коне какой-то долгий код писать, то вряд ли она с этим справится. И параметры температуры, вот это топпи и вот эта вся вакханалия. Конечно, это нужно скопировать отсюда. тоже можно изменить, если вы хотите там с температурой как-то поиграться. Ээ, но я оставлю это. В принципе, нам вообще это не обязательно заполнять, если мы не будем это с вами менять. Давайте вот так вот сделаем. И эту, э, команду теперь введём в терминал. Замечательно, мы сделали временный файл. Дальше этот временный файл, ээ, нам нужно создать, собственно, модульфайл в аламе из этого временного файла. Вот ещё один шаблон, шаблончик команды. Э, название нашего временного файла правильное. мы сюда вводим, который мы с вами записали. И model name, как мы её назовём? Ну, назовём мы её точно так же Quent 3 в сейчас вот в процессе я это всё с вами создаю. Давайте теперь скопируем и вставим это в терминал. Получаем success. Ну и дальше мы можем с вами спросить Оламу. Оламу показать нам. Давайте оламали listст. У нас, по идее, должна появиться новая модель. Вот она есть. 3 YT latest. И да, мы действительно с вами скопировали всю модель. То есть не забудьте, что у вас ещё на диске должно быть достаточно пространства. Вот ещё 9 Гб у меня на диске это заняло. И теперь Олаama show и проверим, насколько это всё у нас сработало. Нам CTX 32, да? То есть мы задали ей контекстное окно сейчас в 32. 000 токенов. Теперь не забудем, что нам нужно изменить конфигурацию в нашем Caiте. Тоже название нашей модели правильное. Вот оно. Вот он новый модельфайл. И сюда, соответственно, вот вместо того монстра, который я тестировал, чуть-чуть выше мы введём название этой модели. В принципе, тут нам больше и ничего. А, температура 0,6. И у нас с вами температура 0,6. Но всё прекрасно, можем снова открывать Vibe и, ну, вайбить получается. Привет, мой любимый цвет чёрный. А твой? Задам такой же вопрос. И давайте вновь введём сейчас Олаama PS для того, чтобы посмотреть, насколько модель справляется. Замечательно. Это прекрасно. 100% GPU. Видите, сейчас у меня всё находится на видеопамяти. И эта модель с 32. 000 токенов контекстного канала, что достаточно много. Нуно, что немало. Реально можно с ней уже выполнять какую-то работу, отправлять её там, э, смотреть файлы, чтобы она что-то меняло. То есть это уже о'кей. Если она сейчас пройдёт наш тест, мы проверим её на память, то как бы это будет прекрасно и замечательно. Activity мониitor тоже гораздо меньше памяти используется, всего 14 Гб. Поэтому можете потестировать вот с разными параметрами нам CTX X, параметрами вот этого контекстного окна. Если не вывозит ваш компьютер большое контекстное окно, то сокращайте либо берите модель попроще, поменьше. Ну вот так она мне ответила. Кстати, думала она катастрофически долго, но давайте спросим, какой мой любимый цвет. Почему-то я у неё женского рода, потому что ногти в чёрные накрашены. Да, не успел водичку дохлебнуть. модель ответила. Ура, видите? То есть на первой, видимо, она как-то ещё заплодилась в память и не сразу не ответила. Но второй вопрос она уже прекрасненько, в общем-то, дала мне нужный ответ. То есть мы знаем, что всё супер, у нас есть достаточное количество контекста контекстного кна, чтобы с моделью работать. И вот сейчас просто покажу там небольшой скринкаст того, как я с моделью работал, что она действительно сумела открыть нужные инструменты, показать мне, прочитать кусок файла, открыть новый файл, добавить в этот файл описание интра к моему ролику. То есть она действительно выполнила мою задачу уже. Вот эта версия 314B понимает, что у неё есть инструменты, умеет их вызывать, открывает файлы, добавлять ту этот текст. В принципе, всё то же самое, что я делал и с облачным агентом. И это абсолютно феорично. Я считаю, что можно вот пока я тут Open CД буду устанавливать, поставить дяд Дане лайк за то, что вот дядя Даня разобрался, всё это нашёл, рассказал и это заработало. И реально какие-то ваши скейсы вы можете так закрывать с маленькой моделькой работать на небольших объёмах информации, которые закрыты приватные. Ну это же просто восхитительно. Но мы

хотим с вами ещё попытаться установить OpenC код и в Open коде тоже запустить какую-нибудь модельку. Вот так вот у нас это всё выглядит. Lл тоже баш команда, которую мы с вами сейчас в терминал введём. Давайте это сделаем. Пожалуйста, установись без всяких там паршивых ошибок. Я не хочу тебя дебашить сейчас. Open cod. Ура. И вот отлично открылся сразу. И вот такое мракобесие мы здесь с вами получаем, когда его открываем. Это, конечно, полный трэш. Поэтому я сразу покажу, что вам нужно сделать в вашей рабочей директории, в которой выкод запускаете. У меня это My AI. Здесь нужно создать конфигурационный файлик под названием Opencode. jonjon. Ну и чтобы вот этот вот тш не видеть, сразу здесь, ну вот эту схему можете у меня прямо так с экрана скопировать. Потом это всё с вами перенастроим. Ну вот поставить тему, ну как минимум Tokio K, потому что это, конечно, э, ну, катастрофа полная. И после того, как вы это сделали, мы OpenCД с вами снова открываем. И как бы жить и дышать уже свободно можно. И в этом конфигурационном файлике, в принципе, всё то же самое. Вот у нас провайдер выделяется таким образом. Base URL оставляем. В общем, вот эта схема, которая нам здесь нужна. В название модели мы просто вводим здесь название нужной нам модели. сюда её 3Y мы назовём. Э, просто саму модельку, чтобы она у нас в терминале показывалась. И дальше вот это важно, контекстный окнор 3. 276 заполнили. Output 4,96 здесь так и есть. Температура 0,6, топ P 0,95 у нашей модели и Repeat Penaltти единичка. Э, это всё нужно заполнить именно в такой схеме. Почему? Потому что, когда вы откроете Open CД, вот в отличие от Вайба этого подлица, давайте откроем его снова, Open CД, выберем модель Ctrl P, нажмём, потом switch model и найдём здесь вот ону, нашу красавицу ламала. Она сразу здесь появилась QN 3 YT. И здесь мы сможем наблюдать с вами вообще как расходуется контекст. Что ты знаешь обо мне? Давайте её сразу спросим, потому что, вероятно, она всё-таки должна обратить сейчас внимание на те Agents MD или CLД MD. В общем, что-то, как какой-то информация в контексте должна быть, но мы здесь сможем сейчас с вами увидеть, как расходуется контекст, когда модель загрузится и начнёт там выдавать ответ. В местрали я не понял, как это настроить. А здесь можно, за контекстом это прекрасно, но сразу с порога OpenCд забирает у вас примерно 16. 000 токенов или что-то в этом духе, или там 14. 000 токенов, короче, очень много своим системным промтом и описанием разных инструкций, всякого такого. И как вот это вот убрать, я пока что не очень понял. То есть вот это прямо проблема. Если вы сделали модель на 16к токенов, вы не сможете с ней работать через Openкод. Ну, потому что просто уже весь контекст забит. Давай, родненькая, ну, давай. Эх, трудится 14 гигов. И смотрите, здесь классно сразу мы видим рининг. Например, VIP нам риза не показывал. Ну вот, честно, OpenCД сильно более прокачанный сила агент гораздо больше возможностей. Это катастрофически мощная штука. Но собака он собирает столько контекста, что просто он меня сильно раздражает этим. Но мы можем с вами посмотреть, что вот 12. 000 токенов он уже потратил. 12. 000 токенов. Но 39%. То есть у нас модель с вами на 32. 000. И это как бы прекрасно. То есть в таком конфиге в Openкоде работать можно. Ты YouTube блогер, продуктивный совет, создающий контент, технологии, ну, типа красавчик просто. Вот взял с AG MD, всё выудил. Да, это ж прекрасно, друзья мои, просто он знает всё обо мне. Он никуда не отправляет информацию, с ним можно делать что угодно теперь. Ну, в рамках приличия. И модель 14 млрд параметров реально рабочая. Дальше всё упирается в ваше железо. Ну, и, наверное, ваше желание вот настолько заморачиваться, чтобы оно всё вот так вот начало работать, докупать ещё видеопамять, если вот захотите. Но, мне кажется, очень интересный получился эксперимент. Как минимум мы доказали, что это возможно. Есть куча других способов там через VLM какие-нибудь более эффективные MLX, Framework, всё это тоже запустить. Ээ, я показал самый простой, как мне кажется, наглядный, с какими-то хоть какими-то визуальными составляющими, той же Аламой. Если вам ролик понравился, напишите об этом в комментах, поддержите меня и мои будущие выпуски и нас с Игорям, в принципе, наш проект. Все полезные ссылки на ресурсы, которые я в этом ролике упоминал, найдёте в описании. под видео. Увидимся в будущих выпусках. Дядя Д. Пока. —