Твоя нейронка выдает мусор? 3 параметра LLM, которые изменят ВСЁ за 15 минут
22:54

Твоя нейронка выдает мусор? 3 параметра LLM, которые изменят ВСЁ за 15 минут

RixAI 18.11.2025 1 535 просмотров 74 лайков обн. 18.02.2026
Поделиться Telegram VK Бот
Транскрипт Скачать .md
Анализ с AI
Описание видео
В этом видео мы подробно разберем, как temperature влияет на генерацию текста в chatgpt. Вы узнаете о top p и top k sampling, двух важных sampling strategies, помогающих контролировать креативность ai. Это необходимо для улучшения `text generation` и достижения большей консистентности. Все нейросети в одном месте - телеграм бот + веб интерфейс: https://syntx.ai/welcome/06Eoljlo Удобная и выгодная оплата зарубежных сервисов: https://t.me/pakopay_bot?start=utm_rixai 20% скидка на первую комиссию при оплате. 👋 Забрать шпаргалку по temperature/top_p/top_k, мои пресеты и примеры промптов вы можете в моем телеграм-канале: https://t.me/+NmiOwLntWek2NDky Что разберём: - Где встречаются параметры (OpenAI Platform, Open WebUI и др.) - Temperature: как влияет на предсказуемость/креативность (аналогия «плита/огонь») - Top_k: сколько кандидатов вообще участвует в выборе - Top_p (nucleus): как работает «порог по суммарной вероятности» - Базовые пресеты: для кода/алгоритмов vs для креатива/идей - Логика применения: сначала temperature, потом top_p и top_k - Шпаргалка, чтобы не крутить слайдеры «на удачу» Практика из видео: - Примеры продолжения фраз с разной температурой - Когда снижать temperature - Когда поднимать temperature - Как расширять «хвост» редких идей через top_k / top_p - Почему «стандартные» настройки = стандартные ответы # Таймкоды 00:00 — Зачем смотреть: 3 параметра, которые реально меняют ответы 00:25 — Почему «стоковые» настройки дают посредственный результат 01:04 — Креативные vs предсказуемые ответы: где что нужно 01:59 — Какие параметры будем трогать: temperature, top_p, top_k 02:15 — OpenAI Platform: есть temperature и top_p, нет top_k 03:01 — Open WebUI: есть все три параметра (пример интерфейса) 04:01 — Temperature через метафоры: тело/плита, что происходит «под капотом» 06:16 — Вероятности и выбор следующего слова (интуитивно) 06:56 — Пример: «На улице идёт сильный…» — распределения 08:36 — Температура = 1, меньше 1 (более точная), больше 1 (более креативная) 10:19 — Пример: «По утрам я пью чашку…» + где снижать температуру 11:27 — Когда повышать температуру (идеи/сценарии/брейншторм) 12:38 — Шпаргалка по temperature 13:20 — Top_k: ограничиваем число кандидатов (3, 40, 100+) 15:39 — Практика: значения для кода и маркетинга (и зачем поднимать) 17:00 — Top_p (nucleus): порог по суммарной вероятности (0–1) 19:10 — Порядок влияния: сначала temperature → затем top_p и top_k 20:42 — Финальный чек-лист по трём параметрам 22:20 — Итоги + где забрать материалы (Telegram) #LLM #ChatGPT #Temperature #TopP #TopK #PromptEngineering #AIконтент #ИИ #OpenAI #OpenWebUI

Оглавление (19 сегментов)

  1. 0:00 Why you should watch: 3 parameters that really change answers 77 сл.
  2. 0:25 Why "stock" settings produce mediocre results 118 сл.
  3. 1:04 Creative vs. predictable answers: where you need what 143 сл.
  4. 1:59 Which parameters will we touch: temperature, top_p, top_k 53 сл.
  5. 2:15 OpenAI Platform: temperature and top_p are present, but top_k is not 133 сл.
  6. 3:01 Open WebUI: all three parameters are present (example interface) 185 сл.
  7. 4:01 Temperature through metaphors: body/stove, what's going on "under the hood" 387 сл.
  8. 6:16 Probabilities and next word choice (intuitively) 117 сл.
  9. 6:56 Example: "It's windy outside..." — distributions 287 сл.
  10. 8:36 Temperature = 1, less than 1 (more accurate), greater than 1 (more Creative) 272 сл.
  11. 10:19 Example: "In the morning, I drink a cup of..." + where to lower the temperature 188 сл.
  12. 11:27 When to raise the temperature (ideas/scenarios/brainstorming) 185 сл.
  13. 12:38 Temperature cheat sheet 111 сл.
  14. 13:20 Top_k: limiting the number of candidates (3, 40, 100+) 363 сл.
  15. 15:39 Practice: values ​​for code and marketing (and why to raise them) 220 сл.
  16. 17:00 Top_p (nucleus): threshold for the total probability (0–1) 362 сл.
  17. 19:10 Order of influence: first temperature → then top_p and top_k 253 сл.
  18. 20:42 Final checklist for three parameters 281 сл.
  19. 22:20 Results + where to get materials (Telegram) 104 сл.
0:00

Why you should watch: 3 parameters that really change answers

В этом видео мы разберём три важных параметра наросеть. Это температура, топи и топK. Давай сразу на чистоту я тебе скажу коротко, зачем тебе смотреть это видео, а ты уже поймёшь, что, ну, не просто будешь его смотреть в ожидании какого-то волшебного чуда или таблетки, а реально поймёшь, что это видео будет тебе полезно в этих этих, этих задачах, и ты уже сможешь после этого видео это внедрить и работать вообще по-другому, как не работают большинство людей.
0:25

Why "stock" settings produce mediocre results

Представим, что у тебя есть какая-то подписка, я уверен, если ты работаешь с нейросетями, там будь то чат GPT, Cloud, может быть, это Gini, даницы, вообще, любая подписка на нейросеть, а может быть, ты пользуешься бесплатно нейросетями, тоже такое может быть. Или ты работаешь по апи, но используешь стандартные настройки температуры и вот этих вот параметров. Что получается в этом случае? Когда ты пытаешься достать из нейросети какие-то классные идеи, какие-то маркетинговые фишки, какие-то отстройку, какую-то отстройку от конкурентов, у тебя получается не очень хорошо. А, и ты думаешь, что всё дело в промте, на самом деле это тоже немаловажная часть, но всё дело может быть как раз-таки вот в этих вот тонких настройках. Почему? Потому что есть
1:04

Creative vs. predictable answers: where you need what

настройки, которые позволяют тебе выкрутить нейросеть на определённые параметры, и нейросеть будет намеренно выдавать нестандартные варианты ответов. Как раз-таки это очень подходит, когда нужен какой-то креатив, когда нужны какие-то неординарные идеи, и это очень полезно. Я на практике это тоже использую. Когда мне нужны более предсказуемые ответы, я использую определённые параметры. Мы сейчас об этом поговорим. Когда я уже работаю над каким-то креативом, например, над, может быть, написанием сценариев, проработки какой-то маркетинговой идеи, а, генерации каких-то идей, да, вообще чего угодно, где нужна креативность, я использую абсолютно другие настройки. И, как ты понимаешь, когда я использую другие настройки, которые не используют другие люди, я имею перед ними конкурентное преимущество. Ну, если тебя это заинтересовало, тогда оставайся, и ты к концу видео поймёшь, как этим всем регулировать, жонглировать, и уже будешь, наверное, на 95% лучше многих просто обычных пользователей чата GPT. Итак, я вывел
1:59

Which parameters will we touch: temperature, top_p, top_k

демонстрацию экрана. Надеюсь, ты видишь, а ты её точно видишь. И вот те самые параметры, с которыми мы будем работать, это топпи, топке и температура. Но прежде чем мы будем разбирать, что это за параметры и на что они влияют, давай посмотрим, где ты сначала можешь с ними столкнуться. Первый скриншот, который я
2:15

OpenAI Platform: temperature and top_p are present, but top_k is not

здесь показал - это платформа Open AI Platform. Эти параметры настраиваются при создании агентов на это на этой платформе. То есть мы можем регулировать температурой и топпи. К сожалению, параметра топK здесь нет. Почему? Потому что он меньше всего влияет на генерацию ответа и на поведение на эросетите. Если их категоризировать по топ-1, топ-д и топ-три, да, вот знаете, как такой педестал, а то на первом месте у нас будет это температура, на втором месте вот так вот подпишу, да, а второе пусть будет и третье, да, на втором месте у нас будет топ пи, буква пи поставлю, и на третьем месте будет. А может они решили так упростить? В общем, а здесь нет такой настройки, но эта настройка есть, например, на платформе а Open Web UI. Кто не смотрел моё видео, где-то
3:01

Open WebUI: all three parameters are present (example interface)

здесь вот поставлю ссылочку. Обязательно посмотрите, где я локально развернул у себя эту платформу и подключил к ней 340йросетей, буквально там, ну, за пару кликов. И теперь я могу выбирать разные найросети, там GRК, Deepsek, G Mini, там Chat GPT, разные модели и с ними взаимодействую через этот интерфейс. Он выглядит буквально там, ну, не буквально, а прямо идентично, как чат GPT, но там есть больше прикольных настроек, как раз-таки вот, например, настроек температуры TOPP P и ТоK, о которых мы сейчас будем и говорить. И этот скриншот сделан именно с этой платформы. А так вот, на самом деле, таких платформ и мест, где вы можете с этим столкнуться, есть ещё большое-большое количество. Я здесь поставлю такие три точки. Я лишь показал то, с чем я работаю, потому что я не могу работать совсем в мире. Но если вы где-то с этим столкнётесь, вы уже будете понимать, что это и для чего это нужно. И первый параметр, с которого мы начнём, это у нас будет температура. Вообще, попробуйте задуматься на секундочку по поводу того, а почему вообще этот параметр назвали температурой. А когда я только
4:01

Temperature through metaphors: body/stove, what's going on "under the hood"

сталкивался с этими настройками, с этими параметрами, я тоже задал себе этот вопрос, прежде чем лезть в интернет, и попытался самостоятельно на него ответить. А так вот первое, что мне пришло в голову, что вот, например, у человека же тоже есть какая-то температура, да, тела, а есть у нас температура погоды. Так вот, как раз-таки я правильно попал в точку. То есть температура, она как бы охлаждает либо как бы нагревает нашу модель. Ну вот можно привести, как я и говорил, аналогию с человеком. То есть когда у человека хорошая температура, ну стандартная, да, он ведёт себя естественно. Всё как обычно, когда у человека температура там, а, повышается, наоборот, он себя чувствует неважно, то есть ведёт себя уже по-другому. Когда, наоборот, температура у человека понижается, у него тоже совсем другое состояние. И таким образом, корректируя вот эту вот настроечку, да, выкручивая, уменьшая, увеличивая её, мы изменяем тоже поведение нашей модели. Здесь можно также рассмотреть очень простой пример, а, с темой кухни связанной, да? То есть у нас у всех на кухне есть плита. Ну, возьмём для более понятного примера газовую плиту. Когда мы включаем газ и ставим ему на какое-то минимальное значение, у нас, например, еда готовится, у нас всё предсказуемо, да? То есть она у нас не может там выкипеть или сгореть. Да. Ну, то есть это маловероятно. Поэтому мы понимаем, что если мы там поставили её на маленький огонь, то можем там вернуться к ней через час, потому что мы понимаем, что ничего не может произойти такого, чего мы не ожидаем. То есть это называется, когда мы понижаем вот эту температуру у модели, модель становится более осторожной и предсказуемой. И наоборот, когда мы выкручиваем газ на максимальную как бы позицию, да, так это назовём, то модель она становится более креативной и хаотичной. А, то есть это вот как пример, что мы поставили там что-то вариться и, а, может это всё у нас выкипет, если мы не будем за этим смотреть, либо там подгореть, сгореть, то есть что-то произойти неожиданное. Ну вот привёл, так скажем, с разных сторон попытался повертеть. А теперь давайте посмотрим немножко, что происходит у нас под капотом. То есть рассмотрим вот эту вот интереснейшую формулу. Я её вывел здесь не просто так, а с важным намерением показать, что есть определённая формула, по которой нейросеть, она предсказывает, какое слово должно вывестись следующее. То
6:16

Probabilities and next word choice (intuitively)

есть, когда вы ей задаёте вопрос, она на основании, а, как бы вашего вопроса формирует ответ и начинает его генерировать по одному слову. Но чтобы на иросете сгенерировать какое-то слово, она смотрит вероятность, то есть она смотрит, что было до этого, и как бы у неё есть определённые вероятности, что может быть, что может быть и идти следующим. Так вот, во всех этих формулах присутствует этот параметр как температура. И он стоит, как вы заметили, в знаменателе. То есть, когда мы меняем этот параметр, он будет явно влиять на конечный выдаваемый результат. Давайте рассмотрим на конкретных примерах. Вот у нас есть модель. Давайте возьмём, пусть это у нас будет самая популярная модель - это чат GPT. Когда
6:56

Example: "It's windy outside..." — distributions

мы задаём ей какой-то вопрос, ну вот стандартно она нам даёт какой-то ответ, и этот ответ он основан на определённых статистических данных, на которых обучалась эта модель. В текущем примере на улице идёт сильный и троеточия. Я вывел вот такие варианты ответа: сильный дождь, сильный снег, сильный град, человек и слон. А, ну понятно, что здесь у данной модели, например, чата GPT могут быть совсем другие слова и их процентовка, но всё-таки для примера нужно от чего-то отталкиваться. Так вот, если я напишу это предложение в нейросеть, я это уже сделал заранее, смотрите, какие она варианты мне выдала. Очень интересно, да? Она мне не выдала человек на первом месте, она мне выдала дождь, потом снег, ливень, ветер, град, буря. Ну, я здесь взял такие более неординарные варианты, чтобы, ну, лучше потом было разобрать на примерах. Так вот, что это значит? Это значит, что когда чат GPT эту модель обучали, то те данные, которые в неё загружали массивом, а в них чаще всего встречался слово дождь. Именно в этом контексте, что на улице идёт сильный дождь, реже встречался снег, град, человек и слон. И вот здесь это я и написал вот это вот распределение вероятностей, что с наибольшей вероятностью следующее слово, которое она нам продолжит вот здесь вот будет дождь. Реже она может предложить снег, град, человек и слон. При этом, а, у всех этих слов есть шанс появиться, ну, как бы стать следующим. А просто у кого-то это больше, да, у кого-то меньше. И как раз-таки за счёт параметра температуры мы можем менять процентовку и чтобы он нам выдавал совсем непредсказуемые варианты, да, которые присутствуют, ну, вот по контексту, да, то есть менее очевидные, так это назовём. Давайте рассмотрим стандартный вариант. Первый - это когда у нас
8:36

Temperature = 1, less than 1 (more accurate), greater than 1 (more Creative)

температура равна единице. Здесь я просто продублировал все те же самые процентовки. То есть у нас дождь может идти дальше в этом предложении конкретно там с вероятностью 60%, вот здесь я это прописал, 20, 10 и по 5% человек и слон. Давайте посмотрим, что будет, если мы уменьшим нашу температуру. То есть вот здесь вот, как на скриншоте, в данном случае сделаем её меньше единицы. То есть, например, вот 0,7 у меня стоит. А в этом случае ответы будут более предсказуемые. Когда модель у нас обучалась, то вот этот вот вариант, он чаще всего встречался, и он чаще всего будет выводиться. И в случае, если мы температуру понижаем, то естьделаем её меньше единицы, у нас а как бы шанс того, что следующим словом будет идти дождь в этом предложении, оно повышается. То есть таким образом мы задаём нейросети определённый предсказуемый паттерн. То есть она будет максимально точно следовать самым популярным вариантам. И никаких неожиданных вы не увидите от неё предложений и, ну, как бы креатива. То есть она будет чётко выдавать. Мы видим, что дождь уже стал в случае понижения 87%. А шанс человека и слона выдаться, да, при понижении температуры уменьшился аж до 1%. Ну, образно, да, там, может быть, даже ещё меньше, потому что здесь я написал примерно, а, снег тоже уменьшился, град уменьшился и, ну, вот человек и слон, я уже сказал. Поэтому, когда мы понижаем температуру, ответы от нейросиди будут максимально предсказуемыми. Именно выдаваться что-то вот по логике, да? Ну, там идёт сильный дождь, давайте попросим её, ну, какое-то ещё вот предложение рассмотрим там, а, по утрам, по утрам я пью чашку и поставим троеточие. Что, ну, первое
10:19

Example: "In the morning, I drink a cup of..." + where to lower the temperature

может прийти на ум. Давайте сейчас посмотрим. А, чашку кофе, да, чашку чая, какао, мача, чёрного кофе. Но здесь мы не видим нигде варианта молока, да? И, соответственно, если мы выкручиваем температуру меньше единицы, соответственно, он будет чаще всего выдавать чашку кофе, чашку чая, например, а остальные варианты будут практически невозможно встретить. Где это можно использовать? Вариант понижения температуры можно использовать, когда мы пишем какой-то код и нам нужно более чёткой, нам не нужна какая- там креативность там, то есть мы программисты, мы там что-то разрабатываем. А когда мы считаем какие-то формулы, то есть это математика, алгоритмы, когда даём чёткие и строгие инструкции, и нам очень важно, чтобы нейросеть следовала этим инструкциям и ничего своего не придумывала. И нам не нужна какая-то фантазия, нам нужна стабильность в ответах. То есть нам нужны самые очевидные и популярные вариантов ответа, чтобы она там, ну, случайно не там не вывела слово слон, например, да, в этом предложении. Теперь давайте мы выкрутим температуру и сделаем её больше единицы. Например, здесь у нас было 0,7, а мы её поставим, например, куда-то вот сюда вот сделаю её, сделаем её 1.2 там или 1.5. В
11:27

When to raise the temperature (ideas/scenarios/brainstorming)

этом случае происходит следующее. Мы видим, что у нас ответы начинают выравниваться. Дождь, он всё ещё лидер, но уже он не так доминирует. Снег и град приблизились к нему. Человек и слон получили в два с лишним раза больше шанса, нежели чем было при варианте с температурой равным единицы. Такой режим хорошо, как раз-таки подходит, как я и говорил, для креативных текстов, идей мозговых штурмов и поиска неожиданных формулировок. Поэтому вот этот вот именно вариант используйте, потому что он может дать вам действительно очень классные, неочевидные варианты под разные задачи, которые вы можете использовать. И многие люди этого не используют. Они пользуются стандартными ответами и ожидают, что, используя стандартные, точнее, вот эти вот настройки, они будут якобы получать какие-то другие особенные ответы. А на самом деле нейросеть работает, это же обычная статистика, алгоритмы. Она выдаёт такие же ответы, как миллионам других людей, которые пользуются этой нейросетью. И поэтому они пытаются вот как-то всё выжать из неё, обойти, как-то по-другому зайти через промты, но всего лишь а выкрутив даже вот температуру, сделав больше единицы, вы уже можете получать очень интересные и неординарные ответы. Поэтому обязательно потестируйте
12:38

Temperature cheat sheet

эту настройку. Теперь давайте подведём небольшой итог, и я скажу такую, скажем, шпаргалочку по температуре. А если у нас температура меньше единицы, то в этом случае модель осторожная и максимально предсказуемая. Если температура равна единице, это у нас базовая настройка, то есть как бы модель отвечала сама, то есть изначально без вообще нашего как бы вмешательства. И в случае, когда у нас температура больше единицы, модель креативная, больше неожиданных вариантов может прилететь, больше слонов, так назовём. И важно температура, она вот в этой всей цепочке генерации текста применяется самой первой, а уже потом к результату подключаются вот эти параметры TOPP и TOPK, которые мы сейчас тоже разберём. Спустимся немного ниже, и
13:20

Top_k: limiting the number of candidates (3, 40, 100+)

вы видите, что у меня здесь отмечены варианты TOPK - это 40 наиболее вероятных слов. И TOPK равен трём. Может быть, вы уже, кстати, даже догадались, что это значит. Давайте объясню сначала технически немного, а потом уже через метафору. То есть топке, этот параметр говорит модели, что сортируй все варианты по вероятности и смотри только на первый кей. Выбирать можно только среди них. Метафора: у тебя есть 10.000 резюме, но ты сначала отбираешь 40 лучших, а потом случайно выбираешь кого-то из этих именно сорока. То есть, если мы рассматриваем вариант стопK равен 40, модель выбирает из со0ка самых вероятных, ну, как бы вариантов. ТопK равент только из трёх лидеров. А, смотрите, сейчас вам будет 100% понятно. А представим, что у нас топке равен трём, и мы возвращаемся вот к этому предложению. На улице идёт сильно и троеточия. Когда у нас это значение равно трём, то он, а, точнее не он, а нейросеть, она будет выбирать, какое следующее слово предложить, исходя вот из этих трёх вариантов. То есть варианта с человеком и со слоном у нейросети вообще не будет. Ещё один пример. Если мы этот параметр выкрутим, например, назначение пять, в этом случае он уже охватит вот эти вот все пять вариантов. Ну, соответственно, можем его выкрутить ещё больше, например, а, на, не знаю, ну, вот давайте на 40. Тогда он покажет эти варианты и ещё 40, которые находятся внизу, да, менее-менее популярные. Как этот параметр использовать на практике? Чем меньше этот параметр, тем жёстче будут и предсказуемые ответы. Чем больше этот параметр, тем больше шанс поймать редкие и необычные варианты. А мои рекомендации для кода какой-то математики, алгоритмов или если вам нужно, ну, прямо такие чёткие ответы, где не нужна какая-то креативность, то, ну, по умолчанию можете оставить либо там в основном везде стоит такой параметр, как 30 -ре40 а вариантов. Но для маркетинга идей, текстов можно поднять до 100, но некоторые платформы выше 100 не позволяют поднять, а некоторые позволяют. Ещё можно поднять до 120. Выше 120 я вообще никогда не поднимал. В этом нет никакого смысла. Таким образом, мы не будем отрезать интересные штуки в хвосте распределения. Давайте ещё рассмотрим очень интересную такую логическую аналогию или продолжение. Когда мы используем этот
15:39

Practice: values ​​for code and marketing (and why to raise them)

параметр по умолчанию, то он автоматически обрезает варианты ответов, которые ниже там, например, 40 или 30, то есть значение, которое стоит по умолчанию. А вы же понимаете, что найросеть, когда обучалась, она в контексте, например, вот определённых предложений, она выявила, ну, различные варианты. Просто какие-то более чаще встречались, какие-то более реже. Но мы не сможем иметь доступ вот к этим вот редким вариантам, да, которые она может нам предложить, если мы этот параметр тоже не срегулируем. Поэтому, как я и сказал, выкручивая его на сотку, да, этот параметр, например, ну, то есть на максимальное значение, мы получаем вообще все возможные переборки, ну, максимально, да, которые мы можем подкрутить. И, соответственно, модель сможет видеть и достучаться даже до самых маловероятных продолжений текстов и слов. А в них может крыться очень интересная какая-то идея, может быть какая-то мысль, а, да, может быть, вы стартап разрабатываете, то есть какие-то идеи для стартапов, а в с обычными настройками модель не может к ним достучаться. Надеюсь, теперь вы разобрались с этим параметром и поняли его, как он работает, и уже можете применять, в том числе, на практике. То есть у нас сейчас осталось разобрать только параметр TOPпи, да, который меньше всего влияет на генерацию, но тоже очень важен и где-то его можно подкручивать так или иначе. Ну вот основные два - это температура и тоK.
17:00

Top_p (nucleus): threshold for the total probability (0–1)

Теперь разберём топ пи. В конспекте он у меня подписан как 0,8 и в скобках указано от нуля до одного. А что такое топ пи? Сейчас скажу сразу, что это, наверное, самый сложный для понимания параметр, но сейчас через разные примеры аналогии у вас как бы придёт вот это осознание. Топи - это фильтр по суммарной вероятности. Давайте переведу метафору с пирогом, но она тоже мне не очень нравится, на самом деле. Просто что-то легче я не смог придумать. То есть представьте круговой пирог, где каждый кусок - это одно конкретное слово, а размер куска - это его вероятность. То есть топпи говорит: "Бери самые большие куски сверху, пока их суммарный размер не дойдёт, например, до 80% пирога". Сейчас поймёте уже больше на примерах. То есть, смотрите, давайте возьмём наше базовое распределение, когда у нас температура равна единице. То есть, когда у нас, а, дождь встречается 60%, снег- 20, град 10 и тут по 5% слон и человек. А при топ пи, например, равном 0,8, ну, в данном случае у меня он равен единице, это максимальное значение. Вот представим, что он равен у меня 0,8. Просто, чтобы сейчас лучше понять пример. Мы его уменьшили, например. А, грубо говоря, если мы 0,8, да, умножим на 100, мы получим, ну, там 80%. Сейчас сразу скажу, кривовато пишу, но это неважно. То есть, смотрите, а мы берём слово дождь, оно имеет 60%. Мы смотрим, что это меньше 80. Значит, мы можем добавить ещё какое-то слово. Добавляем снег, который имеет вес 20% сюда вот. И мы уже видим, что 60 + 20 - это 80%, то есть мы достигли порога. Значит, вот эти вот именно два слова будут входить в выборку. А град, человек, слон, они уже не попадают. То есть мы набрали некий порог, и модель будет бросать жребий между дождём и снегом, то есть какое слово дальше написать. Очень важно, что этот параметр он работает уже после температуры. То есть при низкой температуре распределение будет острое, то есть несколько слов будут набирать практически вот этот весь пирог. И топпи быстро их режет. При высокой температуре, как мы видели вот здесь вот, да, когда у нас температура больше, давайте сейчас вот это всё лишнее сотру.
19:10

Order of influence: first temperature → then top_p and top_k

Когда у нас температура больше единицы, ну ладно, не стирается вот этот вариант, то в этом случае распределение будет плоское, то есть будет много слов с похожими вероятностями. И вот в эти вот 0,8 09 уже может войти много разных вариантов и слов. Также стоит понимать, что все примеры, которые я сейчас приводил, а, например, вот 60%, 20%, да, вот я их сейчас объединил вот так вот и выявил, что это 80%, да, у нас топпи был, например, и всё. Значит, теперь у нас будет выводиться только вот эти два варианта. Остальные выводиться не будут. Конечно же, нет. На практике всё это сложнее выглядит, сама формула сложнее, вычисление. Поэтому, а, в данном случае, даже если вы оставите топ пи равным 0,8, то это будет большое-большое количество разных слов. Это будут не два слова, уж поверьте мне. Просто я для примера выбрал такой очень простой вариант и объяснил на двух пальцах, так это назовём. Поэтому подведём небольшой итог. Для кода часто достаточно настроить температуру и топке, то, что мы рассматривали до этого. А топи оставить по умолчанию, да, то, что стоит, ничего не менять. Для креатива будет хорошая связка - это чуть-чуть выкрутить топпи на 0,8. Ну и, соответственно, применить предыдущие настройки, в том числе. Теперь самый главный вопрос: а как же всё это теперь запомнить? Я здесь подготовил небольшой чек-лист, и я вам буду сейчас его озвучивать, и у вас точно сложится полное понимание этих трёх параметров, с которыми вы будете уже в дальнейшем работать и настраивать поведение вашей нейросети. Итак, температура задаёт
20:42

Final checklist for three parameters

насколько модель осторожна или креативна. Это видно по таблице, когда мы рассматривали. Если у нас температура будет меньше единицы, то все самые вероятные варианты, они будут увеличиваться. Соответственно, у нас чаще будет выдаваться в данном примере слово дождь. А если у нас температура больше нуля, то, как мы видим из примера уже справа, такие варианты редкие, как слон и человек, они уже, в принципе, вполне себе могут стать реальными кандидатами на вывод. ТопK, она ограничивает, сколько вариантов вообще участвует в выборе. Как мы разбирали, 3, 40 или 100 самых вероятных. То есть, если у нас топK 3, то у нас будет выводиться три варианта. Ну, это ещё раз просто для освежения. И топпи, он берёт только верхнюю часть пирога вероятностей, пока не наберётся заданная доля, например, до 80%. Это я тоже уже мы прямо последнее это разобрали, поэтому у вас всё должно было чётенько по полочкам отложиться. Также стоит понимать, что у нас при работе с этими параметрами самый первый важный параметр, который применяется - это температура, а потом уже идут такие параметры, как топпи и тоK. Если держать в голове только это, ты уже будешь не просто крутить ползунки в нейросети и не понимать, что, ну, или, может быть, как ты раньше думал, что вот если я выкручу чуть вправо, значит, он будет чуть креативнее или чуть влево, ну, значит будет более точен. С одной стороны, да, но с другой стороны ты не понимал до этого логику, почему так работает, а теперь ты это понимаешь, и уже можешь осознанно регулировать эти параметры. И ты будешь, как я и сказал, осознанно управлять характером ответа модели. На этом всё, что я хотел рассказать в этом видео. Я рассказал. Если тебе оно было
22:20

Results + where to get materials (Telegram)

полезно и понравилось, то обязательно подпишись на мой канал, потому что мы с тобой просто-напросто можем больше не встретиться, если ты уже, конечно, не подписан. Если подписан, то тебе отдельный лайк. Ну, конечно же, не забудь написать комментарий, оставить лайк. И, конечно же, у меня есть свой Telegram-канал, который у меня будет в описании и в закреплённом сообщении в комментариях, куда ты можешь перейти и уже а я там публикую все материалы, которые обозреваю в видео, делюсь какими-то интересными мыслями и больше коммуницирую и больше выхожу чаще на связь. Поэтому спасибо за просмотр, друг мой и или, может быть, подруга. И до новых встреч.

Ещё от RixAI

Ctrl+V

Экстракт Знаний в Telegram

Транскрипты, идеи, методички — всё самое полезное из лучших YouTube-каналов.

Подписаться