Kling Motion Control 3.0 — Полный Гайд (от референса до результата)

Сегодня мы с вами научимся генерировать вот такие видео, такие видео или превращать себя в милую аниме девочку. Каждый из нас, скорее всего, уже может сгенерировать видео из картинки либо текста. Но как заставить персонажа делать в точности то, что нам нужно? Ответ на самом деле очень простой. Сделать видео из другого видео. Люди

роботы, привет. Это Протсовет. Я Игорян. И сегодня мы поговорим про Clink Motion Control 3. 0, новую систему, которая переносит сложнейшие движения с референсного видео на изображения, тем самым их оживляя. Это не просто оживление картинки, это полный контроль над телом, руками, движением камеры и даже мимикой.

Найти Cle Motion Control можно на сайте клинга по вкладке Generate. И вот тут вот сверху выбираем Motion Control. Как вы могли понять, это система, которая берёт референсное видео, берёт референсную картинку и оживляет эту картинку с помощью движений из этого видео. Основные возможности - это движение всего тела, движение рук, в частности пальцев, синхронизация движения лица, в том числе и мимики. И всё это в замечательном разрешении 1080p. Для начала давайте попробуем сделать какое-нибудь прикольное танцевальное видео. Я нашёл

на Ютубе первый попавшийся ролик, обучающий, как танцевать шаffл, и скачал его себе на комп. И после этого обязательно мы отматываем видео в назад, жмём двумя кнопками, два раза и сохраняем кадр из видео, потому что первый кадр нам далее понадобится. В целом, можно обойтись и без него, но если мы хотим сохранить максимальную точность движений, то лучше всё-таки воспользоваться и поработать с этим кадром. Что мы с ним делаем? Мы заходим в любую модель для генерации, точнее

для редактирования изображений. В своём ролике я буду использовать нанобана. Закидываю эту картинку, первый кадр, и фотографию персонажа, которого нам нужно вставить. Затем пишем промпт, замени женщину на Шрека. Заменяется. После этого я понял, что разрешение плоховато. Написал: "Давай-ка upscale, много артефактов". Получился вот такой очаровательный Шрек. Шрек, как вы видите, не совпадает по силуэту с исходным изображением. У него больше голова, усики, больше руки. В целом вместо Шрека мог бы быть какой-нибудь огромный рыцарь в доспехах или, наоборот, какой-нибудь лилипут. Это неважно, потому что модель сохраняет структуру тела и переносит это на новое изображение, которое мы подгружаем. Собственно говоря, давайте это и сделаем. Загружаем нужное нам видео. Загружаем нужную нам картинку. И когда

первый кадр видео полностью совпадает с кадром, который мы загружаем, ээ рекомендую выставлять Character orientation matches Video. Этот режим намного более точно переносит все движения. Если же мы хотим, например, поменять угол движения камеры или нам важно, чтобы по какому-то другому параметру новое видео отличалось от оригинального, за исключением того, как выглядит персонаж или фон. Короче, если мы дописываем промпт, который как-то меняет движение в этом видео, либо если это изображение сильно отличается от первого кадра видео, то лучше ставить Character orientation Mates image. Также замечательная функция - это распознавание лица, про которую мы поговорим чуть далее. Пока что лицо я отключаю, промта никакого не пишу и жму generate. У меня получается вот такая красота.

Шрек узнаваемый персонаж. Он есть в датабейзах, поэтому его лицо в целом трудно испоганить. Ну и вообще трудно испоганить лицо Шрека - это всё-таки Шрек, хотя кто-то умудряется. Если же мы создаём видео с каким-то нашим персонажем, когда очень важно, чтобы он был похож между разными генерациями, например, когда мы создаём вот аккаунт от какой-то AI инфлюенсерши для обучения танцам. В таком случае нам важно, чтобы лицо было стабильно. И это можно сделать. Вот, например, у меня есть такой персонаж, замечательная азиатская девчонка. И на нашем недавнем интенсиве по AI видео я как раз-таки рассказывал, как делать вот такие матрицы персонажей. В целом это замечательный способ, как сохранить стабильность, как сделать так, чтобы между разными генерациями всегда было понятно, как выглядит персонаж, например, со всех сторон, либо в отдалении, либо в приближении, наоборот. Кстати, скоро у нас стартует новый поток по и видео, где мы будем разбирать всё это добро и намного больше. Мы поговорим и про клинк, и про другие нейросети. И придут к нам классные спикеры, которые будут рассказывать, делиться своими workflow, своими успешными кейсами, своими ошибками. В общем, у нас будет 2 недели очень плотной работы, где мы все вместе будем создавать свои проекты, делать свои видео, будь то реклама, какие-то трейлеры, продуктовые видео для маркетплейсов, даже видеоклипы, короче, любой контент, который придёт вам в голову. У нас будет общий канал с полезной информацией, чат, где можно будет пообщаться, задавать нам вопросы. Также каждый день у нас будут эфиры, на которых мы будем рассказывать какие-то полезные темы, вы будете задавать вопросы, будем отслеживать прогресс, будут домашки, и по итогам 2ву недель я надеюсь, что у всех получатся свои продукты, свои проекты, какие-то видосы. В общем, то, что вы хотите сделать, предлагаю доделать за ближайшие 2 недели. Если же вы смотрите это видео позже, то по той же ссылке в описании вы найдёте уже готовый переоформленный курс, который будет содержать в себе уже существующие уроки по и видео, которых у нас накопилось достаточно много. Плюс мы пересоберём наш новый интенсив, там будет чуть меньше информации, потому что не будет созвонов, не будет чата, будут только эфиры, переоформленные уроки, промпты. В целом вы упустите по большей части возможность поговорить, пообщаться. И такой пинок мотивации, то есть мотивация уже будет на вас. Такой вот усиленной двухнедельной работы, к сожалению, вне потока не будет. Так вот, это вот я всё делаю во фрипике. Вам это делать вообще не обязательно. Я просто в

том же чате после Шрека закидываю картиночку и говорю: "Замени его на эту женщину". Он неплохо заменяет. Мы просто заменяем картиночку и после этого добавляем сюда лицо, потому что, как мы помним, нам важно сохранить лицо. Клинги для этого есть замечательная штука elements, которая позволяет создавать, на самом деле, не только лица, но в данном случае нам нужна стабильность именно лица. Можно это сделать из видео 3 тире8 секунд, где вы будете поворачивать как-то голову, показывать мимику какую-то, но это излишнее. Мы в целом можем сделать такое же видео с нашей моделью, но, по мне намного прикольнее, чтобы модель понимала, как мы выглядим со всех сторон. Для этого мы загружаем изображение со всех сторон. Выбрали девчоночку, загрузили. После этого у нас есть две возможности. Либо мы можем просто загрузить ещё 1 тиретри изображения, которые у нас уже есть. У меня они есть. Если же у нас нету изображений, то мы можем изгенерировать их прямо внутри клинга, нажав кнопочку AI мультишот. У нас, как вы видите, генерируются мультишоты. Тут они, к сожалению, в разной одежде, но тут это не так важно, потому что эта функция и сохраняет именно стабильность лица. При этом оно, ну, классно. Смотрите, как работает. Я всё же загружу свои картинки, потому что они показывают модели с других ракурсов. Плюс можно выбрать какой-то голос из их библиотеки, либо загрузить свой голос. Для этого нужно будет загрузить сюда видео длительностью до 30 секунд. Но зачем это сейчас делать? Мы делаем всё-таки танцевальное видео. После этого пишем какое-то имя и жмём Generate. Вот моя моделька, мы её тут оставляем. После этого у нас генерируется вот такое классное видео. И обратите внимание на то, как лицо похоже на оригинал. Тут, в отличие от примера со Шреком, видели, она даже волосы классно поправила, потому что, ну, у Шрека нет волос, нечего ему там было поправлять. В примерах от клин они показывают разницу, есть ли у нас вот этот элемент биндинг

когда мы прикрепляем лицо, либо нет. Например, если референсное изображение, на котором лица вообще не видно. Но на самом деле на любом референсном изображении не видно всех как бы сторон лица, всех сторон головы, точнее будет сказать. Поэтому, подгружая туда референс, на котором лицо видно полностью, мы делаем так, что на генерируемых изображениях лицо будет отображаться правильно, как нам нужно. Так вот, с референсом. Так вот, без референса. Абсолютно другая вот от нужной нам девушка. Точно также я попытался воссоздать знаменитый мем. И посмотрите, какая разница. Это с референсом. Без референса получается вот так. Это уже вообще на меня не сильно похоже. Из проблем на двух последних видео вы могли заметить, что почему-то вспышки фотоаппаратов-то не фотографируют. Давай, вообще-то толпа как-то замерла. Поэтому иногда нам всё-таки нужно дописывать промпт, чтобы конкретизировать, что мы хотим видеть помимо переноса движения с оригинального видео. Поэтому немножечко дописав промпт, просто человек оборачивается, а на заднем фоне попарацы делают фотка, вспышки камер и тому подобное. Про человек оборачивается даже можно было бы на самом деле не дописывать, потому что, ну, движение оно перенесётся в любом случае. сразу же добавляются вспышки камер. Хоть иногда и немножечко криво, но, в общем, с какой-то попытки у вас получится хорошо. Как итог, у нас получается вот такое вот замечательное видео. И на самом деле, пока я его делал, я столкнулся с рядом проблем. в частности, то, что вот вторая половина вообще

непригодна для того, чтобы использовать Motion transfer, потому что у нас получается вот такое вот такое вот. Либо если мы выбираем character orientation mates image, то есть более свободное движение камеры, у нас получается что-то вот такое вот. И, как вы понимаете, это вообще не соотносится с тем, ну, что мне нужно. Мне нужно просто в ме заменить одно лицо на другое. Поэтому я воспользовался другой функцией, про которую я подробно говорить не буду. У нас был целый ролик про эту функцию. И вот, используя CLН омнимо модель, можно уже получить крутой качественный результат. Думаю, ещё одним важным дополнением будет сказать о том, как же я эту девчонку переодел в бикини. Вы можете столкнуться с несколькими

проблемами, если будете это делать, например, в чате GPT либо внутри Gemini. Они просто будут отказываться. Для этого нам нужен какой-то сторонний провайдер. Из забавного, нанобана, то есть Gemini в API, то есть через фрипик, замечательно мне всё согласилось сделать. Также, конечно же, справился замечательно Грок, хоть немножко и изменил ракурс. Ну и лучше всех, конечно же, справился с Сидрим. Единственный минус в том, что, ну, лицо как-то немножечко поплыло, но я закинул и эту картинку, естественно, указал модель лица, которую мы с вами сделали, и у меня получилась вот такая красота. Если же выбрать Character orientation matches Image, получается уже вот это. Как вы видели, движения тут чуть-чуть отличаются от оригинального видео. Тем не менее, благодаря движению камеры всё тело попадает в кадр, что очень классно. Ну и последнее, о чём я расскажу - это ограничения, которые, естественно, тут, как и везде, есть. Во-первых, цены. Клинк в целом радует достаточно хорошими ценами, и самая низкая цена - это 9

долларов в месяц. На ней вы спокойно сможете потестить модель. В целом сможете даже какое-то количество задач выполнить. Если вы хотите создавать какой-нибудь ээ канал, котором будете выкладывать ежедневные ролики, то вам понадобится скорее уже Pro либо Prпмьр-версия. Но Pro, скорее всего, вам хватит, если вы не будете совершать слишком много ошибок. Также токены, естественно, можно докупать поверх. А помимо этого, в описании к этому ролику вы найдёте промокод, если что мне за это не платили, по которому при подписке на клинк вы сможете в первый месяц получить дополнительно плюс 50% токенов, но не более 5. 000. Также длительность загружаемого видео может быть от 3 до 30 секунд. Если же вы жмёте на character orientation matches image, то длительность уменьшается до 10 секунд. Плюс в этом режиме, к сожалению, вы не сможете использовать модель лица, но компания обещает, что скоро это изменится. В общем, stay tuned. Также на видео не должно быть больше одного человека. Конечно, они могут быть, но, как вы видели, в этом вот результате, в общем, всё получается достаточно плачевно в таком случае. Каждому сзади там нужно будет прописывать в идеале движение тогда, либо они просто вот будут как-то замирать. В общем, пока что эта модель переносит движение одного человека. Если вам нужно с такими оживлёнными сценами работать, будет лучше работать омнимодель, но она будет чуть хуже, конечно же, переносить движение и мимику вашего персонажа. Вот такой вот получился гайд. Если он был вам полезен, то буду благодарен за лайк, подписку и комментарий. Также не

забывайте про наш новый поток и контентмекеer, который стартует уже вот-вот уже стартует, либо уже стартовал, и тогда там будет курс. Ну а ещё каждое воскресенье на этом канале выходят новости нейросетей, где мы обозреваем самые интересные релизы, которые накопились за прошедшую неделю. Поэтому увидимся в это воскресенье. С вами был Игорян. Пока.