Нужный жест бывает проще показать. Вы сняли, как человек поворачивается и машет рукой, а теперь хотите повторить это движение с другим персонажем. Для такой задачи у Kling есть Motion Control.
На входе нужны два материала: изображение будущего героя и видео с исполнением. Модель соединяет внешность из первого с движением из второго.
Фотография задаёт героя, видео — движение
Выберите короткий ролик, где действие хорошо видно от начала до конца. Один спокойный поворот полезнее для первой пробы, чем танец с быстрыми сменами ракурса.
Не просите в тексте движение, противоположное референсу. Если человек в видео идёт вправо, а в запросе должен идти влево, у модели окажутся две разные инструкции. Другие способы работы собраны в обзоре Kling.
Согласуйте кадрирование
Портрет по плечи плохо подходит к ролику, где человек танцует в полный рост: нижнюю часть тела придётся выдумывать. Подберите изображение с похожим масштабом героя.
Для жеста оставьте место над плечами и по бокам. Если рука в референсе выходит за край, начало или конец движения может потеряться и в результате.
Как сохранить узнаваемость
Лицо должно хорошо читаться на исходнике. Для поворота особенно полезен снимок без сильной тени, перекрытий и мелких деталей перед глазами.
В Motion Control 3.0 Kling также описывает привязку лицевого элемента. Она помогает задать лицо, но одежду, очки и реквизит всё равно нужно показать на изображении героя. В Ubicomb есть режимы V3 Pro и Standard для переноса движения.
Пример с приветствием
Возьмите видео, в котором человек поднимает руку, коротко машет и опускает её. Подберите изображение персонажа с видимой рукой и свободным местом вокруг.
Запрос: «Перенеси приветственный жест из видео на персонажа с изображения. Сохрани его лицо, одежду и фон. Рука поднимается, выполняет короткое приветствие и возвращается вниз. Новых предметов не добавляй».
Посмотрите движение целиком
Сначала смотрите результат с обычной скоростью. Жест должен читаться как одно действие, с началом и завершением. Красивый стоп-кадр не покажет, что кисть резко перескочила в другое положение.
Затем остановитесь на сложных моментах: рука проходит перед лицом, герой поворачивается, касается предмета. Именно там чаще заметно, что движение и изображение плохо сочетаются.
Когда стоит заменить исходник
Если рука всё время скрыта, длинный промпт не покажет модели недостающий жест. Найдите более ясный фрагмент или снимите движение ещё раз.
То же относится к фотографии: для шага в сторону лучше взять полный рост, а для работы с предметом — кадр, где видны обе руки. Подготовку целой сцены разбираем в гайде по первому AI-ролику.
Что исправить в следующей попытке
Рука обрезается — дайте больше пространства. Лицо меняется на повороте — попробуйте более ясный портрет и спокойное движение. Предмет отрывается от ладони — выберите видео, где захват хорошо виден.
Меняйте по одной причине: сначала кадрирование, затем движение, затем детали образа. Тогда следующая попытка будет проверять конкретное исправление.
