Мануал: создаем качественный Lip-sync в креативах

Поиск качественного исходника

Поиск качественного исходника – ключевой этап в создании реалистичного дипфейк-креатива. Чем лучше исходный материал, тем более натурально будет выглядеть итоговое видео.

Критерии качественного исходника:

• Высокое разрешение: Чем выше разрешение видео, тем детальнее можно будет манипулировать изображением.
• Стабильная камера: Отсутствие дрожания и резких движений камеры облегчает процесс создания дипфейка.
• Хорошее освещение: Равномерное освещение без резких теней позволяет получить более качественный результат.
• Нейтральный фон: Однотонный или размытый фон упрощает процес наложения текста на губы.
• Прямой взгляд в камеру: Прямой взгляд облегчает процесс наложения нового звука.

Где искать качественные исходники:

• YouTube: Огромная база видео, но качество может сильно варироваться. Ищите каналы с профессионально снятым контентом, например, интервью, блоги или обучающие видео.
• Vimeo: Платформа с более высоким качеством видео, чем YouTube. Здесь можно найти профессиональные видеоролики, короткометражки и музыкальные клипы.

Социальные сети:

• TikTok: Здесь можно найти множество коротких видео с людьми, снимающими себя на камеру.
• Instagram: В Instagram много видео с блогерами и инфлюенсерами, которые часто снимают качественный контент.

Для добавления разных перебивок можно использовать эти сервисы: Pexels, Pixabay, Freepik, Unsplash.

• https://www.pexels.com/
• https://pixabay.com/
• https://www.freepik.com/
• https://unsplash.com/

Эти сервисы являются отличными ресурсами для поиска бесплатных изображений и видео, которые можно использовать в качестве вставок в различных проектах.

Важно! При поиске исходников лучше всего использовать местный язык исходника, это упростит поиск и выдаст больше результатов.

Если вы столкнулись с проблемой поиска подходящего исходника в хорошем качестве для создания дипфейка, не отчаивайтесь! Современные технологии искусственного интеллекта предлагают инновационные решения. Одним из таких инструментов является Topaz Video AI.

Подготовка аудиодорожки

Вырезаем звук ведущего в Adobe Premiere Pro для создания качественной озвучки дипфейка.

Для создания реалистичного дипфейка необходимо не только качественное видео, но и подходящий аудиосопровождение. Одним из способов получения исходного аудио является вырезание фрагмента голоса ведущего из исходного видео. Adobe Premiere Pro – мощный инструмент для выполнения этой задачи.

Пошаговая инструкция:

1. Импорт видео в Premiere Pro: 
   • Запустите Adobe Premiere Pro.
   • Перейдите в меню “File” -> “Import” и выберите исходное видео.
2. Создание новой последовательности: 
   • В проекте создайте новую последовательность, соответствующую параметрам вашего видео (размер кадра, частота кадров и т.д.).

3. Разделение видео и аудио: 
   • На таймлайне выделите видеоклип и нажмите правой кнопкой мыши.
   • Выберите “Unlink” для разделения видео и аудиодорожек.

4. Выделение нужного фрагмента:
   • Переместите плейхед на начало 5-секундного отрывка и установите точку входа (In point).
   • Переместите плейхед на конец отрывка и установите точку выхода (Out point).
5. Вырезание фрагмента:
   • Нажмите Ctrl+K (Cmd+K на Mac) или выберите в меню “Edit” -> “Split Clip at Playhead”.

6. Сохранение аудио: 
   • Выделите вырезанный аудиоклип.
   • Перейдите в меню “File” -> “Export” -> “Media”.
   • Выберите формат экспорта (WAV или AIFF рекомендуется для лучшего качества) и укажите место сохранения файла.

Удаление посторонних шумов

Если в звуковой записи есть посторонние шумы, Adobe Podcast поможет улучшить ее качество. Adobe Podcast — это отличный инструмент для улучшения качества звука, особенно когда речь идет о шумах и фоновых помехах. Его встроенный искусственный интеллект позволяет быстро и эффективно очистить аудиозапись, делая ее более профессиональной.

Почему Adobe Podcast так хорош для удаления шумов?

• Простота: Вам не нужно быть звукорежиссером, чтобы использовать эту функцию. Все делается в несколько кликов.
• Эффективность: Искусственный интеллект отлично справляется с различными типами шумов: фоновыми, ветром, шумом от техники и т.д.
• Скорость: Обработка аудиозаписи занимает считанные минуты.

Как использовать Adobe Podcast для удаления шумов:

1. Загрузите свою запись: После регистрации на платформе Adobe Podcast загрузите аудиофайл, который хотите обработать.
2. Выберите инструмент улучшения: Найдите функцию, которая отвечает за улучшение качества звука. Обычно она называется “Enhance Speech” или что-то подобное.
3. Запустите обработку: Нажмите кнопку “Обработать” и подождите несколько минут. Искусственный интеллект проанализирует вашу запись и автоматически удалит шумы.
4. Прослушайте результат: После завершения обработки прослушайте результат. Если вас все устраивает, можете сохранить файл.

Клонирование голоса и генерация речи

Теперь давайте разберемся, как использовать ее в ElevenLabs – онлайн-сервис, который позволяет создавать реалистичные голоса с помощью искусственного интеллекта.

Синтез речи, замена и клонирование голоса в нейросети Elevenlabs онлайн: https://cpa.rip/services/elevenlabs-speech-synthesis/

1. Загрузка аудиозаписи в ElevenLabs:
   • Регистрация: Если у вас еще нет аккаунта на ElevenLabs, зарегистрируйтесь. Процесс обычно довольно простой и интуитивно понятный.
   • Выбор проекта: Создайте новый проект или выберите существующий.
   • Загрузка файла: Найдите на своем компьютере обработанную аудиозапись (без шумов) и загрузите ее в проект.

2. Создание модели голоса:
   • Анализ аудио: ElevenLabs проанализирует загруженную запись и извлечет из нее уникальные характеристики голоса: тембр, интонацию, произношение и т.д.
   • Создание модели: На основе анализа будет создана модель голоса. Эта модель представляет собой цифровой профиль, который будет использоваться для генерации новой речи.

3. Ввод текста:
   • Текстовое поле: Найдите текстовое поле в интерфейсе ElevenLabs.
   • Ввод текста: Введите текст, который вы хотите, чтобы сгенерированный голос произнес.
4. Генерация речи:
   • Запуск генерации: Нажмите кнопку “Generate” или аналогичную.
   • Прослушивание: После завершения процесса вы сможете прослушать сгенерированную речь. Голос будет очень похож на голос на исходной записи, но будет произносить ваш новый текст.
5. Сохраняем готовый результат.

Синхронизация аудио и видео

Далее готовый звуковой файл следует импортировать в Adobe Premiere Pro и синхронизировать с нужным фрагментом видео, где присутствует персонаж на которого будет накладываться липсинг. 

Если длительность видео меньше, чем звукового файла, необходимо дублировать видеофрагмент до тех пор, пока он не станет равным по длительности звуку. Также если в речи персонажа после озвучки есть большие паузы их нужно вырезать чтобы звук идеально ложился на губы.

Более подробное объяснение:

1. Импорт аудио:
   • Открываем проект: Запускаем Adobe Premiere Pro и открываем тот проект, в который хотим добавить звук.
   • Добавляем аудио: Перетаскиваем подготовленный звуковой файл прямо на временную шкалу проекта или используем меню “Файл” -> “Импорт”.
2. Поиск и выделение нужного фрагмента видео:
   • Просмотр видео: Просматриваем видео и находим тот фрагмент, где присутствует персонаж.
   • Создание маркеров: Для удобства устанавливаем маркеры в начале и конце нужного отрезка видео.
3. Синхронизация аудио и видео:
   • Размещение аудио: Помещаем импортированный звуковой файл на аудиодорожку, расположив его начало точно под началом нужного фрагмента видео.
   • Корректировка длительности: Если необходимо, растягиваем или сжимаем звуковой файл, чтобы его длительность точно соответствовала длительности видеофрагмента. Используем для этого инструменты масштабирования на временной шкале.
   • Точная подгонка: Для более точной синхронизации используем инструмент “лупа”, чтобы увеличить масштаб временной шкалы и визуально сопоставить звуковые волны с движениями губ ведущего.
4. Дублирование видео (при необходимости):
   • Выделение фрагмента: Выделяем тот фрагмент видео, который нужно дублировать.
   • Копирование и вставка: Копируем выделенный фрагмент (Ctrl+C) и вставляем необходимое количество раз (Ctrl+V).
5. Дополнительная настройка:
   • Регулировка громкости: При необходимости регулируем громкость звукового файла, чтобы он хорошо сочетался с громкостью видео.
   • Применение эффектов: Можем применить различные звуковые эффекты для улучшения качества звука или создания особых эффектов. К примеру если ведущий находится на улице то нужно добавить звуки улицы на фон. Если ведущий говорит в зале то нужно добавить эхо. Эхо — это один из самых популярных звуковых эффектов, который может придать видео глубину и атмосферу.

Добавление аудиоэффектов

В Adobe Premiere Pro добавить эхо очень просто. Давайте разберемся, как это сделать.

1. Открытие проекта: Запустите Adobe Premiere Pro и откройте проект, в котором хотите добавить эхо.
2. Выделение аудиоклипа: На временной шкале выделите тот аудиоклип, к которому вы хотите применить эффект эхо.
3. Добавление эффекта: 
   • Панель эффектов: Откройте панель “Эффекты” (Effects).
   • Поиск эффекта: В строке поиска введите “Echo” или “Reverb” (реверберация).
   • Перетаскивание на клип: Найдите нужный эффект и перетащите его на аудиоклип на временной шкале.
4. Настройка эффекта:
   • Панель эффектов: Откроется панель с настройками эффекта.
   • Основные параметры:
     • Delay: Задержка между исходным звуком и его повторением (эхом).
     • Decay: Скорость затухания эха.
     • Feedback: Количество повторений эха.
     • Low-cut: Частота среза низких частот.
     • High-cut: Частота среза высоких частот.
   • Экспериментирование: Попробуйте разные значения этих параметров, чтобы достичь желаемого результата.

Перекрытие посторонних лиц

1. Посторонние лица в кадре: Если на видео есть посторонние объекты, их можно закрыть фигурами, чтобы звук не накладывался на губы другого человека. Затем эти фигуры уберутся с помощью маски в After Effects.
2. Сохраняем видео без звука и переходим к следующему шагу. Если на видео есть посторонние то сохраняем два образца с перекрытием посторонних и без.

Создание дипфейка

Мы загружаем наше видео и аудиофайл в платформу lipsync. Система автоматически синхронизирует движение губ на видео с аудиодорожкой. После обработки мы получаем готовое видео с реалистичной мимикой, синхронизированной с произносимыми словами.

На сайте можно выбрать разные модели генерации и сравнивать их в реальном времени.

Монтаж в After Effects

Отлично! Вы уже создали свой lipsync. Теперь давайте обсудим, как можно улучшить и разнообразить ваше видео.

1. Добавление перебивок:
   • Создание перебивок: Вы можете использовать готовые перебивки с бесплатных сайтов про которые шла речь в начале статьи. Они особенно важны когда нужно перекрыть момент где плохо наложились губы на видео.
   • Применение переходов: Для этого подойдет плагин Mister Horse. Есть много бесплатных анимаций переходов.
2. Добавление эффектов:
   • Эффекты: В разделе “Эффекты” вы найдете широкий спектр инструментов для улучшения вашего видео. К наиболее часто используемым относятся: Gaussian Blur: Этот эффект позволяет размыть изображение, создавая эффект глубины резкости или смягчая резкие переходы. Glow: Эффект свечения, который добавляет яркости и привлекательности отдельным элементам видео. Drop Shadow: Создает тень под объектом, придавая ему объем и глубину. Эти эффекты являются универсальными и могут применяться для решения различных творческих задач.
   • Применение эффектов: Перетащите нужный эффект на нужный слой на таймлайне. Откроется окно настроек эффекта, где вы можете регулировать параметры.
3. Убираем перекрытые лица посторонних с помощью маски

Данные скриншоты являются примером:

1. Импорт видео в After Effects:
   Поместите оба видео на таймлайн: обычное видео на верхнем слое, а видео с перекрытием — на нижнем.
2. Выбор верхнего слоя:
   Выберите слой с обычным видео (тот, что выше).
3. Создание маски:
   Выберите инструмент Перо (Pen Tool) или фигуру из панели инструментов.
   Обведите область (например, лицо), которое хотите сделать прозрачным на верхнем видео. Это создаст маску на верхнем слое.
4. Инвертирование маски:
   В свойствах маски, в панели Timeline или в разделе Mask (в настройках слоя), поставьте галочку на Inverted. Это сделает область, которую вы обвели, прозрачной, и через неё будет видно нижний слой.

Выполнив эти пункты вы получите дипфейк без посторонних фигур.

Рендеринг:

При создании дипфейков размер готового видео играет важную роль. Для уменьшения размера файла советуем использовать –  Voucoder

Субтитры

После завершения всех этапов редактирования необходимо добавить субтитры. Одним из популярных инструментов для этого является сервис – Veed.io

1. Загрузите видео
   • Перейдите на сайт Veed.io и нажмите на кнопку “Загрузить видео”.
   • Выберите видеофайл, к которому вы хотите добавить субтитры.

2. Добавьте субтитры
   • Veed.io, предлагают функцию автоматического создания субтитров. Но имейте в виду, что такая транскрипция может потребовать ручной коррекции.
3. Настройте внешний вид субтитров
   • Выберите шрифт, размер, цвет и другие параметры оформления субтитров.
   • Экспериментируйте с различными стилями, чтобы найти наиболее подходящий для вашего видео.
4. Экспортируйте видео
   • После того, как вы будете довольны результатом, нажмите кнопку “Экспортировать”.
   • Выберите нужный формат видео и качество.

Заключение

Подитожим нашу статью: в статье мы подробно рассказали о процессе создания дипфейков с качественным липсингом, включая ключевые методы, инструменты и этапы работы. Как правильно настроить материалы, искать подходящие исходники, где находить перебивки, какие эффекты добавлять, а также как обеспечивать высокое качество финального результата.