Как устроен перевод видео
Это не вторая главная «перевести видео». Здесь записан способ, которым собран пример Lauren Tan и которым идёт очередь своего файла.
Порядок
- Распознавание речи моделью small на видеочипе. Тайминг — не текст для голоса.
- Склейка английского в один текст. Читать абзац, не карточки сегментов.
- Русский абзац целиком, обычная орфография. Потом вычитка вслух.
- Нарезка: фраза не длиннее окна, 12 знаков на секунду. Если длиннее — короче абзац, не быстрее голос.
- Озвучка Алёной только нарезанных фраз. Плюс ударения для Яндекса в субтитры не попадает.
Куски Whisper по отдельности в синтез не отдаём: получается рваная речь. Английский фон под русским голосом не подмешиваем.
Цифры с живого прогона
Окна по 20 секунд, запас около 40 секунд впереди просмотра. Свой ролик — до 15 минут и 120 МБ. Пример на сайте: 54 минуты, голос Алёны, субтитры внутри файла. Ролик 12:10 на пробе занял 741 секунду стены, голос — 3,15 ₽ по тарифу Яндекса.
Считать перевод на домашней машине оператора, не в браузере посетителя. Если машина не на связи, кнопка на инструменте закрыта.