Генерація, живі футажі й монтаж: відкриті інструменти для ШІ-відео

Один промпт уже може дати окремий ролик. Але зараз зʼявився значно цікавіший шар роботи: згенеровані сцени можна поєднувати з живими футажами, програмною анімацією, титрами, звуком і звичайним монтажем.

Це розвʼязує руки креатору. Можна зняти людину, доробити потрібні кадри генерацією, намалювати переходи кодом, додати точну продуктову графіку й віддати частину монтажу агенту. Результат лишається проєктом, який можна відкрити й поправити руками.

Саме тому мені зараз цікавіші відкриті бібліотеки й GitHub-проєкти навколо відео, ніж чергове порівняння генераторів. Вони дають кодовому агенту інструменти для роботи з кожним шаром ролика.

Opus 5.5 тут показовий. Він не генерує відеокадри напряму. Він пише код, керує редактором, рендерить результат, дивиться на контрольні кадри й виправляє проєкт. Нова якість зʼявилася на стику кодової моделі та доступних інструментів.

Ось що вже можна зібрати.

Малювати відео кодом: p5.js і p5.brush

p5.js - безкоштовна JavaScript-бібліотека для творчого програмування. Вона малює форми, текстури, анімацію та інтерактивну графіку на вебполотні. p5.brush додає пензлі, штрихування й заливки, які можуть виглядати як туш, олівець або акварель.

Кодовому агенту можна дати сценарій, референси й правила стилю. Він напише сцени, розподілить рух у часі, відрендерить кадри через браузер і збере MP4 через FFmpeg.

Claude Animation Base показує готовий варіант такого кіта для Opus 5.5. Усередині є p5.js, p5.brush, правила анімації, набір емоцій персонажа, переходи, добірки контрольних кадрів і рендер у відео. Агент читає ці інструкції та використовує готові асети перед роботою над новими сценами.

Що з цим робити креатору:

• мальовані пояснювалки й музичні відео;
• переходи, титри й графічні вставки поверх живих футажів;
• анімації, які важко отримати стабільно від відеогенератора;
• власний візуальний стиль, зафіксований у коді й правилах.

p5.js не замінює монтажний редактор. Зате дає шар графіки, який можна згенерувати, перевірити по кадрах і додати до іншого відео.

Збирати моушн і відеошари кодом: Remotion і HyperFrames

Remotion створює відео в React. Код описує композицію, таймінги, текст, анімацію, аудіо й медіашари, а потім рендериться в MP4. У проєкт можна додати живе відео, згенерований кліп, запис екрана, субтитри та продуктову графіку.

Він стоїть поруч із p5.js та іншими кодовими бібліотеками, бо його головна сила - точна керована композиція. Remotion особливо доречний для продуктових роликів, UI, цифр, графіків, брендованих титрів і серій відео з різними даними.

Remotion також має офіційні скіли для кодових агентів. Вони пояснюють моделі, як створювати композицію, працювати з медіа, запускати превʼю й рендер. React-код лишається джерелом правди, тому людина може переглянути й змінити кожен елемент.

HyperFrames працює зі звичайними HTML, CSS і JavaScript. Усередині композиції можуть бути відеокліпи, аудіо, текст, Lottie, GSAP, Three.js та інші вебанімації. Браузер показує превʼю, а автоматизований Chrome разом із FFmpeg рендерять кадри у відео.

HyperFrames корисний, коли вихідний матеріал уже живе у вебі: сторінка продукту, графік, JSON із даними, інтерактивна демонстрація або анімований інтерфейс. Агент може прочитати ці джерела й зібрати з них відеокомпозицію без окремого монтажу кожного екрана вручну.

Монтувати живі дублі через агента: video-use

video-use починає з папки сирих відео. Агент транскрибує матеріал, читає репліки з таймкодами, переглядає вибрані фрагменти й пропонує план монтажу. Людина погоджує стратегію, після чого інструмент збирає склейки, субтитри, графіку та звук.

Це підходить для talking head, інтервʼю, туторіалів і серії дублів. Усередині можна використовувати FFmpeg для монтажу, Remotion для графіки й Manim для пояснювальної анімації. Згенерований додатковий план також можна покласти поруч із живим відео.

Тут агент працює як монтажний оператор із доступом до конкретних інструментів. Він може відібрати фрагменти й виконати технічну роботу, але вибір інтонації, темпу й фінальної версії лишається точкою людського погодження.

Правити один таймлайн руками й командами: Diffusion Studio та Velorn

Diffusion Studio зберігає композицію як код і синхронізує його з візуальним полотном. Пересунули елемент руками - змінився код. Відредагували код - оновився проєкт. Агент може аналізувати футажі, будувати сцени, додавати титри й готувати експорт, а людина бачить і править ту саму композицію.

Velorn ближчий до звичайного багатодоріжкового редактора. У ньому можна змішувати власні футажі, сток, субтитри, ефекти, звук і сцени з ComfyUI. MCP дає агенту доступ до перегляду кадрів, монтажу, генерації та експорту. Перед застосуванням змін агент може показати план.

У цьому класі інструментів найцікавіше те, що агент і людина працюють з одним проєктом. Не треба щоразу пояснювати правки через новий промпт до чорної скриньки. На таймлайні видно, який кліп стоїть на сьомій секунді, де починається титр і що саме агент збирається замінити.

Є й ціна локальності. Редагування у Velorn працює окремо, але генеративні функції зараз потребують ComfyUI. Важкі моделі можуть вимагати потужної відеокарти або хмарного провайдера. Безсмертне «поставте ще одну маленьку залежність» нікуди не поділося.

Перетворювати референс на формат: Hypit

Hypit бере готовий ролик як структурний референс. Агент аналізує футажі, репліки, додаткові плани, субтитри, ефекти й привʼязку монтажу до слів. Потім окремі частини можна замінювати: ведучого, тему, мову, продукт або набір матеріалів.

Це корисно, коли треба повторювати впізнаваний формат. Референс задає темп і композицію, а нові вхідні дані проходять через той самий воркфлоу. Генеративні моделі тут опційні. Частину відео можна зібрати з готових футажів, титрів, графіки й коду.

Важливий нюанс лежить у ліцензії. Модифікована Apache 2.0 дозволяє внутрішнє та клієнтське використання, але обмежує SaaS із окремими просторами для багатьох клієнтів і комерційну дистрибуцію без додаткової ліцензії. GitHub написав код. Юридичний відділ усе одно доведеться відкрити руками.

Збирати весь продакшен в одному контурі: OpenMontage

OpenMontage починає з теми або брифу й веде проєкт через дослідження, концепцію, сценарій, план сцен, асети, монтаж і композицію. Він може змішувати архівні та стокові футажі, згенеровані сцени, Remotion, Blender, FFmpeg, озвучення, музику й субтитри.

Це радше виробнича система для кодового агента, ніж один редактор. Тут важливо дивитися, як зберігаються джерела, бюджет, версії та точки погодження. Один відполірований деморолик нічого не скаже про проєкт із двадцятьма сценами й трьома раундами правок.

OpenMontage використовує AGPL 3.0. Якщо його код стає частиною комерційного продукту, умови ліцензії треба перевірити до інтеграції.

Як ці інструменти поєднуються в одному ролику

Уявімо 40-секундне відео про запуск функції.

Людина записує короткий вступ і демонстрацію продукту. video-use розшифровує дублі, пропонує склейки й готує чорновий монтаж. Потрібний додатковий план генерується окремою відеомоделлю. p5.js малює нестандартний перехід між живим кадром і демонстрацією екрана. Remotion додає точні титри, UI й фінальний CTA. У Diffusion Studio або Velorn людина бачить всі шари й поправляє таймінг руками.

Жоден інструмент не мусить робити все. Сильний результат зʼявляється, коли кожен отримує ту частину, для якої він створений.

З чого почати

Якщо потрібні мальована анімація, нестандартні переходи або власна графічна мова, почніть із p5.js і готового кіта на кшталт Claude Animation Base.

Для точного продуктового моушну, UI, даних і брендованих шаблонів дивіться на Remotion. Якщо зручніше мислити HTML, CSS і JavaScript, перевірте HyperFrames.

Для папки живих дублів протестуйте video-use. Для спільного таймлайна людини й агента підійдуть Diffusion Studio або Velorn. Якщо формат треба повторювати за референсом, дивіться на Hypit. OpenMontage має сенс тоді, коли потрібен повний виробничий контур.

Я б дала кожному кандидату той самий короткий бриф і подивилась на чотири речі: що він зробив сам, що можна поправити руками, які частини вдалося повторити й що лишилося після рендера крім MP4.

Я не запускала локальні рендери цих проєктів. Огляд описує заявлені можливості, структуру й ліцензійні межі за офіційними сторінками, репозиторіями та документацією. Висновків про стабільність, швидкість і якість результату тут немає.

Робочі нотатки про ШІ, агентів та інструменти я веду в Telegram-каналі Alina Runs Agents.

Генерація дала новий матеріал. Відкриті інструменти нарешті дали йому монтажний стіл.