Дослідники з Google оприлюднили свої плани щодо нової моделі дифузії в часі та просторі під назвою Lumiere, яка перетворюватиме текст або зображення на створене штучним інтелектом (ШІ) реалістичне відео з можливістю редагування за запитом.
Lumiere створено для зображення «реалістичного, різноманітного та узгодженого руху» через те, що він називає своєю «архітектурою Space-Time U-Net». Це миттєво генерує всю тривалість відео за один прохід моделі.
Google just made an incredible AI video breakthrough with its latest diffusion model, Lumiere.
2024 is going to be a massive year for AI video, mark my words.
Here's what separates Lumiere from other AI video models: pic.twitter.com/PulSjVZaCp
— Rowan Cheung (@rowancheung) January 25, 2024
У статті дослідники пояснили:
«Завдяки застосуванню як просторової, так і (що важливо) тимчасової понижувальної та підвищуючої дискретизації та використання попередньо навченої моделі дифузії тексту в зображення, наша модель вчиться безпосередньо генерувати повнокадрове відео з низькою роздільною здатністю шляхом його обробки.у множинному просторово-часовому масштабі».
Це означає, що користувачі можуть вводити текстові описи того, що вони хотіли б бачити як відео, або завантажувати нерухоме зображення з підказкою та генерувати динамічне відео.
За даними газети, користувачі проводять паралелі з тим, що Lumiere схожий на ChatGPT, але для створення тексту та зображень у відео, стилізації, редагування, анімації тощо.
Хоча інші відеогенератори зі штучним інтелектом, такі як Pika і Runway, уже існують, дослідники кажуть, що їхній однопрохідний підхід до вимірювання часових даних, пов’язаних із генерацією відео, є новим.
За темою: штучний інтелект вводить в оману виборців і політиків напередодні виборів у США 2024 року — «Я думав, що це правда»
Хіла Чефер, студентка-дослідник, яка працювала над моделлю з Google, опублікувала приклад можливостей моделі на X:
Lumiere's key observation-
Instead of generating short videos and temporally upsampling them, we perform joint spatial and *temporal* downsampling– increasing both length and quality of the generated videos pic.twitter.com/vTh6dtwcPD— Hila Chefer (@hila_chefer) January 24, 2024
Люм’єр навчався на наборі даних із 30 мільйонів відео та текстових підписів, хоча не було жодної згадки про джерело відеоданих – гаряча тема у світі штучного інтелекту та авторського права. На даний момент модель може генерувати 80 кадрів зі швидкістю 16 кадрів в секунду.
Користувачі X називали цю розробку від Google «неймовірним проривом», «найсучаснішим» і навіть припускали, що генерація відео «зійде з розуму» наступного року.
Googles new video model Lumiere can stylize motion by looking at a single image, and it looks pretty good.
Generative video is gonna get crazy this year you guys
pic.twitter.com/x1hNxpdHXR
— Nick St. Pierre (@nickfloats) January 24, 2024
