В настоящий момент (обязательная оговорка, когда речь идеть про нейросети) для генерации одного изображения у AI уходит минимум секунда. В лучшем случае пол секунды. Для видео нам требуется как минимум 15 кадров в секунду (а лучше бы и все тридцать). Следовательно, создавать нейросетью видео в реальном времени и таким образом визуализировать музыку — невозможно.

Теперь, когда мы это поняли, давайте подумаем, как же это сделать.

[youtube https://www.youtube.com/watch?v=H0VSbMj_B4s?version=3&rel=1&showsearch=0&showinfo=1&iv_load_policy=1&fs=1&hl=ru-RU&autohide=2&wmode=transparent&w=584&h=329]

Кстати, эту статью я начал писать в ожидании начала концерта, на котором видеоинсталяция менялась от звуков музыки. Вот, как все прошло.

Проще всего понять способ генерации такого контента можно если представить двумерное сечение четырехмерного куба. Так думал я начать это описание, но потом решил, что это как-то слишком. Поэтому давайте так:

Чтобы визуализировать музыку ее нужно представить в виде некоторых параметров. Например, амплитуду волны на определенных частотах. Параметры могут быть самые разные и их может быть произвольное количество. Параметры меняются со временем, и каждому моменту времени должно соответствовать свое изображение. Зависимость генерируемого нейросетью изображения от параметра получить просто. Фактически мы задаем множество таких параметров при генерации. И есть такие параметры, при маленьком изменении которых картинка меняется тоже незначительно. На этом основаны многие скрипты для SD. Например, плагин shifting attention плавно меняет изображение при изменении веса того или иного токена в промпте. И именно такие параметры нам и нужны. Но, как мы помним, основная сложность заключается в том, что генерация этих кадров занимает гораздо больше времени, чем мы можем себе позволить. Выход из ситуации очевиден. Нужно сгенерировать возможные кадры заранее. Для каждого из возможных значений параметров. Например, Возьмем рисунок цветка. Один параметр будет заведовать его высотой, а другой — внешним видом. Например тем, насколько он похож на кляксу.


Изменение первого параметра


Изменение второго параметра

Так мы получаем набор изображений рассортированных по двум осям. Такой прямоугольник, каждая точка которого — это картинка. Картинки двумерные, поэтому в целом получается четырехмерный куб — тессеракт. Такой тессеракт и есть наша визуализация, потенциально содержащая все возможные варианты параметров. Во время звучания музыки, два параметра меняются, и эти два параметра в каждый момент времени задают конкретную картинку. Так музыка выделяет из тессеракта последовательность кадров, которая и выдает визуализацию. В реальном времени, заметим.

[youtube https://www.youtube.com/watch?v=la2GC8gnRVE?version=3&rel=1&showsearch=0&showinfo=1&iv_load_policy=1&fs=1&hl=ru-RU&autohide=2&wmode=transparent&w=584&h=329]

На этом видео можно увидеть, как меняются параметры, и как в итоге меняется изображение. В качестве параметров тут выбрана амплитуда на низких частотах и амплитуда на высоких.

Можно заметить, что реализовал я все это с помощью TouchDesigner.

Конечно же, все это надо подстраивать под конкретные инструменты.

[youtube https://www.youtube.com/watch?v=hr_2beAJc10?version=3&rel=1&showsearch=0&showinfo=1&iv_load_policy=1&fs=1&hl=ru-RU&autohide=2&wmode=transparent&w=584&h=329]

Итак, для создания визуализации создается тессеракт, содержащий картинки для всех возможных значений параметров, которые мы берем из музыки. Параметров может быть сколько угодно, но надо понимать, что 2 параметра на 100 величин — это 10 000 картинок. А 3 — уже сразу 1 000 000. У меня на генерацию тессеракта 100×100 уходило полторы суток.

Тессеракты могут быть самые разные по содержанию

[youtube https://www.youtube.com/watch?v=B3EoT9aDegw?version=3&rel=1&showsearch=0&showinfo=1&iv_load_policy=1&fs=1&hl=ru-RU&autohide=2&wmode=transparent&w=584&h=329]

Создание их — настоящий полноценный творческий процесс. Сейчас, как и любому нейросетевому видео, такой графике не хватает плавности. Очень сложно добиться максимальной близости двух соседних кадров с близкими параметрами генерации. Так что сейчас я работаю именно над этим.

https://blog.sirano.info/2023/05/vizualizaciya-muzyki-s-pomoshhyu-nejrosetej-v-realnom-vremeni/

В прошлой статье я рассказывал, как использовал нейросети в создании украшений. Сегодня расскажу, как с помощью нейросетей делал фильм для планетария.

В итоге этот фильм получил приз на фестивале купольных фильмов в Токио

Одной из моих целей было посмотреть, подходят ли нейросети для практического использования. Сейчас, когда работа закончена, сомнений в этом никаких нет, но тогда всё еще только начиналось, многие вещи было непонятно как делать. Более того, тогда, когда я начинал, и способов анимации практически не было. Можно было рисовать картинки по запросу, и это все.

Дополнительная сложность заключалась в том, что фильм был купольным, а значит нужна была проекция фишай. При попытке рисовать в фишайной проекции, миджорней (и SD) выдавал что-то похожее на нужную проекцию, неизменно добавляя к этому рыбу, или даже буквально глаз рыбы!

От рыб можно было избавиться с помощью негативных запросов, но качество панорамы все равно выходило неубедительным

Поэтому панорамы пришлось собирать старым дедовским способом. Склеиванием прямоугольных картинок и преобразованием получившегося с помощью полярных координат. Сами прямоугольные картинки я делал через Mijorney. Мне нужны были максимально длинные изображения, поэтому я задавал экстремальное соотношение сторон 16:1. К моему удивлению, неросеть не возражала, хотя, конечно такую пропорцию не выдавала. Но это был максимально вытянутый формат из возможных (тогда это была еще версия v3. V4 еще так не умеет)



Кстати, при сшивке я также использовал нейросеть DALL-E 2. Она оказалась удобной для склейки панорам.

Сейчас, когда работа закончена, появились удобные средства, которыми можно получить эквидистант и из него уже проекцию фишай. Например, сервис https://skybox.blockadelabs.com/ который генерирует360 панорамы по запросу, или LatentLabs360 — LORA для создания таких панорам в SD. Насколько спустя всего пару месяцев стало проще жить 😀

Просто создать панораму недостаточно. Даже в двухмерной мультипликации. Чтобы сцена жила, в ней должны быть объекты. Когда камера двигается, объекты двигаются относительно фона и друг-друга, так мы видим пространство. В обычной анимации достаточно расположить разные планы на разных слоях и двигать их с разной скоростью. В случае же сферического кино так, увы, не выйдет, поскольку у нас настоящее трехмерное пространство, и объекты размещены вокруг нас. Собственно, это и пришлось делать, плоскости с нарисованными объектами были расставлены вокруг камеры. Эти плоскости повернуты к камере, и когда она движется, они тоже поворачиваются вслед за камерой. Поэтому мы никогда не увидим такую плоскость с торца. К счастью, все это можно делать в AAE, и нет необходимости использовать 3D софт.

Есть и другой способ создания пространства. Добавление параллакса с использованием карты глубины. Именно так и был добавлен объем в интерьер хижины. Stable Diffusion умеет работать с нейросетью Midas, создающей карту глубины.



Ну и, конечно же, все пространство должно жить. Деревья колыхаться, пламя свечей дрожать от сквозняка, и так далее — все те мелочи, которые делают пространство реальным.

Вообще анимация в этом ролике была трех видов:

Классическая анимация, когда слои с объектами анимируются стандартными средствами — с помощью эффектов или марионеточной деформации. Так анимировались свечи, деревья, летящие птицы.
Анимация персонажа. Была сделана с помощью EbSynth. Чуть позже расскажу подробнее.
Анимация сновидений. Это тот вид анимаций, который нейросети умеют делать лучше всего. Поэтому выбор колыбельной для экранизацией нейросетью — очень удачный выбор. Одни образы перетекают в другие по мере смены параметров генерации и ключевых слов. Для этого к Stable Diffusion подключаются такие скрипты, как Deforum или Animation. Единственный недостаток — так можно создавать только сноподобные анимации или психодел.

Чуть подробнее расскажу про анимацию персонажа. Сложность состояла в том, что анимировать позу в то время нейросеть еще не умела. Сейчас с этим гораздо лучше, есть StableNet, в котором позу можно выставить с помощью манекена. А если анимировать манекен, то по этой анимации можно потом генерировать движущегося персонажа (все до сих пор не очень хорошо, например, на персонаже может меняться одежда или он будет «мерцать», но это гораздо лучше, чем ничего). Тогда же ничего подобного не было. И потому я использовал EbSynth.

Часто можно встретить утверждение, что EbSynth — это нейросеть. На самом деле, это не так, это вовсе никакая не нейросеть. Эта программа просто берет видео, смотрит как в нем двигаются одни пиксели относительно других, и переносит это движение на другую картинку. Та же марионеточная деформация, что в фотошопе.

Первым делом, я создал персонажа. Сгенерировал с помощью миджорней. Отдельной историей было заставить встать её в Т-позу (мы помним, это было в стародавние времена трехмесячной давности, когда такие задачи просто не решались)



После этого я сделал 3D модель с таким же силуэтом. И анимировал его в UE5. Таким образом, я получил последовательность кадров, с которой EbSynth смог снять движение.



К сожалению, EbSynth в силу своей природы, не может корректно переносить сетку деформации, если одни части объекта начинают перекрывать другие. Поэтому, пришлось разбить изображение на несколько слоев и анимировать их отдельно.

Так же анимировалась и маска



Какие выводы у меня осталисьпосле этой работы:

Использовать нейросети в творчестве — возможно
Хоть все и пугают, что нейросети заменят художника, в получающемся результате человека больше, чем нейросети
EbSynth можно использовать только для самых простых анимаций. Если вы будете использовать его для анимации движения персонажей, вам будет грустно и вы поседеете раньше времени.
Способы решения тех или иных задач с помощью нейросетей меняются каждый день. Если что-то не получается, идите спать, возможно завтра вашу задачу уже решит кто-то другой и принесет решение на блюдечке.

В целом это был интересный опыт, я понял как надо делать многие вещи, как многие вещи делать не надо. Ну и конечно же радует, что зрителям нравится результат. Вот сегодня пришло письмо, что ролик показали в школьном планетарии в Бразилии и дети — в восторге 😀

Посмотреть ролик можно тут. Только имейте ввиду, что это смотрится на куполе, и выглядит вот так:



https://blog.sirano.info/2023/03/12099/

Последнее время все больше думаю о нейросетях. И не только я. Вот, например, этот ажиотаж (долго подбирал слово, решил взять нейтральное) на АртСтейшен, когда художники протестовали против нейросетей. И многие боятся, что нейронки сейчас убьют художников как вид. Но все еще драматичнее.



Лет 10 назад я читал прогноз, что через 30 лет все в мире будут делать роботы. И видимо, это так. Художники — это первая ласточка. Роботы смогут заменить человека во всех профессиях. Вспомните, кем вы работаете, и осознайте, что в ближайшие десятилетия робот будет это делать лучше. Причем последними сдадутся дворники.

Такой мир не сможет стоять на тех основах, что стоит сейчас. И потому он неотвратимо измениться. В целом, тот мир будет лучше нынешнего, человек освободиться от «надо» и будет делать что хочет. Но переходный период может сопровождаться социальными потрясениями.

Но вернемся к художникам и их страхам (другие профессии все это ждет впереди). Одна из сторон говорит, что нейронки обесценят труд художников. Другие, что ничего с ними не станется. Но истина в том, что труд художника это несколько разных компонентов. И с разными составляющими будет происходить разное. И востребованы они по-разному. И не каждого художника интересуют все они. И значит, результаты для разных художников будут разными.

Например, есть потребность в иллюстрациям к статьям. И многие художники зарабатывают тем, что рисуют для стоков. Потом приходит в сток автор статьи и за три копейки покупает то изображение, что ему подходит. А сток из этих трех копеек одну или две отдает художнику. Причем качество этих картинок может быть произвольным. Я постоянно натыкаюсь на рекламу, «научитесь рисовать за три дня и зарабатывайте на этом»

Так вот, стоки от нейронок пострадают больше всего. Потому, что они делают именно это — по заданным ключевым словам выдают условно подходящие картинки. И художники, ориентированные на стоки станут не нужны. Это факт.



Есть более сложный уровень. Художники, рисующие на заказ. Скажем, обложки, или иллюстрации к книгам. Эти художники неизбежно начнут использовать нейросети как инструмент. Потому, что заказчику и с человеком-то сложно договориться, а с нейронкой — еще сложнее. И нужен будет посредник. Это будет работа, недоступная всем, поскольку создавать что-то конкретное с помощью нейросети — довольно сложный скил. Те, кто обучатся новым инструментам получат конкурентное преимущество. Для художников со своим уникальным стилем появяться даже новый вид деятельности. Они будут делать модели под конкретный стиль, которого еще нет у нейронок. И это будут весьма дорогие заказы, потому что будут требовать создания большого количества уникального контента. Уже сейчас некоторые хужожники создают модели из своих стилей — авторские модели. А потом будут разрабатывать стилистику под заказ.



Это то, что касается работ. И мы помним, что роботы освободят людей от необходимости зарабатывать поэтому давайте посмотрим, что произойдет с художниками не в плане заработка, а как с людьми искусства.

Одна из составляющих работы художника — это мастерство. Люди ценят то, во что вложено много труда. Мастерство самоценно. Фотореалисты делают то, что может сделать любой фотограф достаточно, но они делают это красками на холсте, и именно этот труд — ценен. В плане мастерства нейронки никак не повлияют на художников. Труд художников будет так же ценен, поскольку в случае мастерства важно именно КАК получена конкретная работы.

Есть еще коллекционные ценности. Я их не очень люблю, и не считаю особо осмысленными. Но именно стоимостью покупки работы коллекционерами привыкли мерить «цену» художника. Так вот. Коллекционные ценности не относятся непосредственно к искусству. В них не важно ни содержание ни форма, и вообще ничего, кроме невоспроизводимости. И потому на художников, которых покупают коллекционеры, неронки не повлияют никак. Но к реальным художникам добавятся нейронные. Я уверен, что коллекционеры быстро придумают, как приписать уникальность нейропроизведениям и составят свод правил уникальности. Принадлежность будет у владельца списка ключевых слов и зерна (не спрашивайте, влом объяснять). Ну и еще NFT какую-то добавят.

Ну, и, напоследок, самое вкусное. Содержание работ. Именно то, что составляет основной смысл искусства. То, что развивает человечество. И тут, та самая болевая точка, которая тригеррит многих художников. Дело в том, что многие делали и гордились работами типа «Звездные войны в стиле стимпанк». А такие задачи нейронки делают на раз. И это очень четкий критерий, говорит ли художник что-то новое. Нейронка делает новое, но это новое построено только на том, что нейронке показали. ИИ работает только на тех смыслах, что в нее положили. Комбинируя их. То есть ее новое — экстенсивно. Беда в том, что творчество многих художников — тоже экстенсивно. Но до сих пор они об этом не знали. И думали, что делают что-то действительно новое. Настоящее же новое — интенсивно. Не воспроизводимо непосредственно из того, что было до этого.



Поскольку я использую нейросети практически, сейчас, когда я вижу интересную картинку, я думаю, по каким запросам ее можно воспроизвести в нейронке. Для каких-то понимаю, как это сделать. А для каких-то — нет. И для меня это хороший критерий того, есть ли у художника действительно свое содержание. Если бы нейронку придумали в 19 веке, то смогли бы тогда с ее помощью создать что-то в стиле Ар Нуво? Нет. Могли бы до импрессионистов с помощью нейронки получить что-то в этом стиле? Тоже нет. Такие дела. Нейронки (по крайней мере, сейчас) на это не способны.

А черный квадрат и сейчас не могут нарисовать, я пробовал 😀

ИИ рисует «Черный квадрат Малевича»

В некотором смысле для художников наступил сейчас момент истины. Делают ли они что-то действительно уникальное, или просто живут в среде сделанного другими. В первом случае нейронки не смогут их повторить. Во втором, художник может быть настоящим мастером (мастерство ценно само по себе, помните?) или настоящим профессионалом (делать именно то, что запрашивает заказчик) но он не развивает человечество в плане смыслов.

И, в завершении, напомню, что художники — только начало. Такой момент истины в ближайшие десятилетия наступит для всех профессий.

https://blog.sirano.info/2023/01/o-tom-kak-nejroseti-izmenyat-vsyo/