В настоящий момент (обязательная оговорка, когда речь идеть про нейросети) для генерации одного изображения у AI уходит минимум секунда. В лучшем случае пол секунды. Для видео нам требуется как минимум 15 кадров в секунду (а лучше бы и все тридцать). Следовательно, создавать нейросетью видео в реальном времени и таким образом визуализировать музыку — невозможно.

Теперь, когда мы это поняли, давайте подумаем, как же это сделать.

[youtube https://www.youtube.com/watch?v=H0VSbMj_B4s?version=3&rel=1&showsearch=0&showinfo=1&iv_load_policy=1&fs=1&hl=ru-RU&autohide=2&wmode=transparent&w=584&h=329]

Кстати, эту статью я начал писать в ожидании начала концерта, на котором видеоинсталяция менялась от звуков музыки. Вот, как все прошло.

Проще всего понять способ генерации такого контента можно если представить двумерное сечение четырехмерного куба. Так думал я начать это описание, но потом решил, что это как-то слишком. Поэтому давайте так:

Чтобы визуализировать музыку ее нужно представить в виде некоторых параметров. Например, амплитуду волны на определенных частотах. Параметры могут быть самые разные и их может быть произвольное количество. Параметры меняются со временем, и каждому моменту времени должно соответствовать свое изображение. Зависимость генерируемого нейросетью изображения от параметра получить просто. Фактически мы задаем множество таких параметров при генерации. И есть такие параметры, при маленьком изменении которых картинка меняется тоже незначительно. На этом основаны многие скрипты для SD. Например, плагин shifting attention плавно меняет изображение при изменении веса того или иного токена в промпте. И именно такие параметры нам и нужны. Но, как мы помним, основная сложность заключается в том, что генерация этих кадров занимает гораздо больше времени, чем мы можем себе позволить. Выход из ситуации очевиден. Нужно сгенерировать возможные кадры заранее. Для каждого из возможных значений параметров. Например, Возьмем рисунок цветка. Один параметр будет заведовать его высотой, а другой — внешним видом. Например тем, насколько он похож на кляксу.


Изменение первого параметра


Изменение второго параметра

Так мы получаем набор изображений рассортированных по двум осям. Такой прямоугольник, каждая точка которого — это картинка. Картинки двумерные, поэтому в целом получается четырехмерный куб — тессеракт. Такой тессеракт и есть наша визуализация, потенциально содержащая все возможные варианты параметров. Во время звучания музыки, два параметра меняются, и эти два параметра в каждый момент времени задают конкретную картинку. Так музыка выделяет из тессеракта последовательность кадров, которая и выдает визуализацию. В реальном времени, заметим.

[youtube https://www.youtube.com/watch?v=la2GC8gnRVE?version=3&rel=1&showsearch=0&showinfo=1&iv_load_policy=1&fs=1&hl=ru-RU&autohide=2&wmode=transparent&w=584&h=329]

На этом видео можно увидеть, как меняются параметры, и как в итоге меняется изображение. В качестве параметров тут выбрана амплитуда на низких частотах и амплитуда на высоких.

Можно заметить, что реализовал я все это с помощью TouchDesigner.

Конечно же, все это надо подстраивать под конкретные инструменты.

[youtube https://www.youtube.com/watch?v=hr_2beAJc10?version=3&rel=1&showsearch=0&showinfo=1&iv_load_policy=1&fs=1&hl=ru-RU&autohide=2&wmode=transparent&w=584&h=329]

Итак, для создания визуализации создается тессеракт, содержащий картинки для всех возможных значений параметров, которые мы берем из музыки. Параметров может быть сколько угодно, но надо понимать, что 2 параметра на 100 величин — это 10 000 картинок. А 3 — уже сразу 1 000 000. У меня на генерацию тессеракта 100×100 уходило полторы суток.

Тессеракты могут быть самые разные по содержанию

[youtube https://www.youtube.com/watch?v=B3EoT9aDegw?version=3&rel=1&showsearch=0&showinfo=1&iv_load_policy=1&fs=1&hl=ru-RU&autohide=2&wmode=transparent&w=584&h=329]

Создание их — настоящий полноценный творческий процесс. Сейчас, как и любому нейросетевому видео, такой графике не хватает плавности. Очень сложно добиться максимальной близости двух соседних кадров с близкими параметрами генерации. Так что сейчас я работаю именно над этим.

https://blog.sirano.info/2023/05/vizualizaciya-muzyki-s-pomoshhyu-nejrosetej-v-realnom-vremeni/

В прошлой статье я рассказывал, как использовал нейросети в создании украшений. Сегодня расскажу, как с помощью нейросетей делал фильм для планетария.

В итоге этот фильм получил приз на фестивале купольных фильмов в Токио

Одной из моих целей было посмотреть, подходят ли нейросети для практического использования. Сейчас, когда работа закончена, сомнений в этом никаких нет, но тогда всё еще только начиналось, многие вещи было непонятно как делать. Более того, тогда, когда я начинал, и способов анимации практически не было. Можно было рисовать картинки по запросу, и это все.

Дополнительная сложность заключалась в том, что фильм был купольным, а значит нужна была проекция фишай. При попытке рисовать в фишайной проекции, миджорней (и SD) выдавал что-то похожее на нужную проекцию, неизменно добавляя к этому рыбу, или даже буквально глаз рыбы!

От рыб можно было избавиться с помощью негативных запросов, но качество панорамы все равно выходило неубедительным

Поэтому панорамы пришлось собирать старым дедовским способом. Склеиванием прямоугольных картинок и преобразованием получившегося с помощью полярных координат. Сами прямоугольные картинки я делал через Mijorney. Мне нужны были максимально длинные изображения, поэтому я задавал экстремальное соотношение сторон 16:1. К моему удивлению, неросеть не возражала, хотя, конечно такую пропорцию не выдавала. Но это был максимально вытянутый формат из возможных (тогда это была еще версия v3. V4 еще так не умеет)



Кстати, при сшивке я также использовал нейросеть DALL-E 2. Она оказалась удобной для склейки панорам.

Сейчас, когда работа закончена, появились удобные средства, которыми можно получить эквидистант и из него уже проекцию фишай. Например, сервис https://skybox.blockadelabs.com/ который генерирует360 панорамы по запросу, или LatentLabs360 — LORA для создания таких панорам в SD. Насколько спустя всего пару месяцев стало проще жить 😀

Просто создать панораму недостаточно. Даже в двухмерной мультипликации. Чтобы сцена жила, в ней должны быть объекты. Когда камера двигается, объекты двигаются относительно фона и друг-друга, так мы видим пространство. В обычной анимации достаточно расположить разные планы на разных слоях и двигать их с разной скоростью. В случае же сферического кино так, увы, не выйдет, поскольку у нас настоящее трехмерное пространство, и объекты размещены вокруг нас. Собственно, это и пришлось делать, плоскости с нарисованными объектами были расставлены вокруг камеры. Эти плоскости повернуты к камере, и когда она движется, они тоже поворачиваются вслед за камерой. Поэтому мы никогда не увидим такую плоскость с торца. К счастью, все это можно делать в AAE, и нет необходимости использовать 3D софт.

Есть и другой способ создания пространства. Добавление параллакса с использованием карты глубины. Именно так и был добавлен объем в интерьер хижины. Stable Diffusion умеет работать с нейросетью Midas, создающей карту глубины.



Ну и, конечно же, все пространство должно жить. Деревья колыхаться, пламя свечей дрожать от сквозняка, и так далее — все те мелочи, которые делают пространство реальным.

Вообще анимация в этом ролике была трех видов:

Классическая анимация, когда слои с объектами анимируются стандартными средствами — с помощью эффектов или марионеточной деформации. Так анимировались свечи, деревья, летящие птицы.
Анимация персонажа. Была сделана с помощью EbSynth. Чуть позже расскажу подробнее.
Анимация сновидений. Это тот вид анимаций, который нейросети умеют делать лучше всего. Поэтому выбор колыбельной для экранизацией нейросетью — очень удачный выбор. Одни образы перетекают в другие по мере смены параметров генерации и ключевых слов. Для этого к Stable Diffusion подключаются такие скрипты, как Deforum или Animation. Единственный недостаток — так можно создавать только сноподобные анимации или психодел.

Чуть подробнее расскажу про анимацию персонажа. Сложность состояла в том, что анимировать позу в то время нейросеть еще не умела. Сейчас с этим гораздо лучше, есть StableNet, в котором позу можно выставить с помощью манекена. А если анимировать манекен, то по этой анимации можно потом генерировать движущегося персонажа (все до сих пор не очень хорошо, например, на персонаже может меняться одежда или он будет «мерцать», но это гораздо лучше, чем ничего). Тогда же ничего подобного не было. И потому я использовал EbSynth.

Часто можно встретить утверждение, что EbSynth — это нейросеть. На самом деле, это не так, это вовсе никакая не нейросеть. Эта программа просто берет видео, смотрит как в нем двигаются одни пиксели относительно других, и переносит это движение на другую картинку. Та же марионеточная деформация, что в фотошопе.

Первым делом, я создал персонажа. Сгенерировал с помощью миджорней. Отдельной историей было заставить встать её в Т-позу (мы помним, это было в стародавние времена трехмесячной давности, когда такие задачи просто не решались)



После этого я сделал 3D модель с таким же силуэтом. И анимировал его в UE5. Таким образом, я получил последовательность кадров, с которой EbSynth смог снять движение.



К сожалению, EbSynth в силу своей природы, не может корректно переносить сетку деформации, если одни части объекта начинают перекрывать другие. Поэтому, пришлось разбить изображение на несколько слоев и анимировать их отдельно.

Так же анимировалась и маска



Какие выводы у меня осталисьпосле этой работы:

Использовать нейросети в творчестве — возможно
Хоть все и пугают, что нейросети заменят художника, в получающемся результате человека больше, чем нейросети
EbSynth можно использовать только для самых простых анимаций. Если вы будете использовать его для анимации движения персонажей, вам будет грустно и вы поседеете раньше времени.
Способы решения тех или иных задач с помощью нейросетей меняются каждый день. Если что-то не получается, идите спать, возможно завтра вашу задачу уже решит кто-то другой и принесет решение на блюдечке.

В целом это был интересный опыт, я понял как надо делать многие вещи, как многие вещи делать не надо. Ну и конечно же радует, что зрителям нравится результат. Вот сегодня пришло письмо, что ролик показали в школьном планетарии в Бразилии и дети — в восторге 😀

Посмотреть ролик можно тут. Только имейте ввиду, что это смотрится на куполе, и выглядит вот так:



https://blog.sirano.info/2023/03/12099/

Последнее время все больше думаю о нейросетях. И не только я. Вот, например, этот ажиотаж (долго подбирал слово, решил взять нейтральное) на АртСтейшен, когда художники протестовали против нейросетей. И многие боятся, что нейронки сейчас убьют художников как вид. Но все еще драматичнее.



Лет 10 назад я читал прогноз, что через 30 лет все в мире будут делать роботы. И видимо, это так. Художники — это первая ласточка. Роботы смогут заменить человека во всех профессиях. Вспомните, кем вы работаете, и осознайте, что в ближайшие десятилетия робот будет это делать лучше. Причем последними сдадутся дворники.

Такой мир не сможет стоять на тех основах, что стоит сейчас. И потому он неотвратимо измениться. В целом, тот мир будет лучше нынешнего, человек освободиться от «надо» и будет делать что хочет. Но переходный период может сопровождаться социальными потрясениями.

Но вернемся к художникам и их страхам (другие профессии все это ждет впереди). Одна из сторон говорит, что нейронки обесценят труд художников. Другие, что ничего с ними не станется. Но истина в том, что труд художника это несколько разных компонентов. И с разными составляющими будет происходить разное. И востребованы они по-разному. И не каждого художника интересуют все они. И значит, результаты для разных художников будут разными.

Например, есть потребность в иллюстрациям к статьям. И многие художники зарабатывают тем, что рисуют для стоков. Потом приходит в сток автор статьи и за три копейки покупает то изображение, что ему подходит. А сток из этих трех копеек одну или две отдает художнику. Причем качество этих картинок может быть произвольным. Я постоянно натыкаюсь на рекламу, «научитесь рисовать за три дня и зарабатывайте на этом»

Так вот, стоки от нейронок пострадают больше всего. Потому, что они делают именно это — по заданным ключевым словам выдают условно подходящие картинки. И художники, ориентированные на стоки станут не нужны. Это факт.



Есть более сложный уровень. Художники, рисующие на заказ. Скажем, обложки, или иллюстрации к книгам. Эти художники неизбежно начнут использовать нейросети как инструмент. Потому, что заказчику и с человеком-то сложно договориться, а с нейронкой — еще сложнее. И нужен будет посредник. Это будет работа, недоступная всем, поскольку создавать что-то конкретное с помощью нейросети — довольно сложный скил. Те, кто обучатся новым инструментам получат конкурентное преимущество. Для художников со своим уникальным стилем появяться даже новый вид деятельности. Они будут делать модели под конкретный стиль, которого еще нет у нейронок. И это будут весьма дорогие заказы, потому что будут требовать создания большого количества уникального контента. Уже сейчас некоторые хужожники создают модели из своих стилей — авторские модели. А потом будут разрабатывать стилистику под заказ.



Это то, что касается работ. И мы помним, что роботы освободят людей от необходимости зарабатывать поэтому давайте посмотрим, что произойдет с художниками не в плане заработка, а как с людьми искусства.

Одна из составляющих работы художника — это мастерство. Люди ценят то, во что вложено много труда. Мастерство самоценно. Фотореалисты делают то, что может сделать любой фотограф достаточно, но они делают это красками на холсте, и именно этот труд — ценен. В плане мастерства нейронки никак не повлияют на художников. Труд художников будет так же ценен, поскольку в случае мастерства важно именно КАК получена конкретная работы.

Есть еще коллекционные ценности. Я их не очень люблю, и не считаю особо осмысленными. Но именно стоимостью покупки работы коллекционерами привыкли мерить «цену» художника. Так вот. Коллекционные ценности не относятся непосредственно к искусству. В них не важно ни содержание ни форма, и вообще ничего, кроме невоспроизводимости. И потому на художников, которых покупают коллекционеры, неронки не повлияют никак. Но к реальным художникам добавятся нейронные. Я уверен, что коллекционеры быстро придумают, как приписать уникальность нейропроизведениям и составят свод правил уникальности. Принадлежность будет у владельца списка ключевых слов и зерна (не спрашивайте, влом объяснять). Ну и еще NFT какую-то добавят.

Ну, и, напоследок, самое вкусное. Содержание работ. Именно то, что составляет основной смысл искусства. То, что развивает человечество. И тут, та самая болевая точка, которая тригеррит многих художников. Дело в том, что многие делали и гордились работами типа «Звездные войны в стиле стимпанк». А такие задачи нейронки делают на раз. И это очень четкий критерий, говорит ли художник что-то новое. Нейронка делает новое, но это новое построено только на том, что нейронке показали. ИИ работает только на тех смыслах, что в нее положили. Комбинируя их. То есть ее новое — экстенсивно. Беда в том, что творчество многих художников — тоже экстенсивно. Но до сих пор они об этом не знали. И думали, что делают что-то действительно новое. Настоящее же новое — интенсивно. Не воспроизводимо непосредственно из того, что было до этого.



Поскольку я использую нейросети практически, сейчас, когда я вижу интересную картинку, я думаю, по каким запросам ее можно воспроизвести в нейронке. Для каких-то понимаю, как это сделать. А для каких-то — нет. И для меня это хороший критерий того, есть ли у художника действительно свое содержание. Если бы нейронку придумали в 19 веке, то смогли бы тогда с ее помощью создать что-то в стиле Ар Нуво? Нет. Могли бы до импрессионистов с помощью нейронки получить что-то в этом стиле? Тоже нет. Такие дела. Нейронки (по крайней мере, сейчас) на это не способны.

А черный квадрат и сейчас не могут нарисовать, я пробовал 😀

ИИ рисует «Черный квадрат Малевича»

В некотором смысле для художников наступил сейчас момент истины. Делают ли они что-то действительно уникальное, или просто живут в среде сделанного другими. В первом случае нейронки не смогут их повторить. Во втором, художник может быть настоящим мастером (мастерство ценно само по себе, помните?) или настоящим профессионалом (делать именно то, что запрашивает заказчик) но он не развивает человечество в плане смыслов.

И, в завершении, напомню, что художники — только начало. Такой момент истины в ближайшие десятилетия наступит для всех профессий.

https://blog.sirano.info/2023/01/o-tom-kak-nejroseti-izmenyat-vsyo/

Есть еще одна причина, по которой нам нравятся изображения нейросетей. Нейросети используют (ненамеренно) формулу красоты.

Про то, почему нам красиво, никто, кроме меня, толком не знает. Но я вам расскажу.

Есть два источника красоты. Биологический и эвристический (который тоже растет из биологии но иначе). С Биологической красотой все понятно. Нам кажется красивым то, что полезно для выживания и размножения. Человек противоположного пола, дети, еда…. А вот многоножек большинство не считают красивыми. Но красоту многоножек можно увидеть, если посмотреть на них с точки зрения второго вида красоты.



Если биологическая красота понятна, и, в целом, тривиальна по содержанию, то с эвристической красотой все сложнее. Мы можем увидеть красоту в совсем не полезных вещах. В тех же многоножках, самолетах, формулах, шахматных этюдах, музыке…. Почему? Или вот цветы. Они красивые, чтобы привлекать насекомых. Но почему они красивые для нас? У нас с насекомыми одни критерии красоты?

Так вот. Этот вид красоты — это эвристика для определения закономерностей. То, что часто называют гармонией, совершенством. Человек смотрит вокруг и выделяет те предметы, которые явно не случайны. В структуре которых есть какие-то взаимосвязи. Это или искусственные объекты, или живые организмы. Живые объекты строятся по алгоритмам из ДНК и потому имеют структуру. А искусственные предметы создаются с определенной целью, и потому их характеристики тоже не случайны. То есть, эвристика красоты срабатывает на неслучайности. В большинстве случаев они действительно интересны существу по разным причинам. Иногда эвристика срабатывает на природные неживые объекты. Например, на снежинки или вообще кристаллы.

Но это не всё.

В детстве я читал фантастический рассказ, в котором в компьютер загрузили все великие произведения искусства, чтобы он их проанализировал и выдал шедевр. Компьютер подумал и нарисовал круг. Максимально идеальную форму.

В реальности, в круге мы не видим ничего, что делало бы его красивым самим по себе. Просто для того, чтобы понять, что круг обладает не случайной формой, не нужна специальная эвристика. Это и так понятно. Красивым же мы считаем то, чью структуру мы не понимаем, но чувствуем.

И отсюда вырастают все художественные приемы. Золотое сечение, архимедова спираль, правило третей, равновесие визуальных весов, золотая секвенция в музыке, модульная сетка в верстке, ритм и рифма в поэзии и сотни других правил. Главное, что они создают в произведении искусства закономерности. Которые связываются внутри еще закономерностями. В шедевре нет ничего случайного, вся структура подчинена внутренним закономерностям, мы их чувствуем, чувствуем, что в картине неслучайно всё, и нам красиво.

Помните про рассказ, в котором компьютер нарисовал круг? Интересно, что в реальности именно это и сделали с нейросетями. Загрузили в них много произведений и попросили что-то нарисовать. И на самом деле компьютер выдает вот это на запрос «идеальное произведение искусства»



Когда нейросеть генерирует изображение, она действует по алгоритму. По закономерностям. По самой своей природе, нейронка не может это сделать произвольно. Мы чувствуем заложенные закономерности, и нам красиво. Даже если ни мы, ни сама нейросеть не может это объяснить.

Теперь вы знаете 😀

https://blog.sirano.info/2023/01/formula-krasoty/

Запустится ли это в Doom? Калькулятор, работающий на демонах

В этой статье автор демонстрирует, что в Doom можно запускать любые конечные вычисления, если не учитывать ограничения размеров уровня: https://bit.ly/3QzSSt6 https://twitter.com/habr_com/status/1613596768083525633/photo/1

Источник: https://twitter.com/habr_com/status/1613596768083525633