Снарк reshared this.
В прошлой статье я рассказывал, как использовал нейросети в создании украшений. Сегодня расскажу, как с помощью нейросетей делал фильм для планетария.
В итоге этот фильм получил приз на фестивале купольных фильмов в Токио
Одной из моих целей было посмотреть, подходят ли нейросети для практического использования. Сейчас, когда работа закончена, сомнений в этом никаких нет, но тогда всё еще только начиналось, многие вещи было непонятно как делать. Более того, тогда, когда я начинал, и способов анимации практически не было. Можно было рисовать картинки по запросу, и это все.
Дополнительная сложность заключалась в том, что фильм был купольным, а значит нужна была проекция фишай. При попытке рисовать в фишайной проекции, миджорней (и SD) выдавал что-то похожее на нужную проекцию, неизменно добавляя к этому рыбу, или даже буквально глаз рыбы!
От рыб можно было избавиться с помощью негативных запросов, но качество панорамы все равно выходило неубедительным
Поэтому панорамы пришлось собирать старым дедовским способом. Склеиванием прямоугольных картинок и преобразованием получившегося с помощью полярных координат. Сами прямоугольные картинки я делал через Mijorney. Мне нужны были максимально длинные изображения, поэтому я задавал экстремальное соотношение сторон 16:1. К моему удивлению, неросеть не возражала, хотя, конечно такую пропорцию не выдавала. Но это был максимально вытянутый формат из возможных (тогда это была еще версия v3. V4 еще так не умеет)
Кстати, при сшивке я также использовал нейросеть DALL-E 2. Она оказалась удобной для склейки панорам.
Сейчас, когда работа закончена, появились удобные средства, которыми можно получить эквидистант и из него уже проекцию фишай. Например, сервис https://skybox.blockadelabs.com/ который генерирует360 панорамы по запросу, или LatentLabs360 — LORA для создания таких панорам в SD. Насколько спустя всего пару месяцев стало проще жить 😀
Просто создать панораму недостаточно. Даже в двухмерной мультипликации. Чтобы сцена жила, в ней должны быть объекты. Когда камера двигается, объекты двигаются относительно фона и друг-друга, так мы видим пространство. В обычной анимации достаточно расположить разные планы на разных слоях и двигать их с разной скоростью. В случае же сферического кино так, увы, не выйдет, поскольку у нас настоящее трехмерное пространство, и объекты размещены вокруг нас. Собственно, это и пришлось делать, плоскости с нарисованными объектами были расставлены вокруг камеры. Эти плоскости повернуты к камере, и когда она движется, они тоже поворачиваются вслед за камерой. Поэтому мы никогда не увидим такую плоскость с торца. К счастью, все это можно делать в AAE, и нет необходимости использовать 3D софт.
Есть и другой способ создания пространства. Добавление параллакса с использованием карты глубины. Именно так и был добавлен объем в интерьер хижины. Stable Diffusion умеет работать с нейросетью Midas, создающей карту глубины.
Ну и, конечно же, все пространство должно жить. Деревья колыхаться, пламя свечей дрожать от сквозняка, и так далее — все те мелочи, которые делают пространство реальным.
Вообще анимация в этом ролике была трех видов:
Классическая анимация, когда слои с объектами анимируются стандартными средствами — с помощью эффектов или марионеточной деформации. Так анимировались свечи, деревья, летящие птицы.
Анимация персонажа. Была сделана с помощью EbSynth. Чуть позже расскажу подробнее.
Анимация сновидений. Это тот вид анимаций, который нейросети умеют делать лучше всего. Поэтому выбор колыбельной для экранизацией нейросетью — очень удачный выбор. Одни образы перетекают в другие по мере смены параметров генерации и ключевых слов. Для этого к Stable Diffusion подключаются такие скрипты, как Deforum или Animation. Единственный недостаток — так можно создавать только сноподобные анимации или психодел.
Чуть подробнее расскажу про анимацию персонажа. Сложность состояла в том, что анимировать позу в то время нейросеть еще не умела. Сейчас с этим гораздо лучше, есть StableNet, в котором позу можно выставить с помощью манекена. А если анимировать манекен, то по этой анимации можно потом генерировать движущегося персонажа (все до сих пор не очень хорошо, например, на персонаже может меняться одежда или он будет «мерцать», но это гораздо лучше, чем ничего). Тогда же ничего подобного не было. И потому я использовал EbSynth.
Часто можно встретить утверждение, что EbSynth — это нейросеть. На самом деле, это не так, это вовсе никакая не нейросеть. Эта программа просто берет видео, смотрит как в нем двигаются одни пиксели относительно других, и переносит это движение на другую картинку. Та же марионеточная деформация, что в фотошопе.
Первым делом, я создал персонажа. Сгенерировал с помощью миджорней. Отдельной историей было заставить встать её в Т-позу (мы помним, это было в стародавние времена трехмесячной давности, когда такие задачи просто не решались)
После этого я сделал 3D модель с таким же силуэтом. И анимировал его в UE5. Таким образом, я получил последовательность кадров, с которой EbSynth смог снять движение.
К сожалению, EbSynth в силу своей природы, не может корректно переносить сетку деформации, если одни части объекта начинают перекрывать другие. Поэтому, пришлось разбить изображение на несколько слоев и анимировать их отдельно.
Так же анимировалась и маска
Какие выводы у меня осталисьпосле этой работы:
Использовать нейросети в творчестве — возможно
Хоть все и пугают, что нейросети заменят художника, в получающемся результате человека больше, чем нейросети
EbSynth можно использовать только для самых простых анимаций. Если вы будете использовать его для анимации движения персонажей, вам будет грустно и вы поседеете раньше времени.
Способы решения тех или иных задач с помощью нейросетей меняются каждый день. Если что-то не получается, идите спать, возможно завтра вашу задачу уже решит кто-то другой и принесет решение на блюдечке.
В целом это был интересный опыт, я понял как надо делать многие вещи, как многие вещи делать не надо. Ну и конечно же радует, что зрителям нравится результат. Вот сегодня пришло письмо, что ролик показали в школьном планетарии в Бразилии и дети — в восторге 😀
Посмотреть ролик можно тут. Только имейте ввиду, что это смотрится на куполе, и выглядит вот так:
https://blog.sirano.info/2023/03/12099/
В итоге этот фильм получил приз на фестивале купольных фильмов в Токио
Одной из моих целей было посмотреть, подходят ли нейросети для практического использования. Сейчас, когда работа закончена, сомнений в этом никаких нет, но тогда всё еще только начиналось, многие вещи было непонятно как делать. Более того, тогда, когда я начинал, и способов анимации практически не было. Можно было рисовать картинки по запросу, и это все.
Дополнительная сложность заключалась в том, что фильм был купольным, а значит нужна была проекция фишай. При попытке рисовать в фишайной проекции, миджорней (и SD) выдавал что-то похожее на нужную проекцию, неизменно добавляя к этому рыбу, или даже буквально глаз рыбы!
От рыб можно было избавиться с помощью негативных запросов, но качество панорамы все равно выходило неубедительным
Поэтому панорамы пришлось собирать старым дедовским способом. Склеиванием прямоугольных картинок и преобразованием получившегося с помощью полярных координат. Сами прямоугольные картинки я делал через Mijorney. Мне нужны были максимально длинные изображения, поэтому я задавал экстремальное соотношение сторон 16:1. К моему удивлению, неросеть не возражала, хотя, конечно такую пропорцию не выдавала. Но это был максимально вытянутый формат из возможных (тогда это была еще версия v3. V4 еще так не умеет)
Кстати, при сшивке я также использовал нейросеть DALL-E 2. Она оказалась удобной для склейки панорам.
Сейчас, когда работа закончена, появились удобные средства, которыми можно получить эквидистант и из него уже проекцию фишай. Например, сервис https://skybox.blockadelabs.com/ который генерирует360 панорамы по запросу, или LatentLabs360 — LORA для создания таких панорам в SD. Насколько спустя всего пару месяцев стало проще жить 😀
Просто создать панораму недостаточно. Даже в двухмерной мультипликации. Чтобы сцена жила, в ней должны быть объекты. Когда камера двигается, объекты двигаются относительно фона и друг-друга, так мы видим пространство. В обычной анимации достаточно расположить разные планы на разных слоях и двигать их с разной скоростью. В случае же сферического кино так, увы, не выйдет, поскольку у нас настоящее трехмерное пространство, и объекты размещены вокруг нас. Собственно, это и пришлось делать, плоскости с нарисованными объектами были расставлены вокруг камеры. Эти плоскости повернуты к камере, и когда она движется, они тоже поворачиваются вслед за камерой. Поэтому мы никогда не увидим такую плоскость с торца. К счастью, все это можно делать в AAE, и нет необходимости использовать 3D софт.
Есть и другой способ создания пространства. Добавление параллакса с использованием карты глубины. Именно так и был добавлен объем в интерьер хижины. Stable Diffusion умеет работать с нейросетью Midas, создающей карту глубины.
Ну и, конечно же, все пространство должно жить. Деревья колыхаться, пламя свечей дрожать от сквозняка, и так далее — все те мелочи, которые делают пространство реальным.
Вообще анимация в этом ролике была трех видов:
Классическая анимация, когда слои с объектами анимируются стандартными средствами — с помощью эффектов или марионеточной деформации. Так анимировались свечи, деревья, летящие птицы.
Анимация персонажа. Была сделана с помощью EbSynth. Чуть позже расскажу подробнее.
Анимация сновидений. Это тот вид анимаций, который нейросети умеют делать лучше всего. Поэтому выбор колыбельной для экранизацией нейросетью — очень удачный выбор. Одни образы перетекают в другие по мере смены параметров генерации и ключевых слов. Для этого к Stable Diffusion подключаются такие скрипты, как Deforum или Animation. Единственный недостаток — так можно создавать только сноподобные анимации или психодел.
Чуть подробнее расскажу про анимацию персонажа. Сложность состояла в том, что анимировать позу в то время нейросеть еще не умела. Сейчас с этим гораздо лучше, есть StableNet, в котором позу можно выставить с помощью манекена. А если анимировать манекен, то по этой анимации можно потом генерировать движущегося персонажа (все до сих пор не очень хорошо, например, на персонаже может меняться одежда или он будет «мерцать», но это гораздо лучше, чем ничего). Тогда же ничего подобного не было. И потому я использовал EbSynth.
Часто можно встретить утверждение, что EbSynth — это нейросеть. На самом деле, это не так, это вовсе никакая не нейросеть. Эта программа просто берет видео, смотрит как в нем двигаются одни пиксели относительно других, и переносит это движение на другую картинку. Та же марионеточная деформация, что в фотошопе.
Первым делом, я создал персонажа. Сгенерировал с помощью миджорней. Отдельной историей было заставить встать её в Т-позу (мы помним, это было в стародавние времена трехмесячной давности, когда такие задачи просто не решались)
После этого я сделал 3D модель с таким же силуэтом. И анимировал его в UE5. Таким образом, я получил последовательность кадров, с которой EbSynth смог снять движение.
К сожалению, EbSynth в силу своей природы, не может корректно переносить сетку деформации, если одни части объекта начинают перекрывать другие. Поэтому, пришлось разбить изображение на несколько слоев и анимировать их отдельно.
Так же анимировалась и маска
Какие выводы у меня осталисьпосле этой работы:
Использовать нейросети в творчестве — возможно
Хоть все и пугают, что нейросети заменят художника, в получающемся результате человека больше, чем нейросети
EbSynth можно использовать только для самых простых анимаций. Если вы будете использовать его для анимации движения персонажей, вам будет грустно и вы поседеете раньше времени.
Способы решения тех или иных задач с помощью нейросетей меняются каждый день. Если что-то не получается, идите спать, возможно завтра вашу задачу уже решит кто-то другой и принесет решение на блюдечке.
В целом это был интересный опыт, я понял как надо делать многие вещи, как многие вещи делать не надо. Ну и конечно же радует, что зрителям нравится результат. Вот сегодня пришло письмо, что ролик показали в школьном планетарии в Бразилии и дети — в восторге 😀
Посмотреть ролик можно тут. Только имейте ввиду, что это смотрится на куполе, и выглядит вот так:
https://blog.sirano.info/2023/03/12099/
ドームフェスタ３日間の日程を無事終了。ショートフィルムコンテストの結果発表。
14年目を迎えた国際科学映像祭（IFSV= International Festival of Science Visualization）は3年ぶりのドームフェスタをオンサイトで開催しました。日程・開催場所日時：2023年2月18日(土)…ifsv (国際科学映像祭)
Снарк reshared this.
"Колискову" показали в школьном планетарии в Бразилии. Пишут, что дети в восторге :)
2 people like this
yesfreenet reshared this.
Нейросети отчетливо оформлюятся в одну из сфер моей деятельности. Поэтому про это направление сделал аккаунт на Бусти. Там можно читать что я делаю в этом направлении и подписываться. Там же есть ссылка, как заказать нейросетевой портрет или картинку.
https://boosty.to/snark
https://boosty.to/snark
Снарк - Эмиссар высших сфер
Я - путешественник, странствующим и по этой и между альтернативными реальностями и изучающим уникальные места и каждой из них. Тут я буду говорить о нейронных сетях.Boosty.to
Чтобы мотивировать детей сживать родителей со свету побыстрее?
@dmitry84 @snark
Продолжаю считать хорошей идей получения пенсии от детей. Мои налоги идут моим родителям, налоги моих детей мне.
Мне выгодно давать детям хорошее образование чтобы они много получали.
Добавь сюда налоговые вычеты за детей - вместо 500к за первого ребенка, разрешите не платить 4% налогов с зп до его совершеннолетия и заживём всей страной.
Lex Publica likes this.
Я делал "Колискову" для купола. и смотреть ее лучше на куполе.
Вчера была купольная премьера.
Но я понимаю, что большинство моих друзей на куполе увидеть "Колискову" не смогут. Не оставлять же вас без колыбельной 🙂
Так что сегодня я выкладываю ролик, чтобы его можно было посмотреть с экрана. Просто представьте, что центр круга - у вас над головой, а окружность - горизонт. 🙂
Эта премьера состоится в 20:00 сегодня 7 марта
https://youtu.be/ImliOLKO3to
Первый купольный фильм с графикой, созданной с помощью нейросетей.
Премьера на ютубе значит, что там еще будет чат, и я буду в этом чате 🙂
Вчера была купольная премьера.
Но я понимаю, что большинство моих друзей на куполе увидеть "Колискову" не смогут. Не оставлять же вас без колыбельной 🙂
Так что сегодня я выкладываю ролик, чтобы его можно было посмотреть с экрана. Просто представьте, что центр круга - у вас над головой, а окружность - горизонт. 🙂
Эта премьера состоится в 20:00 сегодня 7 марта
https://youtu.be/ImliOLKO3to
Первый купольный фильм с графикой, созданной с помощью нейросетей.
Премьера на ютубе значит, что там еще будет чат, и я буду в этом чате 🙂
Lex Publica reshared this.
Вот про портреты меня спрашивают, через какую сеть я их делаю. То есть предполагается, что есть такая волшебная сетка, туда кладешь фото и на выходе сразу получаешь картинку.
На данный момент ситуация такова, что нейросети пока плохо умеют рисовать картинку сохраняя черты лица. Некоторым везет, но большинство на выходе получают не себя. Вот этот портрет сделан из моей фотографии 🙂
Портрет, безусловно, замечательный, но не соответствует моему исходному замыслу. 🙂
Поэтому, если я хочу сделать конкретного человека в определенной стилистике, то это не просто прогон фото через сеть. Это корректировка в фотошопе , опять прорисовка нейросетью с другими параметрами (а часто и вообще другой сеткой), опять дорисовка в фотошопе, и так бесконечное число раз. Четкого алгоритма тут нет, выборы делаются постоянно.
Так вот, сегодня я подумал, что так и будет выглядеть процесс работы художника в будущем. Художник рисует, уточняет рисунок нейросеткой, дорисовывает результат, опять прогоняет нейросеткой. Наверняка появятся такие инструменты, как кисти, рисующие определенным стилем (в зачаточной форме это было и до появления ИИ). Те есть реально ИИ станет просто еще одним инструментом художника.
На данный момент ситуация такова, что нейросети пока плохо умеют рисовать картинку сохраняя черты лица. Некоторым везет, но большинство на выходе получают не себя. Вот этот портрет сделан из моей фотографии 🙂
Портрет, безусловно, замечательный, но не соответствует моему исходному замыслу. 🙂
Поэтому, если я хочу сделать конкретного человека в определенной стилистике, то это не просто прогон фото через сеть. Это корректировка в фотошопе , опять прорисовка нейросетью с другими параметрами (а часто и вообще другой сеткой), опять дорисовка в фотошопе, и так бесконечное число раз. Четкого алгоритма тут нет, выборы делаются постоянно.
Так вот, сегодня я подумал, что так и будет выглядеть процесс работы художника в будущем. Художник рисует, уточняет рисунок нейросеткой, дорисовывает результат, опять прогоняет нейросеткой. Наверняка появятся такие инструменты, как кисти, рисующие определенным стилем (в зачаточной форме это было и до появления ИИ). Те есть реально ИИ станет просто еще одним инструментом художника.
Ура, ура!
Моя "Колискова" - нейросетевой купольный фильм, сегодня получил специальный приз жюри на конкурсе короткометражных фильмов фестиваля Dome Fest в Токио!
https://ifsv.org/
Я рад :)
Моя "Колискова" - нейросетевой купольный фильм, сегодня получил специальный приз жюри на конкурсе короткометражных фильмов фестиваля Dome Fest в Токио!
https://ifsv.org/
Я рад :)
petez likes this.
Ну вот, теперь когда фильм в процессе финального рендеринга (никогда так нельзя говорить, а то пойдет что-то не так :), можно опубликовать афишу.
Я заканчиваю купольный фильм для планетариев. Это украинская колыбельная. Очень спокойная и плавная.
Графика для этого фильма делалась с помощью нейросетей. Я думаю, это первый нейросетевой фильм для планетариев. :) Конечно, ИИ плохо приспособлен для анимации вообще, а для купольной, так совсем не приспособлена. Так что ручной работы было много. Местами там есть даже покадровая анимация. Интересно, как процесс работы перекликался с развитием ИИ. Бывало долго бился над какой-то проблемой, и придумывал нетривиальное решение, а на следующий день появлялась новая возможность нейросеток, делающая решение задачи гораздо проще.
Всем планетариям, которые решатся показать фильм на своих куполах, я передаю его бесплатно. Фильм длиться 5 минут, удобный формат, чтобы показывать перед сеансом другой программы.
Я заканчиваю купольный фильм для планетариев. Это украинская колыбельная. Очень спокойная и плавная.
Графика для этого фильма делалась с помощью нейросетей. Я думаю, это первый нейросетевой фильм для планетариев. :) Конечно, ИИ плохо приспособлен для анимации вообще, а для купольной, так совсем не приспособлена. Так что ручной работы было много. Местами там есть даже покадровая анимация. Интересно, как процесс работы перекликался с развитием ИИ. Бывало долго бился над какой-то проблемой, и придумывал нетривиальное решение, а на следующий день появлялась новая возможность нейросеток, делающая решение задачи гораздо проще.
Всем планетариям, которые решатся показать фильм на своих куполах, я передаю его бесплатно. Фильм длиться 5 минут, удобный формат, чтобы показывать перед сеансом другой программы.
Новая версия готических украшений с витражсми :)
Здесь я готику уже делал с бОлишим пониманием массверка и она более аутентичная, чем в предыдущих серьгах :)
Здесь я готику уже делал с бОлишим пониманием массверка и она более аутентичная, чем в предыдущих серьгах :)
Данила Горелко likes this.
И вот почему со мной спорят? Нельзя просто сказать: "Дружище, да ты гений!"
This entry was edited (2 months ago)
Данила Горелко likes this.
Снарк reshared this.
Последнее время все больше думаю о нейросетях. И не только я. Вот, например, этот ажиотаж (долго подбирал слово, решил взять нейтральное) на АртСтейшен, когда художники протестовали против нейросетей. И многие боятся, что нейронки сейчас убьют художников как вид. Но все еще драматичнее.
Лет 10 назад я читал прогноз, что через 30 лет все в мире будут делать роботы. И видимо, это так. Художники — это первая ласточка. Роботы смогут заменить человека во всех профессиях. Вспомните, кем вы работаете, и осознайте, что в ближайшие десятилетия робот будет это делать лучше. Причем последними сдадутся дворники.
Такой мир не сможет стоять на тех основах, что стоит сейчас. И потому он неотвратимо измениться. В целом, тот мир будет лучше нынешнего, человек освободиться от «надо» и будет делать что хочет. Но переходный период может сопровождаться социальными потрясениями.
Но вернемся к художникам и их страхам (другие профессии все это ждет впереди). Одна из сторон говорит, что нейронки обесценят труд художников. Другие, что ничего с ними не станется. Но истина в том, что труд художника это несколько разных компонентов. И с разными составляющими будет происходить разное. И востребованы они по-разному. И не каждого художника интересуют все они. И значит, результаты для разных художников будут разными.
Например, есть потребность в иллюстрациям к статьям. И многие художники зарабатывают тем, что рисуют для стоков. Потом приходит в сток автор статьи и за три копейки покупает то изображение, что ему подходит. А сток из этих трех копеек одну или две отдает художнику. Причем качество этих картинок может быть произвольным. Я постоянно натыкаюсь на рекламу, «научитесь рисовать за три дня и зарабатывайте на этом»
Так вот, стоки от нейронок пострадают больше всего. Потому, что они делают именно это — по заданным ключевым словам выдают условно подходящие картинки. И художники, ориентированные на стоки станут не нужны. Это факт.
Есть более сложный уровень. Художники, рисующие на заказ. Скажем, обложки, или иллюстрации к книгам. Эти художники неизбежно начнут использовать нейросети как инструмент. Потому, что заказчику и с человеком-то сложно договориться, а с нейронкой — еще сложнее. И нужен будет посредник. Это будет работа, недоступная всем, поскольку создавать что-то конкретное с помощью нейросети — довольно сложный скил. Те, кто обучатся новым инструментам получат конкурентное преимущество. Для художников со своим уникальным стилем появяться даже новый вид деятельности. Они будут делать модели под конкретный стиль, которого еще нет у нейронок. И это будут весьма дорогие заказы, потому что будут требовать создания большого количества уникального контента. Уже сейчас некоторые хужожники создают модели из своих стилей — авторские модели. А потом будут разрабатывать стилистику под заказ.
Это то, что касается работ. И мы помним, что роботы освободят людей от необходимости зарабатывать поэтому давайте посмотрим, что произойдет с художниками не в плане заработка, а как с людьми искусства.
Одна из составляющих работы художника — это мастерство. Люди ценят то, во что вложено много труда. Мастерство самоценно. Фотореалисты делают то, что может сделать любой фотограф достаточно, но они делают это красками на холсте, и именно этот труд — ценен. В плане мастерства нейронки никак не повлияют на художников. Труд художников будет так же ценен, поскольку в случае мастерства важно именно КАК получена конкретная работы.
Есть еще коллекционные ценности. Я их не очень люблю, и не считаю особо осмысленными. Но именно стоимостью покупки работы коллекционерами привыкли мерить «цену» художника. Так вот. Коллекционные ценности не относятся непосредственно к искусству. В них не важно ни содержание ни форма, и вообще ничего, кроме невоспроизводимости. И потому на художников, которых покупают коллекционеры, неронки не повлияют никак. Но к реальным художникам добавятся нейронные. Я уверен, что коллекционеры быстро придумают, как приписать уникальность нейропроизведениям и составят свод правил уникальности. Принадлежность будет у владельца списка ключевых слов и зерна (не спрашивайте, влом объяснять). Ну и еще NFT какую-то добавят.
Ну, и, напоследок, самое вкусное. Содержание работ. Именно то, что составляет основной смысл искусства. То, что развивает человечество. И тут, та самая болевая точка, которая тригеррит многих художников. Дело в том, что многие делали и гордились работами типа «Звездные войны в стиле стимпанк». А такие задачи нейронки делают на раз. И это очень четкий критерий, говорит ли художник что-то новое. Нейронка делает новое, но это новое построено только на том, что нейронке показали. ИИ работает только на тех смыслах, что в нее положили. Комбинируя их. То есть ее новое — экстенсивно. Беда в том, что творчество многих художников — тоже экстенсивно. Но до сих пор они об этом не знали. И думали, что делают что-то действительно новое. Настоящее же новое — интенсивно. Не воспроизводимо непосредственно из того, что было до этого.
Поскольку я использую нейросети практически, сейчас, когда я вижу интересную картинку, я думаю, по каким запросам ее можно воспроизвести в нейронке. Для каких-то понимаю, как это сделать. А для каких-то — нет. И для меня это хороший критерий того, есть ли у художника действительно свое содержание. Если бы нейронку придумали в 19 веке, то смогли бы тогда с ее помощью создать что-то в стиле Ар Нуво? Нет. Могли бы до импрессионистов с помощью нейронки получить что-то в этом стиле? Тоже нет. Такие дела. Нейронки (по крайней мере, сейчас) на это не способны.
А черный квадрат и сейчас не могут нарисовать, я пробовал 😀
ИИ рисует «Черный квадрат Малевича»
В некотором смысле для художников наступил сейчас момент истины. Делают ли они что-то действительно уникальное, или просто живут в среде сделанного другими. В первом случае нейронки не смогут их повторить. Во втором, художник может быть настоящим мастером (мастерство ценно само по себе, помните?) или настоящим профессионалом (делать именно то, что запрашивает заказчик) но он не развивает человечество в плане смыслов.
И, в завершении, напомню, что художники — только начало. Такой момент истины в ближайшие десятилетия наступит для всех профессий.
https://blog.sirano.info/2023/01/o-tom-kak-nejroseti-izmenyat-vsyo/
Лет 10 назад я читал прогноз, что через 30 лет все в мире будут делать роботы. И видимо, это так. Художники — это первая ласточка. Роботы смогут заменить человека во всех профессиях. Вспомните, кем вы работаете, и осознайте, что в ближайшие десятилетия робот будет это делать лучше. Причем последними сдадутся дворники.
Такой мир не сможет стоять на тех основах, что стоит сейчас. И потому он неотвратимо измениться. В целом, тот мир будет лучше нынешнего, человек освободиться от «надо» и будет делать что хочет. Но переходный период может сопровождаться социальными потрясениями.
Но вернемся к художникам и их страхам (другие профессии все это ждет впереди). Одна из сторон говорит, что нейронки обесценят труд художников. Другие, что ничего с ними не станется. Но истина в том, что труд художника это несколько разных компонентов. И с разными составляющими будет происходить разное. И востребованы они по-разному. И не каждого художника интересуют все они. И значит, результаты для разных художников будут разными.
Например, есть потребность в иллюстрациям к статьям. И многие художники зарабатывают тем, что рисуют для стоков. Потом приходит в сток автор статьи и за три копейки покупает то изображение, что ему подходит. А сток из этих трех копеек одну или две отдает художнику. Причем качество этих картинок может быть произвольным. Я постоянно натыкаюсь на рекламу, «научитесь рисовать за три дня и зарабатывайте на этом»
Так вот, стоки от нейронок пострадают больше всего. Потому, что они делают именно это — по заданным ключевым словам выдают условно подходящие картинки. И художники, ориентированные на стоки станут не нужны. Это факт.
Есть более сложный уровень. Художники, рисующие на заказ. Скажем, обложки, или иллюстрации к книгам. Эти художники неизбежно начнут использовать нейросети как инструмент. Потому, что заказчику и с человеком-то сложно договориться, а с нейронкой — еще сложнее. И нужен будет посредник. Это будет работа, недоступная всем, поскольку создавать что-то конкретное с помощью нейросети — довольно сложный скил. Те, кто обучатся новым инструментам получат конкурентное преимущество. Для художников со своим уникальным стилем появяться даже новый вид деятельности. Они будут делать модели под конкретный стиль, которого еще нет у нейронок. И это будут весьма дорогие заказы, потому что будут требовать создания большого количества уникального контента. Уже сейчас некоторые хужожники создают модели из своих стилей — авторские модели. А потом будут разрабатывать стилистику под заказ.
Это то, что касается работ. И мы помним, что роботы освободят людей от необходимости зарабатывать поэтому давайте посмотрим, что произойдет с художниками не в плане заработка, а как с людьми искусства.
Одна из составляющих работы художника — это мастерство. Люди ценят то, во что вложено много труда. Мастерство самоценно. Фотореалисты делают то, что может сделать любой фотограф достаточно, но они делают это красками на холсте, и именно этот труд — ценен. В плане мастерства нейронки никак не повлияют на художников. Труд художников будет так же ценен, поскольку в случае мастерства важно именно КАК получена конкретная работы.
Есть еще коллекционные ценности. Я их не очень люблю, и не считаю особо осмысленными. Но именно стоимостью покупки работы коллекционерами привыкли мерить «цену» художника. Так вот. Коллекционные ценности не относятся непосредственно к искусству. В них не важно ни содержание ни форма, и вообще ничего, кроме невоспроизводимости. И потому на художников, которых покупают коллекционеры, неронки не повлияют никак. Но к реальным художникам добавятся нейронные. Я уверен, что коллекционеры быстро придумают, как приписать уникальность нейропроизведениям и составят свод правил уникальности. Принадлежность будет у владельца списка ключевых слов и зерна (не спрашивайте, влом объяснять). Ну и еще NFT какую-то добавят.
Ну, и, напоследок, самое вкусное. Содержание работ. Именно то, что составляет основной смысл искусства. То, что развивает человечество. И тут, та самая болевая точка, которая тригеррит многих художников. Дело в том, что многие делали и гордились работами типа «Звездные войны в стиле стимпанк». А такие задачи нейронки делают на раз. И это очень четкий критерий, говорит ли художник что-то новое. Нейронка делает новое, но это новое построено только на том, что нейронке показали. ИИ работает только на тех смыслах, что в нее положили. Комбинируя их. То есть ее новое — экстенсивно. Беда в том, что творчество многих художников — тоже экстенсивно. Но до сих пор они об этом не знали. И думали, что делают что-то действительно новое. Настоящее же новое — интенсивно. Не воспроизводимо непосредственно из того, что было до этого.
Поскольку я использую нейросети практически, сейчас, когда я вижу интересную картинку, я думаю, по каким запросам ее можно воспроизвести в нейронке. Для каких-то понимаю, как это сделать. А для каких-то — нет. И для меня это хороший критерий того, есть ли у художника действительно свое содержание. Если бы нейронку придумали в 19 веке, то смогли бы тогда с ее помощью создать что-то в стиле Ар Нуво? Нет. Могли бы до импрессионистов с помощью нейронки получить что-то в этом стиле? Тоже нет. Такие дела. Нейронки (по крайней мере, сейчас) на это не способны.
А черный квадрат и сейчас не могут нарисовать, я пробовал 😀
ИИ рисует «Черный квадрат Малевича»
В некотором смысле для художников наступил сейчас момент истины. Делают ли они что-то действительно уникальное, или просто живут в среде сделанного другими. В первом случае нейронки не смогут их повторить. Во втором, художник может быть настоящим мастером (мастерство ценно само по себе, помните?) или настоящим профессионалом (делать именно то, что запрашивает заказчик) но он не развивает человечество в плане смыслов.
И, в завершении, напомню, что художники — только начало. Такой момент истины в ближайшие десятилетия наступит для всех профессий.
https://blog.sirano.info/2023/01/o-tom-kak-nejroseti-izmenyat-vsyo/
О том, как нейросети изменят всё
Последнее время все больше думаю о нейросетях. И не только я. Вот, например, этот ажиотаж (долго подбирал слово, решил взять нейтральное) на АртСтейшен, когда художники протестовали против нейросет…Персональный блог Sirano
Снарк reshared this.
Да, прочитал выше по треду.
Кстати, кнопка "Цитировать" - это не ответ, а отдельная запись с отсылкой (цитированием) другой 😀
Кстати, кнопка "Цитировать" - это не ответ, а отдельная запись с отсылкой (цитированием) другой 😀
This entry was edited (2 months ago)
@Wandering Thinker @Александр Несколько сложнее. Вместо совы ИИ мне нарисовал ящерицу без головы. С помощью другой неронки я дорисовал половину головы, вторую половину в фотошопе руками.
Перевод в 3D делался путем рисования карты глубины. Отчасти, с помощью нейросети Мидас (но она рисует очень приближенно), отчасти вручную. Для разной детализации у меня была своя карта глубины. По этим картам глубины в Арткаме делал 3D модепь, и дорабатывал ее в 3в программе Magix.
Потом фотополимерный 3D принтер. Дорабатываю напильником (буквально) получаю мастер-модель. Отдаю в литейку, там с мастер-модели снимают резиновую пресформу, и из нее уже делают оливки (резиновая форма - восковки, гипсовая форма - отливка из метала). Ну и опять напильником, плюс чернение и все такое :)
Перевод в 3D делался путем рисования карты глубины. Отчасти, с помощью нейросети Мидас (но она рисует очень приближенно), отчасти вручную. Для разной детализации у меня была своя карта глубины. По этим картам глубины в Арткаме делал 3D модепь, и дорабатывал ее в 3в программе Magix.
Потом фотополимерный 3D принтер. Дорабатываю напильником (буквально) получаю мастер-модель. Отдаю в литейку, там с мастер-модели снимают резиновую пресформу, и из нее уже делают оливки (резиновая форма - восковки, гипсовая форма - отливка из метала). Ну и опять напильником, плюс чернение и все такое :)
2 people like this
@Wandering Thinker @Александр Почти. С пластиковой модели - резиновая (силиконовая на самом деле) форма, с нее восковки - восковые модели, восковки заливают гипсом, воск выплавояют и так получается уже форма для метала.
Wandering Thinker likes this.
Снарк reshared this.
Есть еще одна причина, по которой нам нравятся изображения нейросетей. Нейросети используют (ненамеренно) формулу красоты.
Про то, почему нам красиво, никто, кроме меня, толком не знает. Но я вам расскажу.
Есть два источника красоты. Биологический и эвристический (который тоже растет из биологии но иначе). С Биологической красотой все понятно. Нам кажется красивым то, что полезно для выживания и размножения. Человек противоположного пола, дети, еда…. А вот многоножек большинство не считают красивыми. Но красоту многоножек можно увидеть, если посмотреть на них с точки зрения второго вида красоты.
Если биологическая красота понятна, и, в целом, тривиальна по содержанию, то с эвристической красотой все сложнее. Мы можем увидеть красоту в совсем не полезных вещах. В тех же многоножках, самолетах, формулах, шахматных этюдах, музыке…. Почему? Или вот цветы. Они красивые, чтобы привлекать насекомых. Но почему они красивые для нас? У нас с насекомыми одни критерии красоты?
Так вот. Этот вид красоты — это эвристика для определения закономерностей. То, что часто называют гармонией, совершенством. Человек смотрит вокруг и выделяет те предметы, которые явно не случайны. В структуре которых есть какие-то взаимосвязи. Это или искусственные объекты, или живые организмы. Живые объекты строятся по алгоритмам из ДНК и потому имеют структуру. А искусственные предметы создаются с определенной целью, и потому их характеристики тоже не случайны. То есть, эвристика красоты срабатывает на неслучайности. В большинстве случаев они действительно интересны существу по разным причинам. Иногда эвристика срабатывает на природные неживые объекты. Например, на снежинки или вообще кристаллы.
Но это не всё.
В детстве я читал фантастический рассказ, в котором в компьютер загрузили все великие произведения искусства, чтобы он их проанализировал и выдал шедевр. Компьютер подумал и нарисовал круг. Максимально идеальную форму.
В реальности, в круге мы не видим ничего, что делало бы его красивым самим по себе. Просто для того, чтобы понять, что круг обладает не случайной формой, не нужна специальная эвристика. Это и так понятно. Красивым же мы считаем то, чью структуру мы не понимаем, но чувствуем.
И отсюда вырастают все художественные приемы. Золотое сечение, архимедова спираль, правило третей, равновесие визуальных весов, золотая секвенция в музыке, модульная сетка в верстке, ритм и рифма в поэзии и сотни других правил. Главное, что они создают в произведении искусства закономерности. Которые связываются внутри еще закономерностями. В шедевре нет ничего случайного, вся структура подчинена внутренним закономерностям, мы их чувствуем, чувствуем, что в картине неслучайно всё, и нам красиво.
Помните про рассказ, в котором компьютер нарисовал круг? Интересно, что в реальности именно это и сделали с нейросетями. Загрузили в них много произведений и попросили что-то нарисовать. И на самом деле компьютер выдает вот это на запрос «идеальное произведение искусства»
Когда нейросеть генерирует изображение, она действует по алгоритму. По закономерностям. По самой своей природе, нейронка не может это сделать произвольно. Мы чувствуем заложенные закономерности, и нам красиво. Даже если ни мы, ни сама нейросеть не может это объяснить.
Теперь вы знаете 😀
https://blog.sirano.info/2023/01/formula-krasoty/
Про то, почему нам красиво, никто, кроме меня, толком не знает. Но я вам расскажу.
Есть два источника красоты. Биологический и эвристический (который тоже растет из биологии но иначе). С Биологической красотой все понятно. Нам кажется красивым то, что полезно для выживания и размножения. Человек противоположного пола, дети, еда…. А вот многоножек большинство не считают красивыми. Но красоту многоножек можно увидеть, если посмотреть на них с точки зрения второго вида красоты.
Если биологическая красота понятна, и, в целом, тривиальна по содержанию, то с эвристической красотой все сложнее. Мы можем увидеть красоту в совсем не полезных вещах. В тех же многоножках, самолетах, формулах, шахматных этюдах, музыке…. Почему? Или вот цветы. Они красивые, чтобы привлекать насекомых. Но почему они красивые для нас? У нас с насекомыми одни критерии красоты?
Так вот. Этот вид красоты — это эвристика для определения закономерностей. То, что часто называют гармонией, совершенством. Человек смотрит вокруг и выделяет те предметы, которые явно не случайны. В структуре которых есть какие-то взаимосвязи. Это или искусственные объекты, или живые организмы. Живые объекты строятся по алгоритмам из ДНК и потому имеют структуру. А искусственные предметы создаются с определенной целью, и потому их характеристики тоже не случайны. То есть, эвристика красоты срабатывает на неслучайности. В большинстве случаев они действительно интересны существу по разным причинам. Иногда эвристика срабатывает на природные неживые объекты. Например, на снежинки или вообще кристаллы.
Но это не всё.
В детстве я читал фантастический рассказ, в котором в компьютер загрузили все великие произведения искусства, чтобы он их проанализировал и выдал шедевр. Компьютер подумал и нарисовал круг. Максимально идеальную форму.
В реальности, в круге мы не видим ничего, что делало бы его красивым самим по себе. Просто для того, чтобы понять, что круг обладает не случайной формой, не нужна специальная эвристика. Это и так понятно. Красивым же мы считаем то, чью структуру мы не понимаем, но чувствуем.
И отсюда вырастают все художественные приемы. Золотое сечение, архимедова спираль, правило третей, равновесие визуальных весов, золотая секвенция в музыке, модульная сетка в верстке, ритм и рифма в поэзии и сотни других правил. Главное, что они создают в произведении искусства закономерности. Которые связываются внутри еще закономерностями. В шедевре нет ничего случайного, вся структура подчинена внутренним закономерностям, мы их чувствуем, чувствуем, что в картине неслучайно всё, и нам красиво.
Помните про рассказ, в котором компьютер нарисовал круг? Интересно, что в реальности именно это и сделали с нейросетями. Загрузили в них много произведений и попросили что-то нарисовать. И на самом деле компьютер выдает вот это на запрос «идеальное произведение искусства»
Когда нейросеть генерирует изображение, она действует по алгоритму. По закономерностям. По самой своей природе, нейронка не может это сделать произвольно. Мы чувствуем заложенные закономерности, и нам красиво. Даже если ни мы, ни сама нейросеть не может это объяснить.
Теперь вы знаете 😀
https://blog.sirano.info/2023/01/formula-krasoty/
Формула красоты
Есть еще одна причина, по которой нам нравятся изображения нейросетей. Нейросети используют (ненамеренно) формулу красоты. Про то, почему нам красиво, никто, кроме меня, толком не знает. Но я вам р…Персональный блог Sirano
Снарк reshared this.
Снарк reshared this.
Запустится ли это в Doom? Калькулятор, работающий на демонах
В этой статье автор демонстрирует, что в Doom можно запускать любые конечные вычисления, если не учитывать ограничения размеров уровня: https://bit.ly/3QzSSt6 https://twitter.com/habr_com/status/1613596768083525633/photo/1
Источник: https://twitter.com/habr_com/status/1613596768083525633
В этой статье автор демонстрирует, что в Doom можно запускать любые конечные вычисления, если не учитывать ограничения размеров уровня: https://bit.ly/3QzSSt6 https://twitter.com/habr_com/status/1613596768083525633/photo/1
Источник: https://twitter.com/habr_com/status/1613596768083525633
Запустится ли это в Doom? Калькулятор, работающий на демонах
Да Десятки лет мы задавались вопросом: «Запустится ли на этом устройстве Doom?». Теперь мы наконец можем задать вопрос иначе: «Запустится ли этот код в Doom?»...PatientZero (Habr)
Снарк reshared this.
Сегодня совсем не время для грустных постов. Но, все-таки стоит это сказать сегодня, чтобы не тащить в следующий год.
Из всех итогов этого года самый значимый тот, что в этом году моя прежняя жизнь закончилась. В феврале. А новая так и не началась. Сейчас нечем жить, и все, что остается, помогать жить другим.
Это не правильно, конечно. В одном фильме про постапокалипсис была цитата из выдуманной книги про постапокалипсис. "Просто выжить - недостаточно".
И к будущему году у меня только одно пожелание. Чтобы закончилось это ужасное безвременье, и у всех снова начали возникать нормальные человеческие смыслы. Чтобы снова можно было дышать.
Из всех итогов этого года самый значимый тот, что в этом году моя прежняя жизнь закончилась. В феврале. А новая так и не началась. Сейчас нечем жить, и все, что остается, помогать жить другим.
Это не правильно, конечно. В одном фильме про постапокалипсис была цитата из выдуманной книги про постапокалипсис. "Просто выжить - недостаточно".
И к будущему году у меня только одно пожелание. Чтобы закончилось это ужасное безвременье, и у всех снова начали возникать нормальные человеческие смыслы. Чтобы снова можно было дышать.
Александр likes this.
Xenomorph 🐉 reshared this.
Написал как коммент к посту в фб, и подумал, что интересно само по себе. Об ИИ и художниках.
Кого-то не сможет заменить, кого-то сможет. Раньше художник был ценен уже потому, что мог сказать "я так могу". А сейчас оказалось, что "так" может и бездушное железо.
Красота в глазах смотрящего. И часто зритель "дорабатывал" картину за художника. Во многом именно на этом держится нейроискусство. Мы видим в картине смысл, хотя ии смысл заложить не может. Но проблема не в том, что в картинах ии нет смысла, а в том, что и в картинах многих художников его нет. И нет никакой возможности отличить одно от другого. И вот осознание некоторых художников того, что содержания у них нет (хотя раньше это было не очевидно) и приводит к болезненному отрицанию.
Кого-то не сможет заменить, кого-то сможет. Раньше художник был ценен уже потому, что мог сказать "я так могу". А сейчас оказалось, что "так" может и бездушное железо.
Красота в глазах смотрящего. И часто зритель "дорабатывал" картину за художника. Во многом именно на этом держится нейроискусство. Мы видим в картине смысл, хотя ии смысл заложить не может. Но проблема не в том, что в картинах ии нет смысла, а в том, что и в картинах многих художников его нет. И нет никакой возможности отличить одно от другого. И вот осознание некоторых художников того, что содержания у них нет (хотя раньше это было не очевидно) и приводит к болезненному отрицанию.
Александр likes this.
Снарк reshared this.
У нейросетей, которые пишут тексты есть существенный баг. Совершенно непонятна достоверность информации. Они правдоподобно ответят на вопрос, даже если ответа у них нет. Спросишь про периметр (или даже про площадь) пятиугольного треугольника — ответит
Если же попросить привести пруф на какой-то факт, может привести реальный, а может выдать правдоподобно выглядящую но никуда не ведущую ссылка, или вполне достоверно смотрящуюся отсылку на несуществующую научную статью в журнале.
Но. Многие этого еще не поняли, но это хорошая новость. Потому что ставит перед разработчиками задачу автоматической верификации. Что-то подобное было описано у Нила Стивенсона в «Анафеме». Чтобы нейросеть могла не просто рассказывать о чем-то, а приводить релевантные пруфы, и выдавать разные точки зрения если их несколько с оценкой их достоверности (как в хороших статьях Википедии)
А эти системы верефикации могут оказатся сами по себе даже более полезными, чем сами текстогенераторы. Так что их можно будет использовать самих по себе для проверки любой информации.
#нейросети
https://blog.sirano.info/2022/12/12071/
Если же попросить привести пруф на какой-то факт, может привести реальный, а может выдать правдоподобно выглядящую но никуда не ведущую ссылка, или вполне достоверно смотрящуюся отсылку на несуществующую научную статью в журнале.
Но. Многие этого еще не поняли, но это хорошая новость. Потому что ставит перед разработчиками задачу автоматической верификации. Что-то подобное было описано у Нила Стивенсона в «Анафеме». Чтобы нейросеть могла не просто рассказывать о чем-то, а приводить релевантные пруфы, и выдавать разные точки зрения если их несколько с оценкой их достоверности (как в хороших статьях Википедии)
А эти системы верефикации могут оказатся сами по себе даже более полезными, чем сами текстогенераторы. Так что их можно будет использовать самих по себе для проверки любой информации.
#нейросети
https://blog.sirano.info/2022/12/12071/
https://blog.sirano.info/2022/12/12071/
У нейросетей, которые пишут тексты есть существенный баг. Совершенно непонятна достоверность информации. Они правдоподобно ответят на вопрос, даже если ответа у них нет. Спросишь про периметр (или …Персональный блог Sirano
А некоторые вещи просто не возможно верифицировать (точнее иметь репрезентабельную статистику, достаточную для обучения).
Кстати, с людьми так же 😀 Для защиты от этого придуманы всякие специальные приемы, но в обычном общении "говорят, в Москве кур доят, а в Рязани грибы с глазами".
Я тут делаю клип с помощью нейросетей. На колыбельную. А там, знаете, как в Теории Большого Взрыва: "Мелкий пушистый котонок спит, свернулся клубочком и мурчит".
Так что вот экспериментальные видеокусочки с котиками от нейросетей. На самом деле, когда я засыпаю, примерно такие метаморфозы и видятся, так что все тут точно.
И руки классные, с меняющемся коллическтвом пальцев...
#нейросети
Так что вот экспериментальные видеокусочки с котиками от нейросетей. На самом деле, когда я засыпаю, примерно такие метаморфозы и видятся, так что все тут точно.
И руки классные, с меняющемся коллическтвом пальцев...
#нейросети
nullstreak likes this.
@nullstreak Вот этот конкретный эпизод делался с помощью Deforum - это надстройка на stable Diffusion. А так в принципе чего только не использую :)
Снарк reshared this.
Я понимаю, что разбираться в новых соцсетях сложно. Тем более, что федиверс — это не одна сеть, а целая вселенная соцсетей. Поэтому я напишу как привычнее всего использовать эти сети с конкретными рекомендациями, чтобы снизить порог вхождения для других. Рекомендации носят, разумеется, рекомедательный характер 😀 Напомню, что в федиверсе нет хозяина, который решает, что вам смотреть. Посты в хронологическом порядке, Отсутствие глобальной цензуры. Локально хозяин сервера может устанавливать любые свои правила, но если вам они не нравятся есть возможность пренести весь контент на другой сервер вместе с записями и подписками на друзей. Механизмы для этого встроены в систему. Или поставить свой сервер. Как я говорил, федиверс, это не конкретная сеть, а протокол. И на самом деле, это не один протокол, а несколько 😀 В целом, выбор той или иной сети в рамках обного протокола не особо важен. В своей ленте вы будете читать и комментировать и сообщения из аналога твиттера (Mastodon), и картинки из аналога инстаграмма (Pixelfed), и видео из аналога ютуба (PeerTube). И не только соцсети 😀
Все перечисленные в предыдущем абзаце соцсети работают по протоколу ActivityPub. Он наиболее развит, и я рекомендую пользоваться именно им.
Наиболее полезные реализации ActivityPub:
Pixelfed, федеративный сервис для обмена фотографиями. Тот же фукционал, что в инсте. Картинки, подписи, фильтрв для фотографий… У меня там (на одном из серверов) есть канал с нейрокартинками https://metapixl.com/Snark
PeerTube, федеративный сервис для стриминга видео. С видео сложнее, чем с фото. Поскольку, как правило, это большие файлы, мало кто хочет разворачивать у себя узел, в котором будет постить видео кто угодно. Так что Ютуб особо им не заменишь, увы 🙁
Mastodon, Pleroma — соцсети типа твиттера. С сопутствующими твиттеру ограничениями. Например, длина записи в большинстве Mastodon серверов — 500 знаков. И максимум 4 фото в посте. Но есть и исключения — например сервер https://lor.sh — там могут быть посты длинной 100500 символов 😀
Ну, и самое близкое к вк и fb (но даже с большими возможностями) — это Friendica.
Именно на ней я в итоге и остановился. Из серверов я выбрал Децинтрелизованную сеть города Рудный https://rud.life/Несколько странный выбор, это достаточно небольшая сеть, но там много русскоязычных подписчиков, поэтому мне там проше по локальной сети искать русскоязычную публику. Но, в целом, это не столь важно — подписатся можно на любого человека из сетей с протоколом ActivityPub. Так, моя сеть и аккаунт во Френдике, а приложение, с которого я читаю, это вообще приложение для Мастадона. Я там — https://rud.life/profile/snark (я указываю линк на страницу, но в целом идентификация там как в почте — ник, собака, и имя сервера. То есть snark@rud.life)
Используя адрес (как один, так и другой) можно добавить любого участника любой мз сетей во френды, читать его, комментировать. Достаточно любой из этих адресов поместить в поле поиска, поиск найдет юзера и появится кнопка добавить. Друзей можно разбивать на группы, и читать ленту какой-то конкретной группы.
Так же в ленту можно добавить для чтения (для коментирования ссылка перебросит на оригинальный сайт) например, посты из ЖЖ! Дело в том, что в ленту френдики можно добавлять RSS. Этот протакол есть во многих блогах. Например, Naked Science. Да и вообще, практически любой новостной сайт выдает RSS. Достаточно вставить его в поле поиска на фпендике, и RSS откроется как обычный юзер, которого можно добавить к себе в ленту.
Так вот, ЖЖ — тоже выдает RSS. Достаточно к адресу конкретного жж юзера добавить /data/rss и получившийся адрес вставить туда же, в поле поиска френдики, и вы сможете читать френда из ЖЖ прямо из своей ленты френдики. Даже с юзерпиком 😀
А, скажем, блог на вордпресс не только имеет RSS, но и с помощью плагина вообще отдает свой контент в формате ActivityPub. Так что на мой блог, который я веду еще с дофейсбучных времен, вы тоже можете подписаться через любую из сетей федиверса с помощью адреса Sirano@blog.sirano.info
В самих постах на френдике можно использовать BBCode — то есть использовать всякие подчеркивания, зачеркивани, болды, вставлять картинки в текст и все такое.
Кстати, в федиверсе обитают Нил Гейман neilhimself@mastodon.social и Стивен Фрай stephenfry@mastodonapp.uk. И также есть трансляции разных аккаунтов твиттера, например eschulmann@mastodon.mlДа, с твиттером френдика вообще хорошо комуницирует, связать их между собой.
https://blog.sirano.info/2022/12/kak-polyubit-fedivers/
Все перечисленные в предыдущем абзаце соцсети работают по протоколу ActivityPub. Он наиболее развит, и я рекомендую пользоваться именно им.
Наиболее полезные реализации ActivityPub:
Pixelfed, федеративный сервис для обмена фотографиями. Тот же фукционал, что в инсте. Картинки, подписи, фильтрв для фотографий… У меня там (на одном из серверов) есть канал с нейрокартинками https://metapixl.com/Snark
PeerTube, федеративный сервис для стриминга видео. С видео сложнее, чем с фото. Поскольку, как правило, это большие файлы, мало кто хочет разворачивать у себя узел, в котором будет постить видео кто угодно. Так что Ютуб особо им не заменишь, увы 🙁
Mastodon, Pleroma — соцсети типа твиттера. С сопутствующими твиттеру ограничениями. Например, длина записи в большинстве Mastodon серверов — 500 знаков. И максимум 4 фото в посте. Но есть и исключения — например сервер https://lor.sh — там могут быть посты длинной 100500 символов 😀
Ну, и самое близкое к вк и fb (но даже с большими возможностями) — это Friendica.
Именно на ней я в итоге и остановился. Из серверов я выбрал Децинтрелизованную сеть города Рудный https://rud.life/Несколько странный выбор, это достаточно небольшая сеть, но там много русскоязычных подписчиков, поэтому мне там проше по локальной сети искать русскоязычную публику. Но, в целом, это не столь важно — подписатся можно на любого человека из сетей с протоколом ActivityPub. Так, моя сеть и аккаунт во Френдике, а приложение, с которого я читаю, это вообще приложение для Мастадона. Я там — https://rud.life/profile/snark (я указываю линк на страницу, но в целом идентификация там как в почте — ник, собака, и имя сервера. То есть snark@rud.life)
Используя адрес (как один, так и другой) можно добавить любого участника любой мз сетей во френды, читать его, комментировать. Достаточно любой из этих адресов поместить в поле поиска, поиск найдет юзера и появится кнопка добавить. Друзей можно разбивать на группы, и читать ленту какой-то конкретной группы.
Так же в ленту можно добавить для чтения (для коментирования ссылка перебросит на оригинальный сайт) например, посты из ЖЖ! Дело в том, что в ленту френдики можно добавлять RSS. Этот протакол есть во многих блогах. Например, Naked Science. Да и вообще, практически любой новостной сайт выдает RSS. Достаточно вставить его в поле поиска на фпендике, и RSS откроется как обычный юзер, которого можно добавить к себе в ленту.
Так вот, ЖЖ — тоже выдает RSS. Достаточно к адресу конкретного жж юзера добавить /data/rss и получившийся адрес вставить туда же, в поле поиска френдики, и вы сможете читать френда из ЖЖ прямо из своей ленты френдики. Даже с юзерпиком 😀
А, скажем, блог на вордпресс не только имеет RSS, но и с помощью плагина вообще отдает свой контент в формате ActivityPub. Так что на мой блог, который я веду еще с дофейсбучных времен, вы тоже можете подписаться через любую из сетей федиверса с помощью адреса Sirano@blog.sirano.info
В самих постах на френдике можно использовать BBCode — то есть использовать всякие подчеркивания, зачеркивани, болды, вставлять картинки в текст и все такое.
Кстати, в федиверсе обитают Нил Гейман neilhimself@mastodon.social и Стивен Фрай stephenfry@mastodonapp.uk. И также есть трансляции разных аккаунтов твиттера, например eschulmann@mastodon.mlДа, с твиттером френдика вообще хорошо комуницирует, связать их между собой.
https://blog.sirano.info/2022/12/kak-polyubit-fedivers/
Снарк reshared this.
Снарк reshared this.
Когда появились неросети, рисующие картинки, я подумал: «Как здорово! Это обязательно надо использовать!» О дальнейшем вы догадываетесь. Оказалось, что нейросеть классно рисует «что-нибудь».
Результат, выданный сетью Midjourney на запрос «Что-нибудь в стиле Ван-Гога»
Но заставить ее нарисовать что-то конкретное — задача даже более творческая, чем у обычного художника (я определяю творчество как решение задач, не имеющих алгоритма решения). И все-таки мне удалось научиться применять нейросети на практике, причем в разных областях. В этой статье я расскажу, как с помощью нейросетей создал вполне материальные, ощутимые пальцами, украшения.
Но начинается эта история с моих попыток использования нейросетей в графике.
Довелось нам делать мэппинг для театра. Это была видеопроекция на стену в фойе театра, эдакая своеобразная подвижная афиша. Спектакль рассказывал историю Стивенсона про Остров Сокровищ, и для ролика мне нужен был Веселый Роджер. В принципе, нарисовать его не сложно, или можно купить на стоке. Но я подумал, а не попробовать ли для решения задачи новые технологии. Зашел я в Midjourney и говорю. Дай мне, дескать, череп в треуголке. «Skull in a cocked hat». И что бы вы думали? ИИ мне выдает гламурный такой череп в кокетливой шляпке. Видимо он так понял «cocked hat».
Череп в кокетливой шляпке. Результат генерации нейросети Midjourney
Я уточнил, что череп мужской, и мне нарисовали гламурный мужской череп в кокетливой шляпке :
Мужской череп в кокетливой шляпке
Подходящий череп я в итоге сгенерил, треуголку пририсовал руками («треугольная шляпа» — кстати, релевантно выдает реуголку, но наступает момент, когда время поджимет, и быстрее просто нарисовать).
Это была присказка. Теперь начинается сама история.
Смотрю я на получившмеся черепа, и думаю. А ведь выглядит как украшение. И решил сделать из этого черепа кулон. Ну или серьги. Я давно занимаюсь изготовление таких вещей.
Увы, нейросети пока не умеют 3D (точнее, уже подбираются, но результаты, пока довольно невзрачные). Так что пришлось придумывать, как из плоской картинки сделать 3D модель.
К счастью, одним из моих многочисленных занятий, является 3D-фотография, и я давно уже умею создавать из плоских картинок их карты глубины.
Во-первых, надо сгенерить подходящее изображение. Его сразу нужно делать черно-белым.
Сложности начинаются с этого места. Работа с нейросетью, это как работа с живым гениальным но витающем в своих фантазиях художником. Поэтому, изображение создается в несколько этапов. Сначала я делаю картинку в Midjourney, затем отдельные часть меняю через inpainting Stable Diffusion, и в итоге дорисовываю детали в фотошопе.
Как нарисовать сову. 1. Рисунок созданный в Midjourney, 2,3. изменение отдельной области через inpainting Stable Diffusion, 4. Дорисовка в фотошопе
Далее нам необходимо получить карту глубины. В идеале было бы создавать карту глубины сразу, но на слова «depth map» нейросеть не генерирует ничего подходящего. Гораздо более похожий на карту глубины результат (но все равно недостаточно удовлетворительный) получается по словам «ambient occlusion». Но и этого недостаточно.Когда видишь черно-белый рисунок, очень хочется его прямо сходу использовать как карту глубины. Но, увы, он не обладает такими свойствами. Так, на картинке слева, видно, что правая сторона солнца и правая сторона правой девушки в тени, а на объемной модели это будет выглядеть так, будто часть лиц оказывается дальше затылка. Это нем совсем не подходит.
Изображение, созданное Midjourney и его карта глубины, созданная с помощью MiDaS
И тут нам на помощь приходит другая нейросеть, с которой я был знаком еще до появления рисующих нейросетей. Эта сеть называется MiDaS. Она по готовым изображениям создает карты глубин. Более того, для Stable Diffusion существует скрипт, которые создает карту глубины сразу же после генерации изображения. А на днях вышла Stable Diffusion 2.0, в которой карта глубины используется отдельным слоем при генерации изображений!
Увы, такая карта глубины недостаточно детализирована. Ее хватает для создания стереофотографий, но совсем не хватает для создания барельефа. Поэтому приходится колдовать с картой глубины, самим изображением, и дорисовывать что-то вручную, чтобы получить удовлетворяющий тебя самого результат. Помните? Творчество — это решение задач не имеющих алгоритмов решения.
После получения карты глудины, дальнейшее — дело техники. По этой карте можно создать объемную модель или в Artcam, или в блендере, или даже в некоторых слайсерах. А дальше, печать на фотополимерном принтере, ручная раскраска и вуаля:
Тот самый череп в шляпке
Украшения созданные с помощью нейросети
Вот так причудливые фантазии нейросети обретают плоть, и начинают жить в материальном мире
https://blog.sirano.info/2022/12/materializaciya-chuvstvennyx-idej-ili-kak-ya-ispolzoval-nejroseti-dlya-sozdaniya-ukrashenij/
Результат, выданный сетью Midjourney на запрос «Что-нибудь в стиле Ван-Гога»Но заставить ее нарисовать что-то конкретное — задача даже более творческая, чем у обычного художника (я определяю творчество как решение задач, не имеющих алгоритма решения). И все-таки мне удалось научиться применять нейросети на практике, причем в разных областях. В этой статье я расскажу, как с помощью нейросетей создал вполне материальные, ощутимые пальцами, украшения.
Но начинается эта история с моих попыток использования нейросетей в графике.
Довелось нам делать мэппинг для театра. Это была видеопроекция на стену в фойе театра, эдакая своеобразная подвижная афиша. Спектакль рассказывал историю Стивенсона про Остров Сокровищ, и для ролика мне нужен был Веселый Роджер. В принципе, нарисовать его не сложно, или можно купить на стоке. Но я подумал, а не попробовать ли для решения задачи новые технологии. Зашел я в Midjourney и говорю. Дай мне, дескать, череп в треуголке. «Skull in a cocked hat». И что бы вы думали? ИИ мне выдает гламурный такой череп в кокетливой шляпке. Видимо он так понял «cocked hat».
Череп в кокетливой шляпке. Результат генерации нейросети MidjourneyЯ уточнил, что череп мужской, и мне нарисовали гламурный мужской череп в кокетливой шляпке :
Мужской череп в кокетливой шляпке
Подходящий череп я в итоге сгенерил, треуголку пририсовал руками («треугольная шляпа» — кстати, релевантно выдает реуголку, но наступает момент, когда время поджимет, и быстрее просто нарисовать).
Это была присказка. Теперь начинается сама история.
Смотрю я на получившмеся черепа, и думаю. А ведь выглядит как украшение. И решил сделать из этого черепа кулон. Ну или серьги. Я давно занимаюсь изготовление таких вещей.
Увы, нейросети пока не умеют 3D (точнее, уже подбираются, но результаты, пока довольно невзрачные). Так что пришлось придумывать, как из плоской картинки сделать 3D модель.
К счастью, одним из моих многочисленных занятий, является 3D-фотография, и я давно уже умею создавать из плоских картинок их карты глубины.
Во-первых, надо сгенерить подходящее изображение. Его сразу нужно делать черно-белым.
Сложности начинаются с этого места. Работа с нейросетью, это как работа с живым гениальным но витающем в своих фантазиях художником. Поэтому, изображение создается в несколько этапов. Сначала я делаю картинку в Midjourney, затем отдельные часть меняю через inpainting Stable Diffusion, и в итоге дорисовываю детали в фотошопе.
Как нарисовать сову. 1. Рисунок созданный в Midjourney, 2,3. изменение отдельной области через inpainting Stable Diffusion, 4. Дорисовка в фотошопе
Далее нам необходимо получить карту глубины. В идеале было бы создавать карту глубины сразу, но на слова «depth map» нейросеть не генерирует ничего подходящего. Гораздо более похожий на карту глубины результат (но все равно недостаточно удовлетворительный) получается по словам «ambient occlusion». Но и этого недостаточно.Когда видишь черно-белый рисунок, очень хочется его прямо сходу использовать как карту глубины. Но, увы, он не обладает такими свойствами. Так, на картинке слева, видно, что правая сторона солнца и правая сторона правой девушки в тени, а на объемной модели это будет выглядеть так, будто часть лиц оказывается дальше затылка. Это нем совсем не подходит.
Изображение, созданное Midjourney и его карта глубины, созданная с помощью MiDaS
И тут нам на помощь приходит другая нейросеть, с которой я был знаком еще до появления рисующих нейросетей. Эта сеть называется MiDaS. Она по готовым изображениям создает карты глубин. Более того, для Stable Diffusion существует скрипт, которые создает карту глубины сразу же после генерации изображения. А на днях вышла Stable Diffusion 2.0, в которой карта глубины используется отдельным слоем при генерации изображений!
Увы, такая карта глубины недостаточно детализирована. Ее хватает для создания стереофотографий, но совсем не хватает для создания барельефа. Поэтому приходится колдовать с картой глубины, самим изображением, и дорисовывать что-то вручную, чтобы получить удовлетворяющий тебя самого результат. Помните? Творчество — это решение задач не имеющих алгоритмов решения.
После получения карты глудины, дальнейшее — дело техники. По этой карте можно создать объемную модель или в Artcam, или в блендере, или даже в некоторых слайсерах. А дальше, печать на фотополимерном принтере, ручная раскраска и вуаля:
Тот самый череп в шляпке
Украшения созданные с помощью нейросети
Вот так причудливые фантазии нейросети обретают плоть, и начинают жить в материальном мире
https://blog.sirano.info/2022/12/materializaciya-chuvstvennyx-idej-ili-kak-ya-ispolzoval-nejroseti-dlya-sozdaniya-ukrashenij/
GitHub - isl-org/MiDaS: Code for robust monocular depth estimation described in "Ranftl et. al., Towards Robust Monocular Depth Estimation: Mixing Datasets for Zero-shot Cross-dataset Transfer, TPAMI 2022"
Code for robust monocular depth estimation described in "Ranftl et. al., Towards Robust Monocular Depth Estimation: Mixing Datasets for Zero-shot Cross-dataset Transfer, TPAMI 2022" - Git...GitHub
Снарк reshared this.
Я издавал какие-то свои книжки на Ридеро. И мне, как и всем остальным пришло письмо, где грозят сжечь штрафом в 200 000, если:
Вот я и думаю, отношения с ангелами достаточно нетрадиционные?
P.S. Ё... Вспомнил, там же еще роботы есть...
#тексты
"Если в тексте, на обложке, в иллюстрациях или в выходных данных содержится информация, которую можно счесть относящейся к нетрадиционным сексуальным отношениям, то книгу нужно обязательно снять с публикации.
Сделать это нужно в течение 5 календарных дней после получения этого письма."
Вот я и думаю, отношения с ангелами достаточно нетрадиционные?
P.S. Ё... Вспомнил, там же еще роботы есть...
#тексты
3 people like this
Еще вопрос. Чем аккаунт-бот отличается от форума френдики?
И, еще, я вот попробувал для форума зарегистрировать дополнительную учётную запись на странице https://rud.life/settings/delegation а мне пишет "нет разрешения" 🙁 Как быть?
И, еще, я вот попробувал для форума зарегистрировать дополнительную учётную запись на странице https://rud.life/settings/delegation а мне пишет "нет разрешения" 🙁 Как быть?
Бот - это некий внешний скрипт, который где-то крутится и выполняет операции.
Т.е. нужно взять код (можно у владельцев @Rоссийская🐻Fедерация или @городДляЛюдей спросить) и где-то его запустить, где он будет работать 24/7, т.е. нужен сервер.
И дальше бот будет периодически проверять "свою ленту" на упоминания и производить операции.
Т.е. нужно взять код (можно у владельцев @Rоссийская🐻Fедерация или @городДляЛюдей спросить) и где-то его запустить, где он будет работать 24/7, т.е. нужен сервер.
И дальше бот будет периодически проверять "свою ленту" на упоминания и производить операции.
Снарк likes this.
𝕵𝖔𝖍𝖆𝖓 ⛧
•