Мы сгенерировали в нейросети 3250 кадров и объединили их в видео о танце

В конце 2022 года мы с друзьями и бывшими коллегами основали студию медиаискусств Shum — я занял должность креативного продюсера.

Мы занимаемся арт-проектами и цифровым искусством. Например, делаем презентации, интерактивные инсталляции и стенды, создаем видео и анимации, экспериментируем с виртуальной реальностью. В общем, стараемся объединить искусство и технологии.

Именно поэтому мы с особым интересом следили за развитием нейросетей. Как-то мы уже применяли их для улучшения качества видео, но все же хотелось придумать что-то более серьезное с использованием искусственного интеллекта.

Наша студия активно сотрудничает с Инновационным театром балета Калуги. В декабре 2022 года мы с солисткой Лорой Монжалей решили углубиться в нейроискусство и создать проект, который совместил бы стандартную видеосъемку, современный танец и технологии нейросети Stable Diffusion. Она бесплатная, работает на открытом коде, а еще ее можно установить локально на несколько компьютеров — в нашем случае на шесть сразу. Мы сразу придумали концепт ролика «Киригами». Название отсылает к разновидности оригами, в котором допустимо использование режущих предметов.

Перед съемками мы решили провести небольшое исследование, чтобы понять, как человеческий мозг воспринимает видеоконтент, обработанный с помощью нейросетей. Мы показывали людям примеры уже существующих роликов и опрашивали их — 65% заявили, что такие видео перегружены информацией.

Картинка очень быстро меняется, поэтому человеческому глазу тяжело зацепиться за что-то одно. Из-за этого у зрителей пропадает желание смотреть ролик дальше. Кроме того, мы изучили современные исследования и узнали, что первые 15 секунд — ключевые для удержания зрительского внимания.

Так мы пришли к выводу, что зрители еще не готовы воспринимать видеоряд, который целиком сгенерирован или обработан искусственным интеллектом. От идеи мы не хотели отказываться, поэтому начали думать, как создать что-то смелое, но все же доступное для широкой аудитории.

Наш режиссер Андрей Горлачев предложил сосредоточиться на плавных переходах — от реальной съемки к кадрам, которые обработала нейросеть. Мы решили, что такой визуальный прием облегчит восприятие картинки. Хотелось сделать так, чтобы зритель очутился в привычном для себя пространстве, а потом попал в мир искусственного интеллекта.

Оборудование, которые мы использовали для съемки:

1. Беззеркальная камера Sony A7S 3.
2. Объектив Tamron 17—28mm f/2.8.
3. Электронный стабилизатор DJI Ronin RS2.
4. Световые приборы GreenBean.

Первая попытка. Лора придумала танец, а мы сняли его в обычном танцевальном зале и обработали несколько кадров в нейросети. Благодаря первому тесту стало ясно, что нейросеть лучше работает с исходниками видео в высоком разрешении, без цифрового шума, пикселей и с картинкой с высокой выдержкой. Но результат нас все же не устроил — мы решили добавить движений камеры и поменять локацию.

Вторая попытка. Второй ролик мы сняли на лестничной площадке с использованием ручной камеры — получилось неудачно.

Зато мы вновь провели работу над ошибками и сделали правильные выводы. Например, поняли, что во время съемки нужен штатив или стабилизатор. Композиция должна быть минималистичная и не перегруженная объектами, а танцовщица — одета в однотонную одежду.

Третья и четвертая попытки. Казалось, с третьего раза у нас все получится. Мы нашли новую минималистичную локацию и выставили свет, чтобы добавить в композицию теневой рисунок. Команда была уверена, что снимает финальную версию ролика.

Увы, результат вновь разочаровал: картинка все равно осталась перегруженной. Тогда стало ясно, что лучший вариант — первый тест, черно-белый и в танцевальном зале.

После нескольких дней обсуждений мы поняли, как исправить перегруженность картинки. Нужно было создать контраст между фоном и танцовщицей и хорошо осветить площадку, чтобы избавиться от теней. Четвертый тест оказался успешным — после него мы наконец-то сняли финальный вариант ролика.

После удачной съемки в студии начался этап постпродакшена — тот самый момент, когда нейросеть стала полноценным соавтором ролика.

Оборудование, которые мы использовали для работы с нейросетью и монтажа видео:

1. ПК с видеокартой GeForce RTX 3080 12 Гб.
2. Пять ПК с видеокартами GeForce RTX 3060 12 Гб.
3. Нейросеть Stable Diffusion.
4. Adobe Premiere Pro.
5. Ableton Live.

Постпродакшен ролика проходил поэтапно. Сначала мы экспортировали исходник видео в виде png-секвенции: из 130 секунд получилось 3250 кадров. Массив кадров поместили в Stable Diffusion и к каждому применили разработанную заранее «бумажную» стилистику. Запрос хотим оставить в секрете. После этого запустили рендер — он шел 10 часов на шести компьютерах одновременно. Наконец, смонтировали сгенерированные изображения и исходное видео с применением плавных переходов.

Отдельно отмечу, что аудиодорожка также влияет на перегруженность ролика, как и видеоряд. Поэтому мы решили самостоятельно написать музыку для видео, а в бите использовать эффекты разрезания и комкания бумаги.

Нейросети очень быстро развиваются — каждый день появляются новые технологии и созданные с их помощью произведения искусства. Мы старались как можно скорее закончить ролик и показать что-то, что еще никто не видел. Очень боялись опоздать на поезд хайпа. Но зрители тепло приняли нашу работу. Приятно, что мы также получаем много фидбэка от танцоров и хореографов. Даже не ожидали, что будет столько положительных отзывов и мы представим «Киригами» по телевидению и радио.

Благодаря ролику мы познакомились со многими цифровыми художниками и блогерами, которые занимаются освещением работы искусственного интеллекта. Для меня стало открытием, насколько приятное и нетоксичное комьюнити у медиахудожников. В нем царит приятная и дружественная атмосфера, где можно обратиться за технической поддержкой, помощью, взаимным пиаром и качественной критикой. Такого практически не встретишь в других творческих сферах — например, среди фотографов.

Есть и неожиданные итоги: недавно нам написала аспирантка Высшей школы экономики, которая занимается научным материалом о связи современной хореографии и видеоискусства — пластических и цифровых экспериментов. Она планирует использовать «Киригами» в качестве одного из источников исследования. Для нас это большой комплимент.

Все в нашей студии уверены, что искусственный интеллект уже преодолел точку, когда нейросети создавали лишь забавные картинки. Они уже стали полноценным соавтором и способны помогать человеку в поиске новых форм самовыражения — как в рекламном бизнесе и искусстве, так и в повседневности.

И все же не покидает чувство, что сегодня с искусственным интеллектом и сгенерированным им контентом всерьез работают лишь смельчаки — эдакие пионеры и евангелисты области. Наша студия относит себя к ним, и мы всегда рады работать с единомышленниками.

Сейчас одна из приоритетных задач команды — показать предпринимателям, художникам и музыкантам, как они могут использовать искусственный интеллект в бизнесе.

Например, вместе с крупным медиахолдингом мы сделали нейрооткрытки к 8 Марта. Они символизировали приход весны и Международный женский день. Мы хотели создать образ, который сливает воедино внешность 50 сотрудниц медиахолдинга. Получился красочный 20-секундный ролик, который в течение недели показывали на медиаэкранах 20 городов России — от Москвы до Тюмени. Очень надеемся, что таких экспериментов в ближайшее время станет больше.