"Газпром-Медиа Холдинг" выпустил первый мульткаст на основе искусственного интеллекта

Студия нейропродакшена «Газпром-Медиа Холдинга» D.lab совместно с ГПМ Радио разработали и выпустили первый анимированный искусственным интеллектом аудиоподкаст — мульткаст Детского радио «Новые приключения Веснушки и Кипятоши». Первая восьмиминутная серия уже доступна на RUTUBE, VK Видео и в соцсетях Детского радио. 

Мульткаст, созданный на основе искусственного интеллекта, — это инновационный и новый продукт для радио. Технология D.lab предоставляет радиовещателям возможность переупаковать аудиоконтент, привлечь новую аудиторию и задействовать дополнительные инструменты монетизации. Для премьерной серии взят один из эпизодов подкаста «Новые приключения Веснушки и Кипятоши» — он входит в тройку самых популярных на Детском радио. За минувший год на разных цифровых платформах выпуски послушали свыше 51,5 млн раз.

«Радио как технологичное медиа постоянно экспериментирует, пробует разные виды подачи информации, предугадывает и опережает тренды. Несколько лет назад мы преобразовали эфирные программы в аудиоподкасты, и они получили невероятную популярность, стали одним из наиболее востребованных форматов в digital. Теперь, использовав возможности нейросетей, подкаст превратили в мультфильм. На радио такого еще никто не делал, и первые отклики показывают — продукт заинтересовал аудиторию. Прецедент обещает стать и точкой отсчета для будущих коллабораций с кинопрокатными компаниями, онлайн-кинотеатрами, видеохостингами», —отметил генеральный директор ГПМ Радио Вадим Терещук.

Мульткаст Детского радио — первый большой проект студии нейропродакшена D.lab, которую «Газпром-Медиа Холдинг» запустил в сентябре 2023 года. Видеоряд создан с применением собственного гибридного решения студии, в основе которого использованы open source и коммерческие модели искусственного интеллекта, дополнительно обученные и скомбинированные для производства мультимедийного контента. Решение D.lab повышает рентабельность анимационного производства в среднем в 2-4 раза относительно традиционных циклов за счет более сбалансированного соотношения скорости, качества и стоимости процессов. 

«Человек тут ничего не рисовал, у нас была только аудиодорожка. Самым сложным оказалось объяснить нейросетям, что платье в горошек на героине и веснушки на ее лице должны быть в каждом кадре, пришлось поработать и над эмпатией, — говорит руководитель D.lab Эдуард Маас. — Мы не собираемся конкурировать с классической анимацией. Классика — всегда штучный товар, его производство дольше и дороже. Мы же разработали инструмент для создания дополнительного контента. Нам удалось выйти на весьма привлекательное соотношение скорости производства, стоимости и качества конечного продукта».

Цикл производства мульткаста включает несколько этапов — разработку персонажей моделями Text-to-Image, дообучение Text-to-Image для стабильного воспроизведения персонажей, генерацию графики и анимации моделями Image-to-Video, а также постпродакшен — монтаж, доработку артикуляции, синхронизацию изображения с аудиодорожкой, улучшение качества изображения. 

Сфера анимации расширяет свои границы и заходит в разные виды контента, комментирует генеральный директор, генеральный продюсер анимационной компании «ЯРКО» Альбина Мухаметзянова: «На радио ничего подобного еще не делали, поэтому радостно вдвойне, что аудиоконтент тоже становится более технологичным. Сегодня нейронные сети существенно облегчают некоторые этапы производства проектов. Это именно инструментарий, ни в коем случае не замена специалистов индустрии. Новые технологии дают возможность уменьшить рутину, увеличить скорость разработки, посмотреть на творческую задачу шире. Но процесс все же предполагает участие художников и других специалистов, которые вносят правки и делают персонажей и миры более объемными и понятными аудитории».