HUAWEI представляет "симфонию северного сияния" на базе искусственного интеллекта

«Симфония света» («Sound of Light») — международный проект, целью которого была проверка возможности обучения искусственного интеллекта созданию звуковых фрагментов на основе визуального ряда. Команда художников поставила перед собой задачу запечатлеть норвежское северное сияние, научить специально созданный для смартфона HUAWEI Mate 20 Pro интеллектуальный алгоритм распознавать ключевые особенности этого светового явления и превращать их в музыкальные фрагменты. Эти фрагменты впоследствии были использованы при написании симфонии. Финальной целью творческого коллектива было создание мультисенсорного произведения, сочетающего в себе инновационные достижения в сфере искусственного интеллекта с классической оркестровой музыкой.

От первых кадров до финального оркестра

Неподалёку от норвежского города Тромсе, охотник за северным сиянием Кетил Скольи запечатлел на камеру это атмосферное явление. Отснятые видеоролики были отправлены в звуковую лабораторию, где обладатель многочисленных наград, композитор Марк Сайфритц (Mark Sayfritz) работал со специально созданной для HUAWEI Mate 20 Pro системой искусственного интеллекта и написал «симфонию северного сияния».

Когда все музыкальные фрагменты были составлены, один из лучших аранжировщиков и дирижёров мира, Джеймс Ширман (James Shearman) превратил их в оркестровую композицию «Симфония света», которая была исполнена в знаменитом Брамсовском зале в Вене.

Роль HUAWEI Mate 20 Pro в создании симфонии

Чтобы написать «Симфонию света» требовалось мощное вычислительное устройство. Смартфон HUAWEI Mate 20 Pro стал подходящим инструментом для этого проекта. Многие из его функций оказались незаменимы для эффективной работы системы искусственного интеллекта иреализации проекта. .

Перед инженерами была поставлена задача создания уникальной интеллектуальной системы, способной обучиться распознаванию и анализу различных характеристик видеоряда. Затем искусственный интеллект научили сопоставлять  музыкальные фрагменты и детали видеозаписи северного сияния.

Композитор Марк Сайфритц отметил: «Внедрение искусственного интеллекта в мою музыку открывает целый ряд новых творческих возможностей. Теперь я могу загрузить в систему видеозапись северного сияния, и она проанализирует целый набор характеристик, таких как: цвет, размер, форма и скорость изменения. Затем система сгенерирует на основе этих данных вариации из моих музыкальных фрагментов. Например, если система распознает особенно драматические моменты светового шоу, она создаст звуки, которые отражают эти эмоции в музыкальной композиции. Я смогу использовать эти музыкальные фрагменты в своем произведении».

Обычно для создания музыкальных фрагментов, пригодных для живого исполнения, требуются мощные компьютеры. Однако благодаря специально разработанной интеллектуальной системе, команда смогла превратить в такой компьютер смартфон HUAWEI Mate 20 Pro. Во время живого исполнения конвертированные данные поступали прямо со смартфона на электронные инструменты, которые отвечали за музыкальные акценты в шоу.

«Искусственный интеллект уже долгое время является приоритетным направлением исследований HUAWEI. Как и многие другие инновационные технологии, он позволяет преодолеть ограничения, чтобы добиться результатов, которые ранее считались недостижимыми. Проект «Симфония света» очень точно иллюстрирует эту идею», — прокомментировал президент HUAWEI Consumer Business Group в  Центральной, Восточной и Северной Европе, Ван Янмин.

Живой концерт в Вене

Аудиовизуальное представление при поддержке искусственного интеллекта состоялось в Брамсовском зале Венского Общества любителей музыки Musikverein 28 ноября 2018 г. в присутствии более 300 слушателей, среди которых были представители прессы и специально приглашённые гости. «Симфония света» была исполнена оркестром Synchron Stage под руководством Джеймса Ширмана. В программу также вошел фильм Genesis, рассказавший о процессе создания произведения, от съёмки норвежского неба до финального представления.

Ключевые участники проекта

Кетил Скольи — фотограф.из норвежского города Тромсе. Работал с BBC, 60 Minutes Australia, NRK и многими другими телекомпаниями, снимая для них северное сияние. Он сыграл ключевую роль в проекте «Симфония света», став проводником при поиске этого атмосферного явления. Его опыт и знания в этом вопросе сделали возможной реализацию проекта.

Марк Сайфритц — композитор.Один из самых популярных музыкантов, композиторов и продюсеров современности, Марк имеет множество наград за партитуры и аранжировки, в частности за работы для Audi, Nike, Levi’s, NBA и Reebok. Роль Марка состояла в том, чтобы взять звуковые фрагменты, созданные искусственным интеллектом и создать на их основе оригинальную симфонию. Его понимание технологий, а также экспертные знания в музыкальной сфере сделали неоценимый вклад в успех проекта.

Джеймс Ширман — дирижёр.Знаменитый британский дирижёр и руководитель оркестра, принимавший участие в создании музыки для более 80 известных кинокартин, среди которых «Красавица и чудовище», «Манчестер у моря» и «Гарри Поттер и кубок огня». Роль Джеймса Ширмана как аранжировщика и дирижёра «Симфонии света» стала решающей для создания финального облика произведения. Именно он сумел объединить технологическую природу искусственного интеллекта с живым организмом оркестра.

Музыкантыоркестра Synchron Stage Orchestra.Оркестр Synchron Stage Orchestra был создан путём тщательнейшего отбора лучших музыкантов самых известных оркестров Вены. Оркестр выступает в студии звукозаписи Synchron Stage Vienna, специализирующейся на записи больших оркестров и музыки для кинофильмов. Оркестр обладает большим опытом исполнения музыкальных партий для фильмов, который помог им в создании уникального живого аудиовизуального представления.

О HUAWEI Consumer Business Group:

Продукты и сервисы Huawei доступны более чем в 170 странах и используются одной третью населения планеты, благодаря чему в 2016 году Huawei вошел в тройку лидирующих производителей смартфонов всего мира. Компания открыла 14 научно-исследовательских центров в таких странах, как США, Германия, Швеция, Россия, Индия и Китай.

HuaweiConsumerBG - одно из трех бизнес-подразделений компании Huawei, которое занимается разработкой и производством смартфонов, ноутбуков и планшетов, носимой электроники, устройств мобильного широкополосного доступа, решений для дома, а также облачных сервисов. Преимущества глобальной сети Huawei, объем операционной деятельности во всем мире и развитая партнерская сеть построены на базе 30-летнего опыта работы в телекоммуникационной отрасли. HuaweiConsumerBG нацелена на то, чтобы обеспечить пользователей новейшими технологическими достижениями.