Нейропоэт: Тинькофф создал анимированного Пушкина, способного сочинять современные стихи с помощью нейросети

«AI да Пушкин» — это проект, в котором Тинькофф впервые применяет Thara  — технологию синтеза мимики и оживления портрета. В качестве главного образа выбран Александр Сергеевич Пушкин — самый известный русский поэт, который знаком каждому с детства. Специально для проекта была разработана модель, позволяющая оживить его визуализацию. Нейросеть научилась соотносить звуки произносимой речи с выражением лица и мимикой спикера. Так удалось из аудиофайла создать видео произносящего речь поэта.

«Оживленный» с помощью искусственного интеллекта Пушкин умеет сочинять стихи на современный лад. За разнообразие формулировок и подбор рифм отвечает генеративная стихотворная модель, которая обучена на всех произведениях Александра Сергеевича Пушкина и более чем 60 млн отфильтрованных четверостиший с ресурса Стихи.ру.

Использование открытых данных для обучения модели позволило нейропоэту поддерживать и развивать любую мысль. За произнесение стихотворения вслух отвечает VoiceKit — голосовая технология Тинькофф, которая позволяет синтезировать голос, преобразовать текст в голос и обратно. Технология обучена на терабайтах данных и десятках часов человеческой речи, и уже применяется в автоматизации работы колл-центра Тинькофф.

Сочинить стихотворение вместе с нейропоэтом и увидеть его можно на сайте проекта. Для этого необходимо написать любую фразу до 30 символов в строке ввода, либо произнести ее в микрофон. Далее искусственный интеллект обработает ее и подберет к ней стихотворное окончание на современный лад, а «оживший» Пушкин зачитает получившееся произведение вслух. Нейропоэт не повторяется и каждый раз генерирует новое стихотворение для пользователя.