Нейросеть научили «озвучивать» картины художников



Энтузиаст Нао Токуи (Nao Tokui) из Японии создал программу на основе нейросети, которая смогла подобрать подходящие звуки и музыку для озвучания художественных картин. Она, например, определила, что на картине изображено побережье, и включила звук морских волн.

В большинстве случаев программа точно подбирает звуки, посмотрите сами:

Как это работает

Программа работает на основе нейросети Soundnet. Она умеет определять объекты на видео, чтобы подбирать к ролику звуки. Например, есть в нейросеть загрузить видео с собаками, то она добавит к нему собачий лай. Так же она работает с детьми, мотоциклами, музыкальными концертами, спортивными соревнованиями и любыми другими объектами.

Посмотрите видео, чтобы понять алгоритм работы нейросети:

Нао Токуи взял базу видеороликов из сервиса Flickr с художественными картинами и бесплатный каталог Freesound со звуками. Эти файлы он пропустил через готовую нейросеть Soundnet. Таким образом он придумал новое применение уже не новой нейросети.

Читайте также: В России заработал первый в мире робот-юрист и Нейросеть научилась создавать фейковое порно со Скарлетт Йоханссон

http://platform.twitter.com/widgets.js



Source link: Hi-Tech mail.ru

Балтийское Обозрение

Независимая газета, издаваемая на трех языках: русском, немецком (Die Baltische Rundschau baltische-rundschau.eu ) и английском (The Baltic Review baltic-review.com)

ОСТАВЬТЕ ОТВЕТ

Please enter your comment!
Please enter your name here