Нейронные сети для генерация изображения.

Pure energy of rave NAPOLEON IT

Нейронные сети все глубже проникают в нашу жизнь, зачастую становясь отличным развлечением (тут можно вспомнить про Reface APP и кучу приложений, генерирующих изображения). Но мы пошли дальше и решили свести нейронки с современным искусством. Так мы придумали GEEKS &FREAKS HACKATHONS – соревнования, на которых дата сайентисты кооперируются с представителями разных тусовок и с помощью нейросеток генерят уникальный контент.

19 и 20 декабря в офисе Napoleon IT прошел первый хакатон, посвященный генерации техно-музыки нейронными сетями.

Брифинг перед хакатоном NAPOLEON IT

Каждая команда, которая состояла из саунд-продюсера и data- science специалиста, должна была создать сет из треков, сгенерированных нейронной сетью, длиной не меньше 8 минут. К слову, эти треки мы планировали сыграть на нашем новогоднем корпоративе в стиле Burning man (забегая вперед: получилось огненно круто!).

В этих соревнованиях приняли участие студенты ЮУрГУ, сотрудники Napoleon IT, известные саунд-продюсеры и диджеи, а также одна команда из Праги, которая присутствовала на хакатоне в режиме онлайн. Всего мы набрали 7 команд.

Команда Jungle Spiders NAPOLEON IT

Для решения задачи саунд-продюсеры должны были собрать коллекцию семплов в формате midi и/или сет-лист из треков в формате wav. От количества треков зависела оригинальность готового файла, поэтому мы рекомендовали ребятам собрать в свою коллекцию не меньше 250 звуковых дорожек.

Отслушка метриала NAPOLEON IT

После того, как музыкальная коллекция была собрана, в дело вступали data science специалисты. Наши эксперты из Napoleon IT сделали ресерч сети на предмет наличия предобученных моделей для того, чтобы помочь нашим участникам добиться максимально качественного звука. Мы остановились на трех моделях: Jukebox, Magenta Tensorflow, MuseGAN.

Команда Slavinskas AI NAPOLEON IT

Первых результатов пришлось ждать достаточно долго, так как модели приходилось дорабатывать, добиваясь необходимой мелодики и BPM. (Сказать честно, даже в итоговых треках проскакивали какие-то совершенно адские звуки, которые появились из-за того, что модели не могут семплировать речь).

«Да как это работает?!» — думает участник команды Graf’s neural sounds NAPOLEON IT

Под конец второго соревновательного дня, когда мы выслушали более трех сотен музыкальных набросков, съели 22 круга пиццы, выпили около 20л энергетиков, мы наконец-то добились нужного звучания. У каждой команды получилось сгенерить от 6 до 10 треков, которые потом были сведены в сет саунд-продюсерами.

Обсуждение результатов Napoleon IT

Мы выявляли победителя после отслушки всего сета и оценивали его жюри, состоящем из 4 человек, по следующим критериям:

  • оригинальность. музыка не должна была определяться музыкальными поисковиками типа SoundHound или Shazam
  • целостность. музыка должна была быть мелодичной и соответствовать жанру техно
  • длина. музыкальный сет должен был быть не меньше 8 минут, так мы оценивали то насколько много треков нашли саунд-продюсеры, и то, как хорошо data science специалисты научили нейронки генерить треки.

Легкий флекс на корпоративе NAPOLEON IT

Победителем нашего хакатона стала команда Team CZ из Чехии, в составе которой были студенты ведущего технического института Праги ČVUT FIT, а также представители русскоязычной техно-тусовки psina.kollektiv. Ребята покорили как жюри, так и остальных участников, набрав максимальное количество баллов.

После этих соревнований нас посетила мысль создать на SoundCloud аккаунт, на котором мы бы выложили все AI-techno, написанное за эти дни.

DJ Motorobot играет AI Techo NAPOLEON IT

Собственно это мы и сделали!

Образы для корпоратива NAPOLEON IT

Но круче всего было тусоваться под эти треки на нашем новогоднем корпоративе, куда были приглашены все участники хакатона. Как это было можно посмотреть по ссылке.

Образы для корпоратива NAPOLEON IT

Ну и конечно же мы продолжим трек слияния искусства и IT, так что stay tuned!

«Это было турбо-круто!» — Сергей Белоклоков, COO NAPOLEON IT. IG- @beloklokov NAPOLEON IT

Источник: портал vc.ru