Pružalac usluge streaming muzike Deezer, pušten vijest koja je nedavno odlučio je otvoriti izvorni kod za pilot projekat "Spleeter" koji se razvija kao sistem za mašinsko učenje za odvajanje izvora zvuka složenih zvučnih kompozicija. Sam program vam omogućava da iz kompozicije uklonite glasove i ostavite samo muzičku pratnju, manipulirate zvukom pojedinih instrumenata ili ispustite muziku i pustite da se glas preklapa sa drugom zvučnom linijom, stvara mikseve, karaoke ili transkripciju.
U ovom pilot projektu "Spleeter", ponudite već obučene modele za preuzimanje i odvajanje glasova akustična pratnja, kao i da ih podijeli na 4 i 5 tokova, uključujući vokale, bubnjeve, basove, klavir i ostatak zvuka. Spleeter se može koristiti kao Python biblioteka ili kao samostalni uslužni program naredbenog retka.
Prilikom podjele na 2 i 4 toka, Spleeter pruža vrlo visoke performansenpr. kada koristite GPU, podijelite audio datoteku u 4 toka traje 100 puta manje vremena od trajanja originalne kompozicije.
Ispod haube je Spleeter prilično složen i dizajniran motor, ali naporno smo radili kako bismo ga učinili zaista jednostavnim za upotrebu. Stvarno razdvajanje može se postići jednim naredbenim retkom i to bi trebalo raditi na vašem laptopu, bez obzira na vaš operativni sistem. Za naprednije korisnike postoji klasa Python API nazvana Separator kojom možete izravno manipulisati u svom uobičajenom cjevovodu.
Na sistemu sa NVIDIA GeForce GTX 1080 GPU i 6134-jezgrom Intel Xeon Gold 32 CPU, obrada zbirke referentnih vrijednosti musDB, koja je trajala tri sata i 27 minuta, završena je za 90 sekundi.
Od prednosti nudi Spleeter, u poređenju sa drugim razvojem na polju razdvajanja zvuka, poput otvorenog Open-Unmix projekta, spominje se upotreba bolje građenih modela zasnovan na opsežnoj kolekciji zvučnih datoteka.
Evo zašto je Deezerova odluka da oslobodi Spleeter kod, jer u postu o tome, on komentira:
Zašto pokrenuti Spleeter?
Kratki odgovor: koristimo ga za svoje istraživanje i mislimo da bi to mogli htjeti i drugi.
Već dugo radimo na razdvajanju izvora (i već smo imali objavu u ICASSP 2019). Usporedili smo Spleeter s Open-Unmixom, još jednim modelom otvorenog koda koji je nedavno objavio istraživački tim kompanije Inria, i izvijestili smo o nešto boljim performansama sa većom brzinom (imajte na umu da skup podataka za obuku nije isti).
I na kraju, ali ne najmanje važno, trening ovih vrsta modela oduzima puno vremena i energije. Radeći to jednom i dijeleći rezultat, nadamo se da ćemo uštedjeti drugima neke probleme i resurse.
Zbog ograničenja autorskih prava, istraživači mašinskog učenja imaju ograničen pristup kolekcijama muzičkih datoteka prilično oskudni modeli javnog pristupa, dok su za modele Spleeter izgrađeni na osnovu podataka iz Deezerovog opsežnog muzičkog kataloga.
U poređenju sa otvorenim alatima kao što je unmix, Spleeter izvodi približno 35% brže u CPU benčmarkovima, podržava MP3 datoteke i generira mnogo bolje rezultate (u raspodjeli glasova u Open-Undo miješa tragove nekih alata koji su vjerojatno posljedica činjenice da su Open-Unmix modeli obučeni u kolekcijama od samo 150 pjesama).
Kôd projekta dolazi u obliku Python biblioteke zasnovan na Tensorflow-u, sa unaprijed obučenim modelima za razdvajanje 2, 4 i 5 prijenosa i distribuira se pod licencom MIT. U najjednostavnijem slučaju, dvije, četiri ili pet datoteka s vokalom i komponentama pratnje (vocals.wav, drums.wav, bass.wav, piano.wav, other.wav) kreiraju se na osnovu izvorne datoteke.
Ako želite znati više o ovom projektu, možete se posavjetovati sljedeći link ili možete provjeriti njegov izvorni kod na ovom linku.
Spleeter bit će predstavljeni i demonstrirani uživo na konferenciji ISMIR 2019 u Delftu.