Davatelj usluge streaming glazbe Deezer, pušten vijest koja je nedavno odlučio otvoriti izvorni kod za pilot projekt "Spleeter" koja se razvija kao sustav strojnog učenja za odvajanje izvora zvuka složenih zvučnih skladbi. Sam program omogućuje vam uklanjanje glasova iz skladbe i ostavljanje samo glazbene pratnje, manipuliranje zvukom pojedinih instrumenata ili ispuštanje glazbe i dopuštanje glasu da se preklapa na drugoj zvučnoj liniji, stvara mikseve, karaoke ili transkripciju.
U ovom pilot projektu "Spleeter", ponudite već obučene modele za preuzimanje i odvajanje glasova akustična pratnja, kao i da ih podijeli u 4 i 5 tokova, uključujući vokale, bubnjeve, bas, klavir i ostatak zvuka. Spleeter se može koristiti kao Python biblioteka ili kao samostalni uslužni program naredbenog retka.
Pri dijeljenju na 2 i 4 struje, Spleeter pruža vrlo visoke performansenpr. kada koristite GPU, podijelite audio datoteku u 4 toka traje 100 puta manje vremena od trajanja izvorne skladbe.
Ispod haube je Spleeter prilično složen i dizajniran motor, ali naporno smo radili kako bismo ga učinili zaista jednostavnim za upotrebu. Stvarno razdvajanje može se postići jednim naredbenim retkom i trebalo bi raditi na vašem prijenosnom računalu, bez obzira na vaš operativni sustav. Za naprednije korisnike postoji klasa Python API naziva Separator kojom možete izravno manipulirati u svom uobičajenom cjevovodu.
Na sustavu s NVIDIA GeForce GTX 1080 GPU i 6134-jezgrenim Intel Xeon Gold 32 CPU, obrada zbirke referentnih vrijednosti musDB, koja je trajala tri sata i 27 minuta, dovršena je za 90 sekundi.
Od prednosti nudi Spleeter, u usporedbi s drugim razvojem na polju odvajanja zvuka, poput otvorenog projekta Open-Unmix, spominje se uporaba bolje građenih modela na temelju opsežne kolekcije zvučnih datoteka.
Evo zašto je Deezerova odluka za puštanje Spleeter koda, jer u postu o tome komentira:
Zašto pokrenuti Spleeter?
Kratki odgovor: koristimo ga za svoje istraživanje i mislimo da bi to mogli htjeti i drugi.
Već dugo radimo na razdvajanju izvora (i već smo imali objavu u ICASSP 2019). Usporedili smo Spleeter s Open-Unmixom, još jednim modelom otvorenog koda koji je nedavno objavio istraživački tim Inria, i izvijestili smo o nešto boljim performansama s većom brzinom (imajte na umu da skup podataka o treningu nije isti).
I na kraju, ali ne najmanje važno, trening ovih vrsta modela oduzima puno vremena i energije. Učinivši to jednom i dijeleći rezultat, nadamo se da ćemo uštedjeti drugima neke probleme i resurse.
Zbog ograničenja autorskih prava, istraživači strojnog učenja imaju ograničen pristup zbirkama glazbenih datoteka prilično oskudni modeli javnog pristupa, dok su za modele Spleeter izgrađeni koristeći podatke iz opsežnog Deezerovog glazbenog kataloga.
U usporedbi s otvorenim alatima poput unmixa, Spleeter izvodi približno 35% brže u CPU mjerilima, podržava MP3 datoteke i generira puno bolje rezultate (u raspodjeli glasova u Open-Undo miješa tragove nekih alata koji su vjerojatno posljedica činjenice da su Open-Unmix modeli obučeni u zbirkama od samo 150 pjesama).
Kôd projekta dolazi u obliku Python biblioteke zasnovan na Tensorflowu, s unaprijed obučenim modelima za razdvajanje prijenosa 2, 4 i 5 i distribuira se pod licencom MIT. U najjednostavnijem slučaju, dvije, četiri ili pet datoteka s vokalom i komponentama pratnje (vocals.wav, drums.wav, bass.wav, piano.wav, other.wav) kreiraju se na temelju izvorne datoteke.
Ako želite znati više o ovom projektu, možete se posavjetovati sljedeći link ili možete provjeriti njegov izvorni kod na ovom linku.
Spleeter bit će predstavljeni i demonstrirani uživo na konferenciji ISMIR 2019 u Delftu.