Streaming muusika pakkuja Deezer, vabastatud uudis, mis hiljuti otsustas avada pilootprojekti "Spleeter" lähtekoodi mis areneb kui masinõppesüsteem heliallikate eraldamiseks keerukatest helikompositsioonidest. Programm ise võimaldab teil kompositsioonist hääled eemaldada ja jätta ainult muusikaline saade, manipuleerida üksikute instrumentide heliga või pillata muusika maha ja lasta häälel kattuda teisel heliliinil, luua segusid, karaoket või transkriptsiooni.
Selles "Spleeter" pilootprojektis pakkuda juba koolitatud mudeleid häälte allalaadimiseks ja eraldamiseks akustiline saade, samuti jagada need 4 ja 5 vooguks, sealhulgas vokaal, trummid, bassid, klaver ja ülejäänud heli. Spleeteri saab kasutada Pythoni teegina või iseseisva käsurea utiliidina.
Kui jagate 2 ja 4 voogu, Spleeter tagab väga suure jõudlusent GPU kasutamisel jagage helifail neljaks vooguks võtab 100 korda vähem aega kui algse kompositsiooni kestus.
Kapoti all on Spleeter üsna keeruline ja disainitud mootor, kuid oleme selle nimel kõvasti vaeva näinud, et seda oleks tõesti lihtne kasutada. Tegeliku eraldamise saab saavutada ühe käsurea abil ja see peaks toimima sülearvutis, hoolimata teie operatsioonisüsteemist. Edasijõudnutele on olemas Pythoni API-klass Separator, millega saate otse oma tavapärases torustikus manipuleerida.
NVIDIA GeForce GTX 1080 GPU ja 6134-tuumalise Intel Xeon Gold 32 protsessoriga süsteemis sai kolm tundi ja 27 minutit kestnud musDB võrdlusuuringute kollektsiooni töötlemine 90 sekundiga lõpule.
Eelisest Spleeter pakub võrreldes muude heli eraldamise valdkonnas tehtud arengutega, näiteks avatud Open-Unmixi projektiga, mainitakse paremini ehitatud mudelite kasutamist põhineb ulatuslikul helifailide kogumikul.
Siit miks Deezeri otsus Spleeteri koodi vabastamiseks, sest selle kohta käivas postituses kommenteerib ta:
Miks käivitada Spleeter?
Lühike vastus: kasutame seda oma uurimistööks ja arvame, et ka teised võiksid seda soovida.
Oleme pikka aega töötanud allikate eraldamise kallal (ja meil oli juba ICASSP 2019 postitus). Oleme võrrelnud Spleeteri teise avatud lähtekoodiga mudeli Open-Unmix, mille hiljuti avaldas Inria uurimisrühm, ja teatanud veidi parematest jõudlustest suurema kiirusega (pange tähele, et treeningu andmekogum ei ole sama).
Viimane, kuid mitte vähem oluline, seda tüüpi mudelite koolitamine võtab palju aega ja energiat. Tehes seda üks kord ja jagades tulemust, loodame teistele säästa probleeme ja ressursse.
Autoriõiguste piirangute tõttu, masinõppe uurijad on piiratud juurdepääs muusikafailide kogudele üsna kasinad üldsusele ligipääsetavad mudelid, samas kui Spleeteri mudelite ehitamisel kasutati Deezeri ulatusliku muusikakataloogi andmeid.
Võrreldes selliste avatud tööriistadega nagu unmix, Spleeter töötab protsessori võrdlusalustes umbes 35% kiiremini, see toetab MP3-faile ja genereerib palju paremaid tulemusi (häälte jaotamisel rakenduses Open-Undo see segab jälgi mõningatest tööriistadest, mis on tõenäoliselt tingitud asjaolust, et Open-Unmixi mudeleid koolitatakse ainult 150 palaga kogudes).
Projekti kood on Pythoni teegi kujul põhineb Tensorflow'l, eelkoolitatud mudelitega 2, 4 ja 5 ülekande eraldamiseks ja seda levitatakse MIT-litsentsi alusel. Lihtsamal juhul luuakse lähtefaili põhjal kaks, neli või viis faili koos vokaali ja saatekomponentidega (vokal.wav, trummid.wav, bass.wav, klaver.wav, muu.wav).
Kui soovite selle projekti kohta rohkem teada saada, võite nõu pidada järgmine link või saate kontrollida selle lähtekoodi sellel lingil.
Spleeter esitletakse ja demonstreeritakse otse ISMIR 2019 konverentsil Delftis.