Srautinės muzikos teikėjas „Deezer“, paleistas žinia, kad neseniai nusprendė atidaryti „Spleeter“ bandomojo projekto kodą kad atsiskleidžia kaip mašininio mokymosi sistema garso šaltiniams atskirti sudėtingų garso kompozicijų. Pati programa leidžia pašalinti balsus iš kompozicijos ir palikti tik muzikinį akompanimentą, manipuliuoti atskirų instrumentų garsu arba numesti muziką ir leisti balsui persidengti kitoje garso linijoje, kurti mišinius, karaokę ar transkripciją.
Šiame „Spleeter“ bandomajame projekte siūlyti jau apmokytus modelius atsisiųsti ir atskirti balsus akustinis akompanimentas, taip pat suskirstyti juos į 4 ir 5 srautus, įskaitant vokalą, būgnus, bosą, fortepijoną ir likusį garsą. „Spleeter“ gali būti naudojamas kaip „Python“ biblioteka arba kaip atskira komandinės eilutės priemonė.
Skirstant į 2 ir 4 srautus, „Spleeter“ užtikrina labai aukštą našumąpvz., naudojant GPU, padalykite garso failą į 4 srautus užtrunka 100 kartų mažiau laiko nei pradinės kompozicijos trukmė.
Po variklio dangčiu „Spleeter“ yra gana sudėtingas ir suprojektuotas variklis, tačiau mes sunkiai dirbome, kad jį būtų tikrai lengva naudoti. Faktinis atskyrimas gali būti pasiektas naudojant vieną komandinę eilutę, ir tai turėtų veikti nešiojamame kompiuteryje, neatsižvelgiant į operacinę sistemą. Pažangesniems vartotojams yra „Python“ API klasė, vadinama „Separator“, kuria galite tiesiogiai manipuliuoti įprastame vamzdyne.
Sistemoje su „NVIDIA GeForce GTX 1080 GPU“ ir 6134 branduolių „Intel Xeon Gold 32“ procesoriumi „musDB“ etalonų kolekcijos apdorojimas, trukęs tris valandas ir 27 minutes, buvo baigtas per 90 sekundžių.
Iš privalumų „Spleeter“, palyginti su kitais pokyčiais garso atskyrimo srityje, pavyzdžiui, su atviru projektu „Open-Unmix“, minimas geriau pastatytų modelių naudojimas pagrįstas plačiu garso failų rinkiniu.
Štai kodėl Deezerio sprendimas išleisti „Spleeter“ kodą, nes įraše apie jį jis komentuoja:
Kodėl verta paleisti „Spleeter“?
Trumpas atsakymas: mes naudojame tai savo tyrimams ir manome, kad galbūt norės ir kiti.
Ilgą laiką dirbome prie šaltinių atskyrimo (ir jau turėjome įrašą ICASSP 2019 m.). Palyginome „Spleeter“ su „Open-Unmix“, dar vienu atviro kodo modeliu, kurį neseniai išleido „Inria“ tyrimų grupė, ir pranešėme apie šiek tiek geresnius rezultatus didesniu greičiu (atkreipkite dėmesį, kad treniruočių duomenų rinkinys nėra tas pats).
Paskutinis, bet ne mažiau svarbus dalykas - tokio tipo modelių mokymas užima daug laiko ir energijos. Kartą tai padarę ir pasidalinę rezultatu, mes tikimės sutaupyti kitų rūpesčių ir išteklių.
Dėl autorių teisių apribojimų, mašininio mokymosi tyrinėtojai turi ribotą prieigą prie muzikos failų kolekcijų gana menki viešos prieigos modeliai, tuo tarpu „Spleeter“ modeliams jie buvo sukurti naudojant duomenis iš plataus Deezerio muzikos katalogo.
Palyginti su tokiais atvirais įrankiais kaip „unmix“, „Spleeter“ veikia maždaug 35% greičiau pagal procesoriaus etalonus, jis palaiko MP3 failus ir generuoja daug geresnius rezultatus (skirstant balsus „Open-Undo“, jame sumaišomi kai kurių įrankių pėdsakai, tikriausiai dėl to, kad „Open-Unmix“ modeliai yra mokomi tik 150 takelių kolekcijose).
Projekto kodas yra „Python“ bibliotekos pavidalu pagrįstas „Tensorflow“, su iš anksto paruoštais modeliais, skirtais 2, 4 ir 5 pavarų atskyrimui ir platinamas pagal MIT licenciją. Paprasčiausiu atveju pagal šaltinio failą sukuriami du, keturi ar penki failai su vokalo ir akompanimento komponentais (vokalas.wav, būgnai.wav, bass.wav, pianinas.wav, kita.wav).
Jei norite sužinoti daugiau apie šį projektą, galite pasikonsultuoti šią nuorodą arba galite patikrinti jo šaltinio kodą šioje nuorodoje.
Spleeteris bus tiesiogiai pristatoma ir demonstruojama ISMIR 2019 konferencijoje Delfte.