Straumēšanas mūzikas nodrošinātājs Deezers, atbrīvots ziņas, ka nesen nolēma atvērt avota kodu "Spleeter" izmēģinājuma projektam kas attīstās kā mašīnmācīšanās sistēma, lai atdalītu skaņas avotus no sarežģītām skaņu kompozīcijām. Pati programma ļauj noņemt balsis no skaņdarba un atstāt tikai mūzikas pavadījumu, manipulēt ar atsevišķu instrumentu skaņu vai nomest mūziku un ļaut balsij pārklāties ar citu skaņas līniju, izveidot miksus, karaoke vai transkripciju.
Šajā "Spleeter" izmēģinājuma projektā piedāvājiet jau apmācītus modeļus, lai lejupielādētu un atdalītu balsis akustiskais pavadījums, kā arī sadalīt tos 4 un 5 plūsmās, ieskaitot vokālu, bungas, basus, klavieres un pārējo skaņu. Spleeter var izmantot kā Python bibliotēku vai kā atsevišķu komandrindas utilītu.
Sadalot 2 un 4 plūsmās, Spleeter nodrošina ļoti augstu veiktspējupiem., izmantojot GPU, sadaliet audio failu 4 plūsmās aizņem 100 reizes mazāk laika nekā sākotnējā skaņdarba ilgums.
Zem pārsega Spleeter ir diezgan sarežģīts un izstrādāts motors, taču mēs esam daudz strādājuši, lai padarītu to patiešām ērtu lietošanu. Faktisko atdalīšanu var panākt ar vienu komandrindu, un tai vajadzētu darboties klēpjdatorā neatkarīgi no operētājsistēmas. Progresīvākiem lietotājiem ir pieejama Python API klase Separator, ar kuru jūs varat tieši manipulēt savā parastajā cauruļvadā.
Sistēmā ar NVIDIA GeForce GTX 1080 GPU un 6134 kodolu Intel Xeon Gold 32 procesoru musDB testa kolekcijas apstrāde, kas ilga trīs stundas un 27 minūtes, tika pabeigta 90 sekundēs.
No priekšrocībām Spleeter piedāvā salīdzinājumā ar citiem notikumiem skaņas atdalīšanas jomā, piemēram, ar atvērto projektu Open-Unmix, tiek pieminēta labāk uzbūvētu modeļu izmantošana pamatojoties uz plašu skaņas failu kolekciju.
Lūk, kāpēc Deezera lēmums atbrīvot Spleeter kodu, jo ierakstā par to viņš komentē:
Kāpēc palaist Spleeter?
Īsa atbilde: mēs to izmantojam pētījumiem un domājam, ka arī citi to varētu vēlēties.
Mēs ilgu laiku esam strādājuši pie avotu atdalīšanas (un mums jau bija ziņa ICASSP 2019). Mēs esam salīdzinājuši Spleeter ar Open-Unmix, vēl vienu atvērtā koda modeli, ko nesen izlaida Inria pētnieku grupa, un ziņojām par nedaudz labāku sniegumu ar lielāku ātrumu (ņemiet vērā, ka apmācības datu kopa nav vienāda).
Visbeidzot, šāda veida modeļu apmācība prasa daudz laika un enerģijas. Darot to vienu reizi un daloties rezultātā, mēs ceram ietaupīt citiem nepatikšanas un resursus.
Autortiesību ierobežojumu dēļ, mašīnmācīšanās pētnieki ir ierobežota piekļuve mūzikas failu kolekcijām diezgan niecīgi publiskās piekļuves modeļi, savukārt Spleeter modeļiem tie tika veidoti, izmantojot datus no Deezera plašā mūzikas kataloga.
Salīdzinot ar atvērtiem rīkiem, piemēram, unmix, Spleeter CPU etalonos veic aptuveni 35% ātrāk, tas atbalsta MP3 failus un rada daudz labākus rezultātus (balsu sadalījumā Open-Undo tajā tiek sajauktas dažu rīku pēdas, kas, iespējams, ir saistīts ar faktu, ka Open-Unmix modeļi tiek apmācīti tikai 150 dziesmu kolekcijās).
Projekta kods ir Python bibliotēkas formā pamatojoties uz Tensorflow, ar iepriekš apmācītiem modeļiem 2, 4 un 5 transmisijas atdalīšanai un tiek izplatīts ar MIT licenci. Vienkāršākajā gadījumā, pamatojoties uz avota failu, tiek izveidoti divi, četri vai pieci faili ar vokālu un pavadījuma komponentiem (vokāls.wav, bungas.wav, bass.wav, piano.wav, other.wav).
Ja vēlaties uzzināt vairāk par šo projektu, varat konsultēties šo saiti vai arī jūs varat pārbaudīt tā pirmkodu šajā saitē.
Splēters tiks prezentēts un demonstrēts tiešraidē ISMIR 2019 konferencē Delftā.