Penyedia muzik streaming Deezer, dilepaskan berita yang baru-baru ini memutuskan untuk membuka kod sumber untuk projek perintis "Spleeter" yang berkembang sebagai sistem pembelajaran mesin untuk memisahkan sumber bunyi komposisi bunyi yang kompleks. Program itu sendiri membolehkan anda mengeluarkan suara dari komposisi dan hanya membiarkan iringan muzik, memanipulasi suara instrumen individu atau menjatuhkan muzik dan membiarkan suara itu bertindih pada baris suara lain, membuat campuran, karaoke atau transkripsi.
Dalam projek perintis "Spleeter" ini, menawarkan model yang sudah dilatih untuk memuat turun dan memisahkan suara iringan akustik, serta membahagikannya kepada aliran 4 dan 5, termasuk vokal, drum, bass, piano dan selebihnya suara. Spleeter boleh digunakan sebagai perpustakaan Python atau sebagai utiliti baris perintah yang berdiri sendiri.
Semasa membahagikan kepada aliran 2 dan 4, Spleeter memberikan prestasi yang sangat tinggimisalnya semasa menggunakan GPU, pisahkan fail audio menjadi 4 aliran mengambil masa 100 kali lebih sedikit daripada jangka masa komposisi asal.
Di bawah tudung, Spleeter adalah enjin yang cukup rumit dan direka, tetapi kami telah bekerja keras untuk menjadikannya sangat mudah digunakan. Pemisahan sebenar dapat dicapai dengan satu baris perintah, dan ia harus berfungsi pada komputer riba anda, tanpa mengira sistem operasi anda. Untuk pengguna yang lebih maju, ada kelas Python API yang disebut Separator yang dapat anda manipulasi secara langsung di saluran paip biasa anda.
Pada sistem dengan GPU NVIDIA GeForce GTX 1080 dan CPU Intel Xeon Gold 6134 32-teras, pemprosesan penanda aras musDB, yang berlangsung selama tiga jam dan 27 minit, selesai dalam 90 saat.
Kelebihannya ditawarkan oleh Spleeter, berbanding dengan perkembangan lain dalam bidang pemisahan suara, seperti projek Open-Unmix terbuka, penggunaan model binaan yang lebih baik disebutkan berdasarkan koleksi fail suara yang banyak.
Inilah sebabnya mengapa keputusan Deezer untuk melepaskan kod Spleeter, kerana dalam posting mengenainya, dia memberi komen:
Mengapa melancarkan Spleeter?
Jawapan ringkas: kami menggunakannya untuk penyelidikan kami dan kami fikir orang lain mungkin juga mahu.
Kami telah lama mengusahakan pemisahan sumber (dan kami sudah mempunyai jawatan di ICASSP 2019). Kami membandingkan Spleeter dengan Open-Unmix, model sumber terbuka yang baru dikeluarkan oleh pasukan penyelidikan Inria, dan melaporkan persembahan yang sedikit lebih baik dengan kelajuan yang lebih tinggi (perhatikan bahawa set data latihan tidak sama).
Akhir sekali, latihan model jenis ini memerlukan banyak masa dan tenaga. Dengan melakukannya sekali dan berkongsi hasilnya, kami berharap dapat menyelamatkan masalah dan sumber daya orang lain.
Kerana sekatan hak cipta, penyelidik pembelajaran mesin mempunyai akses terhad ke koleksi fail muzik model akses awam yang agak sedikit, sementara untuk model Spleeter mereka dibina menggunakan data dari katalog muzik yang luas Deezer.
Dengan perbandingan dengan alat terbuka seperti unmix, Spleeter melakukan lebih kurang 35% lebih cepat dalam penanda aras CPU, ia menyokong fail MP3 dan menghasilkan hasil yang jauh lebih baik (dalam pengagihan suara dalam Open-Undo ia menggabungkan jejak beberapa alat yang mungkin disebabkan oleh fakta bahawa model Open-Unmix dilatih dalam koleksi hanya 150 trek).
Kod projek terdapat dalam bentuk perpustakaan Python berdasarkan Tensorflow, dengan model pra-terlatih untuk pemisahan transmisi 2, 4 dan 5 dan diedarkan di bawah lesen MIT. Dalam kes yang paling mudah, dua, empat, atau lima fail dengan komponen vokal dan iringan (vocals.wav, drums.wav, bass.wav, piano.wav, other.wav) dibuat berdasarkan fail sumber.
Sekiranya anda ingin mengetahui lebih lanjut mengenai projek ini, anda boleh berjumpa pautan berikut atau anda boleh menyemak kod sumbernya dalam pautan ini.
Lebih meriah akan dipersembahkan dan diperagakan secara langsung di persidangan ISMIR 2019 di Delft.