Penyedia musik streaming Deezer, dibebaskan berita itu baru-baru ini memutuskan untuk membuka kode sumber untuk proyek percontohan "Spleeter" yang berkembang sebagai sistem pembelajaran mesin untuk memisahkan sumber suara komposisi suara yang kompleks. Program itu sendiri memungkinkan Anda untuk menghapus suara dari komposisi dan hanya menyisakan iringan musik, memanipulasi suara instrumen individu atau menjatuhkan musik dan membiarkan suara tumpang tindih di jalur suara lain, membuat campuran, karaoke, atau transkripsi.
Dalam proyek percontohan "Spleeter" ini, menawarkan model yang sudah terlatih untuk mengunduh dan memisahkan suara iringan akustik, serta membaginya menjadi 4 dan 5 aliran, termasuk vokal, drum, bass, piano, dan suara lainnya. Spleeter dapat digunakan sebagai pustaka Python atau sebagai utilitas baris perintah mandiri.
Saat membagi menjadi 2 dan 4 aliran, Spleeter memberikan kinerja yang sangat tinggimisalnya saat menggunakan GPU, pisahkan file audio menjadi 4 aliran membutuhkan waktu 100 kali lebih sedikit daripada durasi komposisi aslinya.
Di bawah kap, Spleeter adalah mesin yang cukup rumit dan dirancang, tetapi kami telah bekerja keras untuk membuatnya sangat mudah digunakan. Pemisahan sebenarnya dapat dicapai dengan satu baris perintah, dan itu harus berfungsi di laptop Anda, apa pun sistem operasi Anda. Untuk pengguna yang lebih mahir, ada kelas Python API yang disebut Separator yang bisa Anda manipulasi langsung di pipeline biasa Anda.
Pada sistem dengan GPU NVIDIA GeForce GTX 1080 dan CPU Intel Xeon Gold 6134 32-core, pemrosesan pengumpulan benchmark musDB, yang berlangsung selama tiga jam dan 27 menit, diselesaikan dalam 90 detik.
Keuntungannya ditawarkan oleh Spleeter, dibandingkan dengan perkembangan lain di bidang pemisahan suara, seperti proyek terbuka Open-Unmix, penggunaan model yang dibangun lebih baik disebutkan berdasarkan koleksi file suara yang ekstensif.
Inilah mengapa keputusan Deezer untuk merilis kode Spleeter, karena di postingannya, dia berkomentar:
Mengapa meluncurkan Spleeter?
Jawaban singkatnya: kami menggunakannya untuk penelitian kami dan kami pikir orang lain mungkin juga menginginkannya.
Kami telah mengerjakan pemisahan sumber untuk waktu yang lama (dan kami sudah memiliki postingan di ICASSP 2019). Kami telah membandingkan Spleeter dengan Open-Unmix, model open source lain yang baru-baru ini dirilis oleh tim peneliti Inria, dan melaporkan performa yang sedikit lebih baik dengan kecepatan yang lebih tinggi (perhatikan bahwa set data pelatihan tidak sama).
Last but not least, melatih model jenis ini membutuhkan banyak waktu dan energi. Dengan melakukannya sekali dan membagikan hasilnya, kami berharap dapat menyelamatkan orang lain dari beberapa masalah dan sumber daya.
Karena batasan hak cipta, peneliti pembelajaran mesin memiliki akses terbatas ke koleksi file musik model akses publik yang agak sedikit, sedangkan untuk model Spleeter dibuat menggunakan data dari katalog musik Deezer yang ekstensif.
Dibandingkan dengan alat terbuka seperti unmix, Spleeter bekerja kira-kira 35% lebih cepat dalam benchmark CPU, mendukung file MP3 dan menghasilkan hasil yang jauh lebih baik (dalam alokasi suara di Open-Undo itu mencampur jejak beberapa alat yang mungkin disebabkan oleh fakta bahwa model Open-Unmix dilatih dalam koleksi hanya 150 lagu).
Kode proyek datang dalam bentuk pustaka Python berdasarkan Tensorflow, dengan model terlatih untuk pemisahan transmisi 2, 4, dan 5 dan didistribusikan di bawah lisensi MIT. Dalam kasus yang paling sederhana, dua, empat, atau lima file dengan vokal dan komponen pengiring (vocals.wav, drums.wav, bass.wav, piano.wav, other.wav) dibuat berdasarkan file sumber.
Jika Anda ingin mengetahui lebih banyak tentang proyek ini, Anda dapat berkonsultasi link berikut atau Anda dapat memeriksa kode sumbernya di tautan ini.
Spleter akan disajikan dan didemonstrasikan secara langsung pada konferensi ISMIR 2019 di Delft.