Der Streaming-Musikanbieter Deezer, freigelassen die Nachrichten, die vor kurzem beschlossen, den Quellcode für ein Pilotprojekt "Spleeter" zu öffnen das entwickelt sich als ein maschinelles Lernsystem zum Trennen von Schallquellen komplexer Klangkompositionen. Mit dem Programm selbst können Sie die Stimmen aus der Komposition entfernen und nur die musikalische Begleitung belassen, den Klang einzelner Instrumente manipulieren oder die Musik fallen lassen und die Stimme auf einer anderen Klanglinie überlappen lassen, Mixe, Karaoke oder Transkription erstellen.
In diesem Pilotprojekt "Spleeter" bieten bereits geschulte Modelle zum Herunterladen und Trennen der Stimmen an akustische Begleitung, sowie um sie in 4 und 5 Streams zu unterteilen, einschließlich Gesang, Schlagzeug, Bass, Klavier und den Rest des Sounds. Spleeter kann als Python-Bibliothek oder als eigenständiges Befehlszeilenprogramm verwendet werden.
Bei der Aufteilung in 2 und 4 Streams, Spleeter bietet sehr hohe LeistungWenn Sie beispielsweise die GPU verwenden, teilen Sie eine Audiodatei in 4 Streams auf dauert 100-mal kürzer als die Dauer der Originalkomposition.
Unter der Haube ist Spleeter ein ziemlich komplexer und konstruierter Motor, aber wir haben hart daran gearbeitet, ihn wirklich einfach zu bedienen. Die tatsächliche Trennung kann mit einer einzigen Befehlszeile erreicht werden und sollte unabhängig von Ihrem Betriebssystem auf Ihrem Laptop funktionieren. Für fortgeschrittene Benutzer gibt es eine Python-API-Klasse namens Separator, die Sie direkt in Ihrer üblichen Pipeline bearbeiten können.
Auf einem System mit einer NVIDIA GeForce GTX 1080-GPU und einer 6134-Kern-Intel Xeon Gold 32-CPU wurde die musDB-Benchmark-Erfassungsverarbeitung, die drei Stunden und 27 Minuten dauerte, in 90 Sekunden abgeschlossen.
Von den Vorteilen angeboten von Spleeter im Vergleich zu anderen Entwicklungen auf dem Gebiet der Schalltrennung, wie dem offenen Open-Unmix-Projekt, Die Verwendung besser gebauter Modelle wird erwähnt basierend auf einer umfangreichen Sammlung von Sounddateien.
Hier ist der Grund für Deezers Entscheidung um den Spleeter-Code freizugeben, weil er in dem Beitrag darüber Folgendes kommentiert:
Warum Spleeter starten?
Kurze Antwort: Wir haben es für unsere Forschung verwendet und wir denken, andere möchten es vielleicht auch.
Wir haben lange an der Quellentrennung gearbeitet (und wir hatten bereits einen Posten in ICASSP 2019). Wir haben Spleeter mit Open-Unmix verglichen, einem anderen Open-Source-Modell, das kürzlich von einem Inria-Forschungsteam veröffentlicht wurde, und etwas bessere Leistungen bei höherer Geschwindigkeit gemeldet (beachten Sie, dass der Trainingsdatensatz nicht derselbe ist).
Last but not least kostet das Training dieser Modelltypen viel Zeit und Energie. Wenn wir es einmal tun und das Ergebnis teilen, hoffen wir, anderen Ärger und Ressourcen zu ersparen.
Aus urheberrechtlichen Gründen, Forscher für maschinelles Lernen haben eingeschränkten Zugriff auf Sammlungen von Musikdateien eher dürftige öffentlich zugängliche Modelle, während sie für die Spleeter-Modelle aus Daten aus Deezers umfangreichem Musikkatalog erstellt wurden.
Im Vergleich zu offenen Tools wie Unmix, Spleeter arbeitet in CPU-Benchmarks etwa 35% schnellerEs unterstützt MP3-Dateien und generiert viel bessere Ergebnisse (bei der Stimmenverteilung im Open-Undo werden Spuren einiger Tools gemischt, die wahrscheinlich darauf zurückzuführen sind, dass die Open-Unmix-Modelle in Sammlungen mit nur 150 Titeln trainiert werden).
Der Projektcode liegt in Form einer Python-Bibliothek vor basierend auf Tensorflow, mit vorgefertigten Modellen für 2, 4 und 5 Getriebetrennung und wird unter der MIT-Lizenz vertrieben. Im einfachsten Fall werden zwei, vier oder fünf Dateien mit Gesang und Begleitkomponenten (vocals.wav, drums.wav, bass.wav, piano.wav, other.wav) basierend auf der Quelldatei erstellt.
Wenn Sie mehr über dieses Projekt erfahren möchten, können Sie sich beraten den folgenden Link oder Sie können den Quellcode überprüfen Link.
Spleeter wird auf der ISMIR 2019 Konferenz in Delft live präsentiert und demonstriert.