ストリーミング音楽プロバイダー Deezer、リリース 最近のニュース 「Spleeter」パイロットプロジェクトのソースコードを開くことにしました それは次のように発展します 音源を分離する機械学習システム 複雑な音の構成の。 プログラム自体を使用すると、楽曲から声を削除して伴奏のみを残したり、個々の楽器の音を操作したり、音楽をドロップして別のサウンドラインに声を重ねたり、ミックス、カラオケ、または文字起こしを作成したりできます。
この「Spleeter」パイロットプロジェクトでは、 ダウンロードして音声を分離するためのトレーニング済みモデルを提供する 音響伴奏、 ボーカル、ドラム、ベース、ピアノ、その他のサウンドを含む4つと5つのストリームに分割します。。 Spleeterは、Pythonライブラリまたはスタンドアロンのコマンドラインユーティリティとして使用できます。
2つと4つのストリームに分割する場合、 Spleeterは非常に高いパフォーマンスを提供しますたとえば、GPUを使用する場合は、オーディオファイルを4つのストリームに分割します 元の作曲の所要時間の100分のXNUMXの時間で済みます。
内部的には、Spleeterはかなり複雑で設計されたエンジンですが、本当に使いやすいように努力してきました。 実際の分離は単一のコマンドラインで実現でき、オペレーティングシステムに関係なくラップトップで機能するはずです。 より上級のユーザー向けに、通常のパイプラインで直接操作できるSeparatorと呼ばれるPythonAPIクラスがあります。
NVIDIA GeForce GTX 1080GPUと6134コアIntelXeon Gold 32 CPUを搭載したシステムでは、27時間90分続いたmusDBベンチマーク収集処理がXNUMX秒で完了しました。
利点の オープンプロジェクトOpen-Unmixなど、音の分離の分野における他の開発と比較して、Spleeterによって提供されています。 より適切に構築されたモデルの使用が言及されています サウンドファイルの広範なコレクションに基づいています。
これがDeezerの決定の理由です Spleeterコードをリリースするには、それに関する投稿で彼は次のようにコメントしています。
なぜSpleeterを起動するのですか？
簡単な答え：私たちはそれを私たちの研究に使用しており、他の人もそうしたいと思うかもしれません。
私たちは長い間ソースの分離に取り組んできました（そして私たちはすでにICASSP 2019に投稿しました）。 Spleeterを、Inriaの研究チームによって最近リリースされた別のオープンソースモデルであるOpen-Unmixと比較し、より高速でわずかに優れたパフォーマンスを報告しました（トレーニングデータセットは同じではないことに注意してください）。
大事なことを言い忘れましたが、これらのタイプのモデルのトレーニングには多くの時間とエネルギーがかかります。 一度やって結果を共有することで、他の人の手間やリソースを節約したいと思っています。
著作権の制限により、機械学習研究者 音楽ファイルのコレクションへのアクセスが制限されている かなり貧弱なパブリックアクセスモデルですが、Spleeterモデルの場合、Deezerの広範な音楽カタログからのデータを使用して構築されました。
unmixのようなオープンツールと比較すると、 Spleeterは、CPUベンチマークで約35％高速に実行されます、MP3ファイルをサポートし、はるかに優れた結果を生成します（Open-Undoでの投票の割り当てでは、Open-Unmixモデルがわずか150トラックのコレクションでトレーニングされているため、いくつかのツールのトレースが混合されます）。
プロジェクトコードはPythonライブラリの形式で提供されます Tensorflowに基づいており、2、4、5のトランスミッション分離用の事前トレーニング済みモデルを使用 MITライセンスの下で配布されます。 最も単純なケースでは、ボーカルと伴奏コンポーネント（vocals.wav、drums.wav、bass.wav、piano.wav、other.wav）を含むXNUMXつ、XNUMXつ、またはXNUMXつのファイルがソースファイルに基づいて作成されます。
このプロジェクトについてもっと知りたい場合は、相談することができます 次のリンク または、そのソースコードを確認できます このリンクで。
脾臓 デルフトで開催されるISMIR2019カンファレンスで、ライブで発表およびデモンストレーションが行われます。