스트리밍 음악 제공 업체 Deezer 출시 최근 뉴스 "Spleeter"파일럿 프로젝트의 소스 코드를 열기로 결정했습니다. 그것은 다음과 같이 발전합니다. 음원을 분리하는 기계 학습 시스템 복잡한 사운드 구성. 프로그램 자체를 사용하면 작곡에서 음성을 제거하고 음악 반주 만 남기고, 개별 악기의 사운드를 조작하거나, 음악을 드롭하고, 음성이 다른 사운드 라인에 겹치게하고, 믹스, 가라오케 또는 트랜스 크립 션을 만들 수 있습니다.
이 "Spleeter"파일럿 프로젝트에서 음성을 다운로드하고 분리하기 위해 이미 훈련 된 모델을 제공합니다. 음향 반주, 보컬, 드럼,베이스, 피아노 및 나머지 사운드를 포함하여 4 개 및 5 개의 스트림으로 나눕니다.. Spleeter는 Python 라이브러리 또는 독립형 명령 줄 유틸리티로 사용할 수 있습니다.
2 개와 4 개 스트림으로 나눌 때 Spleeter는 매우 높은 성능을 제공합니다.예 : GPU를 사용할 때 오디오 파일을 4 개의 스트림으로 분할 원래 컴포지션의 길이보다 100 배 적은 시간이 걸립니다.
내부적으로 Spleeter는 상당히 복잡하고 설계된 엔진이지만 사용하기 쉽게 만들기 위해 열심히 노력했습니다. 실제 분리는 단일 명령 줄로 달성 할 수 있으며 운영 체제에 관계없이 랩톱에서 작동합니다. 고급 사용자를 위해 일반적인 파이프 라인에서 직접 조작 할 수있는 Separator라는 Python API 클래스가 있습니다.
NVIDIA GeForce GTX 1080 GPU와 6134 코어 Intel Xeon Gold 32 CPU가있는 시스템에서 27 시간 90 분 동안 지속 된 musDB 벤치 마크 수집 처리가 XNUMX 초 만에 완료되었습니다.
장점 Open-Unmix 프로젝트와 같은 사운드 분리 분야의 다른 개발에 비해 Spleeter에서 제공하는 더 나은 빌드 모델의 사용이 언급 됨 광범위한 사운드 파일 모음을 기반으로합니다.
Deezer의 결정은 다음과 같습니다. Spleeter 코드를 공개하기 위해 그에 대한 게시물에서 그는 다음과 같이 댓글을 달았습니다.
왜 Spleeter를 시작합니까?
짧은 대답 : 우리는 그것을 연구에 사용하고 다른 사람들도 원할 것이라고 생각합니다.
우리는 오랫동안 소스 분리 작업을 해왔으며 이미 ICASSP 2019에 게시물을 올렸습니다. Spleeter를 최근 Inria 연구팀에서 발표 한 또 다른 오픈 소스 모델 인 Open-Unmix와 비교하여 더 빠른 속도로 약간 더 나은 성능을보고했습니다 (학습 데이터 세트가 동일하지 않음).
마지막으로, 이러한 유형의 모델을 학습하려면 많은 시간과 에너지가 필요합니다. 한 번만 수행하고 결과를 공유함으로써 다른 사람들의 문제와 자원을 절약 할 수 있기를 바랍니다.
저작권 제한으로 인해, 머신 러닝 연구원 음악 파일 모음에 대한 액세스가 제한됨 다소 빈약 한 공개 액세스 모델 인 반면, Spleeter 모델의 경우 Deezer의 광범위한 음악 카탈로그의 데이터를 사용하여 구축되었습니다.
unmix와 같은 개방형 도구와 비교하면 Spleeter는 CPU 벤치 마크에서 약 35 % 더 빠르게 수행합니다., MP3 파일을 지원하고 훨씬 더 나은 결과를 생성합니다 (Open-Undo의 투표 할당에서 Open-Unmix 모델이 150 개의 트랙 모음에서만 훈련된다는 사실로 인한 일부 도구의 흔적을 혼합합니다).
프로젝트 코드는 Python 라이브러리 형식으로 제공됩니다. Tensorflow 기반, 2, 4 및 5 전송 분리를위한 사전 학습 된 모델 MIT 라이센스에 따라 배포됩니다. 가장 간단한 경우에는 보컬 및 반주 구성 요소 (vocals.wav, drums.wav, bass.wav, piano.wav, other.wav)가 포함 된 XNUMX 개, XNUMX 개 또는 XNUMX 개의 파일이 소스 파일을 기반으로 생성됩니다.
이 프로젝트에 대해 더 알고 싶다면 상담 할 수 있습니다. 다음 링크 또는 소스 코드를 확인할 수 있습니다. 이 링크에서.
스플리터 델프트에서 열리는 ISMIR 2019 컨퍼런스에서 라이브로 발표되고 시연됩니다.