unMixは、AIを活用した音声分離ツールであり、楽曲からボーカルとインストゥルメンタル要素を分離するためのものです。ステレオ音声または動画ファイルから、高品質なボーカルトラック、インストゥルメンタルトラック、ドラム、ベース、その他の音源成分(ステム)を抽出できます。音響エンジニアリングの専門知識を必要とせず、直感的な操作で利用可能です。対応プラットフォームにはWebアプリケーション、モバイルアプリ(iOSおよびAndroid)、デスクトップアプリ(macOSおよびWindows)、およびChromeブラウザ拡張機能が含まれており、多様な作業環境に対応しています。
このツールは、音楽家、DJ、ポッドキャスター、教育者、カラオケ愛好家、コンテンツ制作者など、高品位な音源分離を必要とするユーザーを対象としています。用途としては、練習用伴奏トラックの作成、リミックス制作、トランスクリプション、言語学習、アクセシビリティ支援などが挙げられます。そのコア技術は、音楽ソース分離に特化して訓練されたディープラーニングモデルに基づいており、音質の忠実性を保ちながらノイズやアーティファクトを最小限に抑えます。
unMixは、アップロードされた音声または動画ファイルを、音楽ソース分離に最適化されたニューラルネットワークモデルによって処理します。アップロード後、システムは入力信号のスペクトログラムおよび調波構造を分析し、周波数帯域、時間的パターン、音色的特徴に基づいてボーカル成分と非ボーカル成分を識別します。その後、AIはボーカル、ドラム、ベース、「その他」(メロディック・ハーモニック楽器)という4つのステムをそれぞれ独立したWAVまたはMP3ファイルとして再構成します。
基本的なワークフローは3段階から成り立ちます。(1)ドラッグ&ドロップまたはファイルブラウザによる対応ファイルのアップロード、(2)自動分離処理の開始、(3)分離結果のプレビュー、各ステムのミュート/ソロ設定、および出力トラックのダウンロードです。モバイルおよびデスクトップアプリでは、セクションのループ再生、再生速度調整、再処理による微調整も可能です。
音楽家は、練習やライブ演奏用のカスタム伴奏トラックを作成するためにunMixを利用します。DJは、マッシュアップやトランジションのための分離ステムを活用します。教育者は、発音訓練や音声分析のためにクリーンなボーカルのみを抽出します。ポッドキャスターは、インタビュー音声から背景音楽を除去します。カラオケ開発者は、人気楽曲のインストゥルメンタル版を生成します。コンテンツ制作者は、チュートリアル、ASMR、多言語吹き替えなどの目的で音声を再利用します。また、聴覚障害者向けのアクセシビリティ支援や、教育用録音から不要な背景音を除去するといった用途にも対応します。