本ページはプロモーションを含みます(掲載基準)
メルスペクトログラム (Mel Spectrogram)の定義
メルスペクトログラムとは、音を「時間」と「周波数ごとの強さ」の画像のような形に変え、周波数の目盛りを人の耳の感じ方に近いメル尺度にそろえた音の表し方のことです。音声認識や音声合成AIの入力・中間データとして広く使われます。
- 英語表記
- Mel spectrogram(メル・スペクトログラム)
- 作り方
- 音声を短い区間ごとにフーリエ変換(STFT)して周波数成分を求め、メル尺度のフィルタでまとめる。強さはデシベル(対数)で表すことが多い
- 見方
- 横軸が時間、縦軸が周波数(メル尺度)、各点の明るさが音の強さ
- メル尺度の由来
- Stevens、Volkmann、Newmanの論文「A Scale for the Measurement of the Psychological Magnitude Pitch」(1937年)。人が感じる音の高さに基づく尺度
- AIでの使用例
- OpenAI Whisperは16kHzの音声を80チャンネルの対数メルスペクトログラムにして入力。Google Tacotron 2は文字からメルスペクトログラムを予測し、WaveNetで音声波形に戻す
- 作れるツール
- Pythonのlibrosa(librosa.feature.melspectrogram)、Keras(MelSpectrogramレイヤー)など
メルスペクトログラム (Mel Spectrogram)とは(詳しく解説)
メルスペクトログラムは、音を画像のような形で表す方法です。横軸に時間、縦軸に周波数をとり、それぞれの時間にどの高さの音がどれくらい強く鳴っているかを明るさで示します。普通のスペクトログラムとの違いは、縦軸の目盛りに人の耳の感じ方に近い「メル尺度」を使う点です。メル尺度は、1937年にStevensらが人の感じる音の高さを測って提案しました。 作り方は3ステップです。まず音声を短い区間に切ってフーリエ変換(STFT)し、周波数ごとの強さを求めます。次にメル尺度に合わせたフィルタで周波数をまとめ、最後に強さをデシベルに変えます。Pythonならlibrosaの関数1つで計算できます。 AIでは定番の表現です。OpenAIの音声認識AI Whisperは、16kHzの音声を80チャンネルの対数メルスペクトログラムにしてから読み込みます。音声合成では、GoogleのTacotron 2が文字からメルスペクトログラムを予測し、WaveNetというボコーダーで音声に戻す2段構えを示しました。 実際に使うときの注意点は、設定をそろえることです。サンプリングレート、窓の長さ、ずらし幅、メルの本数が学習時と違うと、同じ音でも別のデータになり、精度が落ちます。学習済みモデルを使うなら、そのモデルの前処理の設定に合わせましょう。
メルスペクトログラム (Mel Spectrogram)を調べた人に
声を
ナレーションづくりや、曲からボーカルだけを抜き出す作業をブラウザでできます。

Audible(オーディブル)プロの声優・俳優の朗読を聴き比べられる。30日間無料で試せる
オーディオブック / 30日間無料体験・以後プレミアム月1,500円

メルスペクトログラム (Mel Spectrogram)のよくある質問
Q. スペクトログラムとメルスペクトログラムの違いは?
普通のスペクトログラムは周波数を等間隔の目盛りで表します。メルスペクトログラムは、人が感じる音の高さに近いメル尺度で目盛りを付け直したものです。音声や音楽のAIでは、こちらがよく使われます。
Q. メルスペクトログラムは何に使われますか?
音声認識、話者の識別、音楽ジャンルの分類、音声合成などです。音声合成では、AIがまずメルスペクトログラムを作り、ボコーダーという仕組みで音声に戻す方式が代表的です。
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます(CC BY 4.0)。
出典: AI PICKS AI用語辞典「メルスペクトログラム (Mel Spectrogram)とは」 https://aipicks.jp/glossary/mel-spectrogram
メルスペクトログラム (Mel Spectrogram)の使用例
- 16kHzの音声をSTFT変換後、メルフィルタバンクで80次元のメルスペクトログラムに変換し音声認識モデルへ入力する。
- TTSモデルがテキストからメルスペクトログラムを予測し、その後vocoderで波形に変換する2段階構成が広く使われる。
メルスペクトログラム (Mel Spectrogram)に関連するAIツール
メルスペクトログラム (Mel Spectrogram)の関連記事
メルスペクトログラム (Mel Spectrogram)の関連用語
12カテゴリ・1815語以上を体系的に整理しています
