クロスアテンションによるジャズピアニストスタイルの学習
Learning Jazz Pianist Style with Cross-Attention Conditioning (almostimplemented.github.io)
要約
この記事では、AIモデルがジャズピアニストの演奏スタイルを学習するプロジェクトについて説明しています。12人のジャズピアニストのMIDIデータを用いて、Transformerモデルにクロスアテンション機構を導入し、特定のピアニストのスタイルを模倣させることに成功しました。生成された音楽は、スタイル分類器によって高い精度で元のピアニストに帰属されました。
全文翻訳
クロスアテンション条件付けによるジャズピアニストスタイルの学習
ISMIR 2026, Abu Dhabi
1994年、ディック・ハイマンは『In the Styles of… The Great Jazz Pianists』を出版しました。これは、スコット・ジョプリンからビル・エヴァンスまで、15人の巨匠のスタイルで書かれた15のオリジナルエチュード集です。ハイマンは彼らのソロを採譜するのではなく、タタムの「両手の速いラン」、ガーナーの「ギターのような左手のストラム」、ピーターソンの「トレモロとグリッサンド」といった彼らの特徴を捉えた新しい楽曲を作曲しました。この本が、このプロジェクトのインスピレーション元です。Hymanが成し遂げたこと、すなわち、誰が演奏しているかを認識するだけでなく、その人のように演奏する能力をモデルは学習できるのでしょうか?タタム、ガーナー、ピーターソンは、私たちが研究する12人のピアニストに含まれており、ハイマン自身も含まれています。
私たちは、ピアノMIDIで事前学習されたTransformerであるAriaを、PiJAMAデータセットから選ばれた12人のジャズピアニストのソロ演奏でファインチューニングします。これに、各ピアニストの学習済み埋め込みベクトルを読み取るゲート付きクロスアテンション層を追加します。スタイルが反映されているかを確認するために、生成された音楽に沿ってピアニスト分類器をスライドさせます。条件付けされた継続生成は、条件付けなしの場合の37%に対し、70%の時間で意図したピアニストに帰属されました。次に、生成された音楽のみで訓練された2番目の分類器は、95%の精度で実際の録音を識別します。
まずは聴いてみてください。どのように機能するかは、さらに下にあります。
1つのプロンプト、12人のピアニスト
「Ain’t Misbehavin’」の冒頭部分は、私たちの一人(ドリュー)が演奏します。破線の後のすべては生成されたものです。同じ冒頭部分の12のテイクがあり、それぞれ異なるピアニストを条件としています。ピアニストを選択すると、そのピアニストのテイクを最初から聞くことができます。
0:00 / 0:00
— のスタイルで
すべてのテイクは同じ数のノートを生成するため、終了時間は異なります。アーロール・ガーナーは1分26秒に詰め込み、セダー・ウォルトンは2分45秒に広げます。この密度(密度)の違い自体が、ピアニストのシグネチャの一部です。
読み込み中…
12の継続、採点済み
共有されたプロンプトは、すべてのピアニストを同じ曲に引き寄せます。ここでは、各ピアニストが代わりに、彼ら自身の演奏の数小節を継続します。各テイクの下のストリップは、約300ノートのウィンドウごとに分類器がどのように認識したかを示しています。金色は意図したピアニストの名前を認識した場合、モーヴ色は他の誰かの名前を認識した場合です。ピアニストごとの2つのテイクは、私たちが採点した8つのうち最良のものです。その下の線は、残りがどうだったかを示しています。または、ブラインドフォールドをオンにして、自分で推測してみてください。
分類器が意図したピアニストを認識する
分類器が他の誰かの名前を認識する
現在聞いている部分が含まれるウィンドウ
0:00 / 0:00
仕組み
モデル
私たちは、大規模なピアノMIDIコーパスで事前学習された16層のTransformerであるAria(Bradshawら、ISMIR 2025; コード)から始めます。その最後の8層すべてにクロスアテンションブロックを挿入します。音楽は、選択されたピアニストのために学習された小さな埋め込みベクトル(ピアニストあたり4つのベクトル)にアテンションを向けます。学習済みのゲートがブロックが追加する量をスケーリングし、初期値は0.1なので、ファインチューニングはAria自身の振る舞いから始まり、どれだけ注意を払うかを学習します。埋め込みベクトルは各ステップでアテンションされるため、プロンプトのプレフィックスのように、条件付けは生成が進むにつれて薄れることはありません。
追加されたゲート付きクロスアテンションブロックを持つ1つのTransformerレイヤー
x Self-attention
Add & norm
Cross-attention ×g
Add & norm
Feed-forward
Add & norm
x′
keys, values
pianist embedding
4 learned vectors
8つの適応された層の1つ。新しい部分はアンバー色で示されています。音楽はクエリを供給し、ピアニストの埋め込みベクトルはキーと値を供給し、ゲート g は結果をスケーリングしてから残差ストリームに結合します。
スタイルの測定
モデルがピアニストのスタイルを学習したかどうかをどのように判断できるでしょうか?生成モデルの標準的な尺度である、保持された音楽に対するパープレキシティは、それにほとんど気づかないことが判明しました。実際の先行ノートが与えられれば、誰が演奏していても次のノートは予測可能なので、条件付けはスコアをほとんど動かしません。スタイルは、モデルが自由に生成し、自身の出力でキャラクターを維持する必要がある場合に現れます。そのため、代わりに演奏させて、ピアニスト分類器に誰のように聞こえるかを尋ねます。合意度とは、分類器が意図したピアニストの名前をどれだけ頻繁に挙げるかであり、継続生成のウィンドウに沿って測定されます。
| モデル |
|---|
| 事前学習済み Aria |
| ファインチューニング済み、条件付けなし |
| ファインチューニング済み、ピアニスト条件付けあり |
| Perplexity |
|---|
| 11.41 |
| 6.96 |
| 6.82 |
| Agreement |
|---|
| 25% |
| 37% |
| 70% |
パープレキシティ(低いほど良い)は、2つのファインチューニング済みモデルをほとんど区別しません。合意度はほぼ倍増します。継続生成は256トークンのプロンプトから4096トークンです。偶然の一致は8%です。
分類器の使用方法3通り
- スライディングウィンドウ合意度(上記)。分類器は保持された楽曲の98.8%を識別し、条件付けされたモデルの優位性は、継続生成の開始から終了まで持続します。採点済みテイクの下のストリップは、この測定値です。
- 合成転移。生成された音楽のみで訓練された新しい分類器は、実際の録音を識別します。1024トークンチャンクの87%、楽曲の95%が、実際のデータで訓練されたものと9ポイント以内の精度で識別されます。採点済みテイクは、その訓練データのサンプルです。
- 特徴的な領域。実際の演奏で有効にすると、分類器はピアニストのスタイルが最も集中している場所、つまりスタイルが存在する場所を指し示します。
論文には詳細が記載されています。ピアニストごとの結果、ミスマッチ実験(あるピアニストでプロンプトし、別のピアニストで条件付けする)、記憶チェック、および転移結果を確認するスクラッチからの分類器が含まれています。
これらの例について
ここに表示されているすべてはMIDIです。 ブラウザ上でサンプリングされたピアノでレンダリングされます。モデルは商用録音の自動転写で訓練されたため、ダイナミクスとペダリングは近似であり、レンダリングはレコードよりもプレーンです。
12人のピアニストは分離可能性のために選ばれました。 それらはPiJAMAの30人の中から、事前学習済みモデルがすでに最も容易に区別できる12人です。その中でも、モデルは一部を他よりもはるかにうまく模倣します。論文の評価全体では、ハンク・ジョーンズとディック・ハイマンでは意図したピアニストに96%の確率で帰属されましたが、セダー・ウォルトンでは29%にすぎませんでした。
採点済みテイクはコピーではなく選択されたものです。 それらは、論文の合成専用分類器が学習した生成音楽のコーパスからのサンプルです。各ピアニストについて、8つの候補のうちスコアが最も高かった2つを示します。プロンプトは訓練録音から来ており、論文は継続生成がそれらをコピーしていないことを確認しています。それらは、実際の保持されたパフォーマンスよりも、最も近い訓練パフォーマンスに似ていません。
スコアはリスナーからではなく、分類器から来ています。 それは強力な分類器(保持された楽曲の98.8%を識別)ですが、癖があります。生成された音楽におけるその誤りの多くはディック・ハイマンに起因しています。これは、おそらく、他のすべての人のスタイルで演奏することをキャリアとしたピアニストにとっては適切でしょう。リスニングスタディが自然な次のステップです。