「pesto~」を入れたら、Maxで音程がたいてい5ms未満で取れた | pesto~ for Max/MSP

どんなアプリか

pesto~ は、音楽制作環境 Max/MSP で使う外部オブジェクトです。Sony CSL Paris の Alain Riou らが開発した深層学習モデル PESTO を使い、入ってくる音の基本周波数（音の高さ）を逐次推定します。

This Max wrapper enables musicians, developers, and researchers to integrate PESTO’s robust, low-latency (typically under 5ms) pitch tracking directly into their Max patches. Whether for interactive music systems, audio analysis tools, jitter visuals, or live performance.

QosmoInc、GitHub の README

Max の中で「pesto~ <チャンクサイズ>」と書いてオブジェクトを作ります。出口は3つあり、推定した MIDI の音高、推定の確からしさ（0〜1）、音の大きさを出します。チャンクサイズは小さいほど遅れが少なく、大きいほど正確になり、README は128〜1024サンプルをすすめています。

動かしたまま「chunk」「model」のメッセージでモデルを差し替えられます。確からしさや音量が低いときの出力を抑える属性 @conf と @amp も用意されています。

同じ分野のアプリ

名前	型	仕掛け	対応	料金
pesto~ for Max/MSP	音高推定	Max のパッチの中で、深層学習モデルで音高を逐次推定	Mac / Windows（Max/MSP）	無料（LGPL-3.0）
Frieve EffeTune	エフェクト	聴く音楽に100種類以上のエフェクトをリアルタイムにかける	Web（PWA）・デスクトップ・Chrome/Edge 拡張・VST3	無料（OSS, MIT）
Piano Sheet Converter（β）	採譜	音源ファイルから約3分でピアノ譜を自動作成	Windows / macOS	Free（月5回）/ ADVANCED 月額1,980円（β期間は無料開放）

入れる前に

配布版は Max のパッケージフォルダに展開して使います。README には Max 9 の場合の macOS と Windows の場所が書かれています。

同梱のモデルは128・256・512・1024サンプルで、サンプルレートは44.1kHz と48kHz です。ほかのサンプルレートでは内部で音高を補正します。そのレートで直接動かしたいときや別のチャンクサイズが要るときは、作者のフォークから ONNX モデルを書き出します。

Apple Silicon の Mac でセキュリティの制限により読み込めないときは、ポップアップかターミナルで .mxo ファイルの隔離を外す必要があります。また、オブジェクトを作るときにチャンクサイズを指定しないと、モデルが読み込まれません。

作り手は貢献やバグ報告を受け付けていて、とくに Pure Data 向けのビルドを求めています。