日本語BERTの分かち書き、「ModernBERT-Ja」ならもう要らなかった

どんなアプリか

ModernBERT-Ja は、SB Intuitions が学習した日本語の ModernBERT です。ModernBERT は BERT の新しい型で、局所的な注意と全体的な注意を組み合わせ、計算の効率を保ったまま長い文を扱えるようにしたものだと説明されています。

ModernBERT is a new variant of the BERT model that combines local and global attention, allowing it to handle long sequences while maintaining high computational efficiency.

SB Intuitions、Hugging Face のモデルカード（modernbert-ja-130m）

大きさの違うモデルが用意されていて、モデルカードの表には modernbert-ja-30m から modernbert-ja-310m までが載っています。130M のモデルは日本語と英語の合計 4.39T トークンで学習され、語彙の数は 102,400、扱える長さは 8,192 トークンです。

トークナイザーは sarashina2-13b のものを使い、日本語の形態素解析による前処理はしていません。そのため、文をそのままトークナイザーに入れられます。

作り手は JGLUE を含む12のデータセットで評価しています。モデルカードによると、base の大きさの 130M が Tohoku BERT-large を上回り、LUKE-japanese-large-lite と同じくらいの成績でした。

料金とデータの置き場所

ライセンスは MIT License です。

入れる前に

このモデルは、主に下流のタスクに合わせて微調整して使うためのものです。文章の生成向けには作られていないので、文章を作りたいときは Sarashina などの生成モデルを使うよう案内されています。

トークンの区切りが形態素の区切りと合わないことが多いため、固有表現抽出やスパン抽出のようなトークン分類のタスクでは成績が低いと書かれています。

使うには transformers ライブラリの v4.48.0 以上が必要です。GPU が Flash Attention 2 に対応していれば、併用が勧められています。

偏りを反映した表現が出たり、マスク言語モデルとして使ったときに偏りや有害な表現を出したりすることがあると注意書きがあります。