2024-01-01から1年間の記事一覧

大規模な日本語の事前学習言語モデルSarashina1・2の公開

概要 SB Intuitionsの清野舜,李凌寒,高瀬翔です。 弊社では高品質な日本語大規模言語モデルの構築に取り組んでいます。 大規模言語モデルの構築は理論的にも経験的にもまだまだ発展途上の領域であり,学術界・産業界の日本語大規模言語モデルの研究開発促…

日本語テキスト埋め込みベンチマークJMTEBの構築

TL;DR JMTEB とは 評価結果 はじめてのJMTEB ベンチマークを用いた分析例: 正規化に関する考察 おわりに 付録 TL;DR 日本語テキスト埋め込みベンチマークJMTEBを構築・公開しました。2024年5月現在,6タスク・16データセットで構成されています。 データセッ…