基本編はこちら→Sarashina-Embedding-v1-1B: 日本語LLMをベースにしたテキスト埋め込み(1/2)~基本編~ TL;DR 10億パラメータの日本語言語モデルであるSarashina2.1-1Bを事前学習モデルとした日本語テキスト埋め込みモデルを学習。 弱教師あり学習と教師あり学…

TL;DR Sarashina-Embedding-v1-1Bという日本語特化テキスト埋め込みモデルを開発し、モデルを公開. 12億パラメータの日本語言語モデルであるSarashina2.1-1Bを事前学習モデルとした日本語テキスト埋め込みモデル。 コンテキスト長は8192トークンで、日本語特…

概要 SB IntuitionsのSeng Pei Liew、李凌寒、高瀬翔です。 弊社では日本語能力に主眼を置いた大規模言語モデルの構築に取り組んでおり、パラメータの大規模化のための施策として、学習済みの70Bパラメータ*1をMixture-of-Experts（MoE）モデルに拡張し、事…

はじめに 東京科学大学情報理工学院 修士1年の山辺翔二郎と申します。2024年8月19日より、SB Intuitions株式会社 R&D本部 Responsible AIチームにてインターンシップを経験させていただきました。本記事では、インターンシップ中に取り組んだ研究テーマであ…

こんにちは、SB Intuitions株式会社の高山隼矢, 大萩雅也, 山崎天, 泉健太, Liu Lianboです。9月18-20日に京都で開催された、対話システム・談話研究に関する代表的な国際会議であるSIGDIAL2024にゴールドスポンサーとして協賛・参加いたしました。 本記事で…

はじめに 慶應義塾大学理工学研究科修士1年の今井悠人と申します。この度、SB Intuitions株式会社 R&D本部 Foundation dev部 VLMコア構築チームにインターンシップとして参加させていただきました。 今回のインターンシップでは、既存のVLM (Vision-Language…

こんにちは、SB Intuitions株式会社の大萩雅也と吉川克正です。9月1-5日にギリシャのコス島にて開かれた音声系では最大規模の国際会議の一つであるInterspeech 2024に参加し発表を行いました。 本記事では発表の内容、また国際会議の様子について紹介してい…