日本語対応の大規模言語モデルが一般公開
先日、サイバーエージェントが最大68億パラメータの日本語大規模言語モデル（LLM）を一般公開したと発表しました。パラメータは1億6000万から最大68億までの複数のモデルが公開されています。これらのモデルは、AI関連のコミュニティーWebサイト「HuggingFace」で配布されており、商用・研究目的で自由に利用できます。
サイバーエージェントが研究開発を支援
サイバーエージェントは、このモデルをベースに対話型AIなどの開発も可能であるため、多くの人たちに日本語の自然言語処理に関する最先端の研究開発に取り組んでほしいと呼びかけています。同社は、5月に独自の日本語LLMを開発しており、すでに130億パラメータまでの開発が完了し、広告の制作などに活用しているとのことです。
日本語と日本文化に強いLLMの重要性
サイバーエージェントは、「既存のLLMのほとんどが英語を中心に学習されており、現状では日本語および日本文化に強いLLMは少ない状況」と指摘しました。このため、日本語と日本文化に特化した大規模言語モデルの公開は、国内の自然言語処理技術の発展に大いに貢献するものと期待されます。
まとめ
サイバーエージェントのこの取り組みは、日本のAI研究が新たな局面に突入するきっかけとなりそうです。今後、この大規模言語モデルを利用した研究や開発が進めば、日本語と日本文化に深い理解を持つAI技術がさらに進化し、私たちの生活をより豊かにする可能性があります。