Preferred Networks公開130億パラメータの大規模言語モデルPLaMo-13B

automatically summarised by GPT

株式会社Preferred Networks（PFN）は、130億パラメータの事前学習済み大規模言語モデルPLaMo-13Bを、研究・商用利用可能なオープンソースソフトウェアライセンスで公開したと発表しました。このモデルは、日本語と英語の2言語に対応しており、大規模言語モデルのベンチマーク評価において世界トップレベルの性能を示しています。 PFNは、PLaMo-13Bの開発にあたり、1.4兆トークンの大規模な日英2言語のデータセットを作成し、国立研究開発法人産業技術総合研究所が保有するAI橋渡しクラウド（ABCI）のNVIDIA A100を480GPU使用して、約1か月間の学習を行いました。その結果、130億パラメータというコンパクトなモデルでも日英2言語のベンチマーク評価で世界トップレベルの性能を実現しました。 また、PFNは新会社、株式会社Preferred Elementsを設立し、テキスト、画像、音声、映像、空間情報、ゲノム、センサ値など、様々な種類のデータを扱える高性能なマルチモーダル基盤モデルの開発を強化する予定です。この新会社は、2024年中に商用でのサービス提供の開始を目指しています。 PFNは、2023年10月17日から20日まで開催されるCEATEC Japanに出展し、PLaMo-13Bなどの大規模言語モデルを用いたデモ展示を行う予定です。また、同社の代表取締役最高研究責任者である岡野原大輔氏と代表取締役最高経営責任者の西川徹氏が、それぞれパネルディスカッションと講演を行います。