7月16日、北京の月之暗面科技有限公司（Moonshot AI）は次世代大規模言語モデル「Kimi K3」を発表した。同モデルのパラメータ数は2兆8000億に達し、現時点で世界最大のパラメータを持つオープンソースモデルとなる。

Kimi K3はネイティブで視覚理解機能を備え、最大100万トークンの長文コンテキストに対応できる。ソフトウェアエンジニアリング、ナレッジワーク、ディープリサーチ、マルチモーダル理解といった複雑なタスク向けに最適化され、大規模モデルによる複雑なタスクの処理能力をさらに向上させている。各種性能評価において、Kimi K3の総合的な知能レベルは世界最先端のクローズドソースモデルに迫る水準を示した。

Kimi K3のブランドビジュアル

Kimi K3という次世代基盤モデルのトレーニングにおいて、同社は独自開発した基盤アーキテクチャを活用し、一連の科学的なトレーニング手法を確立した。モデル構造、トレーニング手法、学習データの構成などの最適化により、Kimi K3は前世代モデルと比べて全体のスケーラビリティが約2.5倍向上し、計算能力をモデル性能へ変換する効率のさらなる向上につながっている。

Moonshot AIは、同モデルの重みを近日フル公開すると表明した。また、モデルアーキテクチャ、トレーニング、性能評価の詳細についても、技術レポートとともに順次公開する予定である。

情報提供：新華網