VentureBeatによると、11月21日、Microsoft ResearchはOrca 2用の小さな言語モデルをリリースした。 ゼロRF環境で複雑な推論タスクをテストする際のOrca 2のパフォーマンスは、MetaのLlama-2 Chat-70Bなどの大規模言語モデルに匹敵するか、5倍から10倍以上であると報告されています。 70億と130億のパラメータのサイズで利用可能なOrca 2は、数か月前に、より大規模で高性能なモデルの段階的な推論軌跡を模倣することで強力な推論能力を実証したオリジナルの13B Orcaモデルに基づいて構築されています。 現在、Microsoft は 2 つの新しいモデルをオープンソース化して、大規模なモデルに匹敵するパフォーマンスを持つ小規模なモデルを開発および評価する方法をさらに調査しています。