新しいチップアーキテクチャは、クラウドからデバイスにAIをもたらします

半導体業界に待望のステップがついに研究室を離れました。新しいアーキテクチャは、メモリセルと処理ユニットを同じレイヤーに結合し、チップ内の移動データを費やしたエネルギーを大幅に削減しました。

製造元のテストによると、中規模の言語モデルは、以前の世代と同様に、このチップの約半分のエネルギーを使用しています。 これは、携帯電話やノートパソコン上のオフラインAIの機能のための方法を開きます。

なぜ問題なのか?

ほとんどのAIは、リモートデータセンターで動作します。 オンデバイスモデルは、レイテンシを減らし、個人データをデバイスに保存します。