Neue Chip-Architektur bringt KI aus der Cloud auf Ihr Gerät
Durch die Kombination von Speicher und Verarbeitung in derselben Schicht wird der Energieverbrauch beim Ausführen von Sprachmodellen auf Telefonen halbiert.
Ein langerwarteter Schritt in der Halbleiterindustrie hat endlich das Labor verlassen: Eine neue Architektur kombiniert Speicherzellen und Verarbeitungseinheiten in derselben Schicht, wodurch der Energieaufwand für die Bewegung von Daten innerhalb des Chips erheblich reduziert wird.
Laut Herstellertests verbraucht ein mittelgroßes Sprachmodell auf diesem Chip etwa halb so viel Energie wie bei der vorherigen Generation. Dies ebnet den Weg für Offline-KI-Funktionen auf Handys und Laptops.
Warum ist das wichtig?
Die meisten KI-Funktionen laufen heute in entfernten Rechenzentren. On-Device-Modelle reduzieren die Latenz und speichern persönliche Daten auf dem Gerät.