NPU

NPU (Neural Processing Unit) ist ein spezialisierter Prozessor, der speziell für die Ausführung von Berechnungen im Bereich Künstliche Intelligenz und Machine Learning entwickelt wurde. Im Gegensatz zu universellen Prozessoren wie CPUs oder GPUs, die eine breite Palette von Aufgaben bewältigen müssen, ist eine NPU hochspezialisiert auf einen einzigen Einsatzzweck zugeschnitten: die effiziente Ausführung von KI-Algorithmen direkt auf dem Endgerät.

NPUs finden sich heute in Smartphones, Tablets, Notebooks und zunehmend auch in Desktop-PCs. Sie ermöglichen es, KI-Funktionen wie Spracherkennung, Bildverarbeitung oder Textgenerierung lokal auszuführen – ohne dass Daten in die Cloud gesendet werden müssen. Das spart Energie, reduziert Latenz und erhöht die Privatsphäre.

Funktionsweise einer NPU

Eine NPU funktioniert grundlegend anders als eine CPU oder GPU. Während eine CPU sequentielle Berechnungen mit hoher Präzision durchführt und eine GPU für parallele Grafikberechnungen optimiert ist, verfügt eine NPU über spezialisierte Befehlssätze für Deep Learning und typische KI-Operationen.

Die NPU simuliert gewissermaßen die Arbeitsweise neuronaler Netze: Sie führt massiv parallele Matrixmultiplikationen aus – die mathematische Grundlage der meisten KI-Modelle. Ein neuronales Netz besteht aus Schichten von künstlichen Neuronen, die Eingabewerte mit Gewichtungen multiplizieren und die Ergebnisse an die nächste Schicht weiterleiten. Genau diese Berechnungen kann eine NPU besonders effizient ausführen.

Architektonische Besonderheiten

NPUs unterscheiden sich in mehreren Aspekten von klassischen Prozessorarchitekturen. Ein wichtiges Merkmal ist die ereignisgesteuerte Aktivierung: Einzelne Recheneinheiten sind nur dann aktiv, wenn sie tatsächlich benötigt werden. Das führt zu einem extrem niedrigen Energieverbrauch – ein entscheidender Vorteil bei mobilen Geräten mit begrenzter Akkukapazität.

Außerdem sind NPUs darauf ausgelegt, große Mengen an Matrixdaten gleichzeitig zu verarbeiten. Sie verfügen über spezielle Speicherarchitekturen, die den Datentransfer zwischen Recheneinheiten und Speicher optimieren. Bei klassischen Architekturen ist dieser Datentransfer oft der Flaschenhals – NPUs reduzieren dieses Problem durch geschickte Datenorganisation.

NPU vs. CPU vs. GPU

Um die Rolle der NPU zu verstehen, hilft ein Vergleich mit den anderen Prozessortypen. Jeder hat seine Stärken für bestimmte Aufgaben:

Die NPU ersetzt weder CPU noch GPU, sondern ergänzt sie. Bei KI-Aufgaben entlastet sie die anderen Prozessoren und führt diese Berechnungen schneller und stromsparender aus. Für das Training großer KI-Modelle sind allerdings weiterhin leistungsstarke GPUs in Rechenzentren erforderlich – NPUs sind primär für die Inferenz optimiert, also die Anwendung bereits trainierter Modelle.

Wichtige Hersteller und ihre NPU-Lösungen

Die großen Chip-Hersteller haben jeweils eigene NPU-Architekturen entwickelt. Die Bezeichnungen variieren, aber das Grundprinzip ist ähnlich: spezialisierte Hardware für KI-Berechnungen.

Apple Neural Engine

Apple integriert seit dem A11 Bionic (2017) eine Neural Engine in seine Chips. Die aktuelle Generation in den M-Serie-Chips für Macs erreicht bis zu 38 Billionen Operationen pro Sekunde (TOPS). Die Neural Engine ermöglicht Features wie Face ID, Live Text und Bildbearbeitung in der Fotos-App. Entwickler können über Core ML auf die Hardware zugreifen.

Qualcomm Hexagon NPU

Qualcomm integriert NPUs in seine Snapdragon-Prozessoren für Android-Smartphones und Windows-Notebooks. Die Hexagon-NPU der neuesten Generation erreicht über 45 TOPS und ermöglicht KI-Features wie den Foto-Assistenten in Samsung Galaxy-Geräten oder Echtzeit-Übersetzung.

Intel AI Boost und AMD XDNA

Für Desktop- und Notebook-Prozessoren haben auch Intel und AMD NPUs entwickelt. Intel nennt seine Lösung "AI Boost" und integriert sie in die Core Ultra Prozessoren. AMD setzt auf die XDNA-Architektur in den Ryzen AI Prozessoren. Beide ermöglichen lokale KI-Verarbeitung auf Windows-PCs – Microsofts Copilot+ PCs setzen diese Hardware voraus.

Google Tensor und TPU

Google entwickelt eigene KI-Chips: Die Tensor Processing Units (TPUs) für Rechenzentren und die Tensor-Chips für Pixel-Smartphones. TPUs sind technisch gesehen keine NPUs im engeren Sinne, verfolgen aber das gleiche Ziel: spezialisierte Hardware für effiziente KI-Berechnungen.

Einsatzgebiete

NPUs ermöglichen eine Vielzahl von KI-Anwendungen, die direkt auf dem Endgerät laufen. Die lokale Verarbeitung bietet Vorteile bei Geschwindigkeit, Datenschutz und Offline-Verfügbarkeit.

Smartphones und Tablets

Auf mobilen Geräten übernehmen NPUs zahlreiche Aufgaben im Hintergrund: Gesichtserkennung zum Entsperren, automatische Bildverbesserung beim Fotografieren, Spracherkennung für Assistenten wie Siri oder Google Assistant, und Echtzeit-Übersetzung von Text und Sprache. Auch die Empfehlungen in Apps basieren oft auf lokaler KI-Verarbeitung durch die NPU.

PCs und Notebooks

Mit der Einführung von AI PCs und Copilot+ PCs halten NPUs Einzug in die Desktop-Welt. Sie ermöglichen Funktionen wie intelligente Suche in Dokumenten und E-Mails, Hintergrundunschärfe und Blickkontaktkorrektur in Videokonferenzen, lokale KI-Assistenten ohne Cloud-Anbindung, und Bild- und Videobearbeitung mit KI-Unterstützung.

Weitere Anwendungsbereiche

Über Consumer-Geräte hinaus finden NPUs Einsatz in spezialisierten Bereichen:

• Autonome Fahrzeuge: Schnelle Bild- und Sensordatenverarbeitung für Objekterkennung und Hindernisvermeidung
• VR- und AR-Brillen: Echtzeit-Tracking und Rendering virtueller Elemente
• Smart Home: Spracherkennung in Smart Speakern und Kameras mit Personenerkennung
• Industrielle Automatisierung: Qualitätskontrolle durch Bildanalyse und vorausschauende Wartung
• Medizintechnik: Analyse von Röntgenbildern und anderen medizinischen Daten direkt am Gerät

Vorteile und Einschränkungen

NPUs bieten klare Vorteile für bestimmte Anwendungsfälle, haben aber auch Grenzen. Die folgende Übersicht hilft bei der Einordnung:

Vorteile

• Energieeffizienz: Bei KI-Aufgaben verbrauchen NPUs deutlich weniger Strom als CPUs oder GPUs – entscheidend für mobile Geräte
• Geschwindigkeit: Spezialisierte Hardware führt KI-Berechnungen schneller aus als universelle Prozessoren
• Datenschutz: Lokale Verarbeitung bedeutet, dass sensible Daten das Gerät nicht verlassen müssen
• Offline-Fähigkeit: KI-Features funktionieren auch ohne Internetverbindung
• Entlastung anderer Komponenten: CPU und GPU bleiben für ihre eigentlichen Aufgaben verfügbar

Einschränkungen

• Begrenzte Flexibilität: NPUs sind auf KI-Aufgaben spezialisiert und für andere Berechnungen nicht geeignet
• Nur Inferenz, kein Training: Das Trainieren großer KI-Modelle erfordert weiterhin leistungsstarke GPUs in Rechenzentren
• Software-Unterstützung: Nicht jede Anwendung kann automatisch von NPUs profitieren – Entwickler müssen ihre Software anpassen
• Fragmentierung: Verschiedene Hersteller nutzen unterschiedliche Architekturen und APIs

NPU-Programmierung und APIs

Für Entwickler stehen verschiedene Frameworks und APIs zur Verfügung, um NPUs anzusprechen. Die Wahl hängt von der Zielplattform ab:

• Apple: Core ML und Neural Engine API für iOS und macOS
• Android: Android Neural Networks API (NNAPI) als Abstraktionsschicht
• Windows: DirectML und Windows ML für plattformübergreifende NPU-Nutzung
• Qualcomm: Qualcomm AI Engine für direkte Hexagon-Programmierung
• Allgemein: ONNX (Open Neural Network Exchange) als universelles Modellformat

Die meisten Frameworks nutzen vortrainierte Modelle, die für die jeweilige NPU optimiert wurden. Als Entwickler musst du dein Modell in einem kompatiblen Format bereitstellen – das Framework kümmert sich dann um die effiziente Ausführung auf der verfügbaren Hardware.

NPUs in der Praxis

NPUs gewinnen in der IT-Branche zunehmend an Bedeutung. Mit dem Trend zu lokaler KI-Verarbeitung und datenschutzfreundlichen Lösungen werden Kenntnisse über diese Hardware für Fachinformatiker für Anwendungsentwicklung und Fachinformatiker für Systemintegration relevant.

Im Unternehmensumfeld spielen NPUs eine Rolle bei der Auswahl von Hardware für KI-gestützte Anwendungen. Wer Systeme plant oder administriert, sollte verstehen, welche Vorteile integrierte NPUs bieten und wann dedizierte GPU-Lösungen oder Cloud-Services die bessere Wahl sind.

Verwandte Konzepte

NPUs arbeiten eng mit anderen Technologien zusammen und stehen in Verbindung zu verschiedenen KI-Konzepten:

• CNN (Convolutional Neural Network): Eine Netzwerkarchitektur, die besonders von NPUs profitiert – häufig für Bildverarbeitung eingesetzt
• RNN (Recurrent Neural Network): Netzwerke für sequentielle Daten wie Sprache oder Text, ebenfalls auf NPUs optimierbar
• Edge Computing: Das Konzept, Berechnungen am Rand des Netzwerks statt in der Cloud auszuführen – NPUs sind ein Enabler dafür
• On-Device AI: Der Oberbegriff für KI-Funktionen, die lokal auf dem Gerät laufen

Quellen und weiterführende Links

• Microsoft: Alles über NPUs – Offizielle Einführung
• Apple Core ML Documentation – Entwickler-Dokumentation für Apple-Plattformen
• Google Cloud TPU – Informationen zu Googles KI-Hardware
• Intel AI PC – Intel NPU-Integration
• Wikipedia: AI accelerator – Umfassender Überblick über KI-Beschleuniger