KI ohne Cloud: Wie Smartphones und Laptops Sprachmodelle direkt auf dem Gerät ausführen

Künstliche Intelligenz muss längst nicht mehr jede Anfrage an ein entferntes Rechenzentrum senden. Im Jahr 2026 können Smartphones und Laptops eine wachsende Zahl von Aufgaben rund um Sprache, Text und Bilder direkt mit der eigenen Hardware verarbeiten. Das bedeutet nicht, dass sich auf einem Smartphone dasselbe riesige Modell befindet, das von großen Online-KI-Diensten genutzt wird. Gerätehersteller setzen stattdessen auf kleinere, gezielt optimierte Modelle, die innerhalb der Grenzen von Arbeitsspeicher, Speicherplatz und Energieverbrauch persönlicher Geräte funktionieren. Diese Entwicklung zeigt sich bereits bei Apple Intelligence, Googles Gemini-Nano-Familie, den lokalen KI-Funktionen von Microsoft unter Windows sowie unabhängigen Anwendungen, mit denen offene Modelle auf gewöhnlichen Computern ausgeführt werden können. Die lokale Verarbeitung ermöglicht KI-Funktionen auch ohne zuverlässige Internetverbindung, reduziert die Menge persönlicher Daten, die ein Gerät verlassen müssen, und vermeidet Verzögerungen durch die Kommunikation mit entfernten Servern. Cloud-Modelle bleiben für anspruchsvolle Schlussfolgerungen und wissensintensive Aufgaben wichtig, doch lokale KI ist inzwischen ein praktischer Bestandteil des alltäglichen Computings und kein reines Forschungsprojekt mehr.

Warum Sprachmodelle heute auf alltäglichen Geräten laufen können

Die erste wichtige Veränderung betrifft die Hardware moderner Smartphones und Laptops. Ein Computer stützt sich traditionell vor allem auf seinen Hauptprozessor und Grafikprozessor, doch viele neuere Geräte enthalten zusätzlich eine Neural Processing Unit, kurz NPU. Dabei handelt es sich um einen spezialisierten Teil des Chips, der für die wiederkehrenden Berechnungen von Machine-Learning-Modellen ausgelegt ist und dabei weniger Energie benötigt als ein Universalprozessor für dieselbe Aufgabe. Microsoft definiert Copilot+ PCs beispielsweise über eine NPU, die mindestens 40 Billionen Rechenoperationen pro Sekunde ausführen kann. Qualcomms Snapdragon X Elite enthält eine Hexagon-NPU mit einer Leistung von bis zu 45 TOPS, während aktuelle Chips von Intel, AMD, Apple, Qualcomm und Herstellern mobiler Prozessoren zunehmend erhebliche Rechenkapazitäten speziell für KI reservieren. Diese Zahlen allein bestimmen zwar nicht, wie nützlich ein Gerät in der Praxis ist, sie zeigen jedoch, wie stark sich das Design moderner Computer verändert hat.

Auch die Modelle selbst haben sich ebenso deutlich verändert wie die Hardware. Die Sprachmodelle, die durch Online-Chatdienste bekannt wurden, können über Dutzende oder Hunderte Milliarden Parameter verfügen. Dabei handelt es sich um numerische Werte, die das Modell bei der Verarbeitung von Sprache verwendet. Ein Modell dieser Größe auf einem Smartphone auszuführen, würde viel zu viel Arbeitsspeicher und Energie benötigen. Entwickler erstellen deshalb kleinere Modelle und komprimieren sie so, dass sie deutlich weniger Ressourcen beanspruchen. Eine als Quantisierung bezeichnete Technik speichert Modellwerte mit geringerer numerischer Genauigkeit. Dadurch sinkt der Speicherbedarf, ohne dass das Modell zwangsläufig unbrauchbar wird. Apple beschrieb beispielsweise in seinen Forschungsunterlagen von 2025 ein On-Device-Modell mit rund drei Milliarden Parametern und führte diesen Ansatz 2026 mit einer neuen Generation gerätebasierter Modelle fort. Modelle dieser Größenordnung lassen sich wesentlich leichter auf Verbraucherhardware betreiben und können dennoch nützliche Text- und multimodale Aufgaben übernehmen.

Auch die Software entscheidet inzwischen besser darüber, welcher Prozessor eine bestimmte Aufgabe übernehmen soll. Eine lokale KI-Funktion muss nicht jede Berechnung ausschließlich auf der NPU ausführen. Teile einer Aufgabe können abhängig vom jeweiligen Gerät und der verwendeten Software vom CPU, GPU oder NPU verarbeitet werden. Betriebssysteme verwalten diese Verteilung zunehmend automatisch, sodass jemand, der lediglich einen Absatz umformulieren möchte, nicht wissen muss, welcher Chip gerade die einzelnen Berechnungen übernimmt. Dadurch verändert sich grundlegend, wie KI für normale Nutzer verfügbar wird: Lokale Sprachverarbeitung kann heute als gewöhnliche Funktion eines Betriebssystems oder einer Anwendung bereitgestellt werden und ist kein spezialisiertes Experiment mehr. Das Modell wird auf das Gerät geladen oder ist bereits darin integriert, die erforderliche Verarbeitung erfolgt lokal, und nur Aufgaben, die tatsächlich mehr Rechenleistung oder aktuelle externe Informationen benötigen, müssen an andere Systeme weitergegeben werden.

Was tatsächlich passiert, wenn eine Anfrage auf dem Gerät bleibt

Wenn ein Sprachmodell lokal ausgeführt wird, ist der grundlegende Ablauf aus Sicht des Nutzers relativ einfach. Die Modelldateien werden auf dem Smartphone oder Computer gespeichert, der Nutzer gibt Text oder andere unterstützte Inhalte ein, und das Gerät berechnet die Antwort, ohne diese Anfrage an einen entfernten KI-Server zu senden. Das Modell verarbeitet die Eingabe in kleinen Einheiten, schätzt, was als Nächstes folgen sollte, und erzeugt die Antwort Schritt für Schritt. Moderne Hardware kann diese Berechnungen bei vielen kurzen Alltagsaufgaben schnell genug durchführen. Sobald die erforderlichen Modell- und Softwarekomponenten vorhanden sind, wird keine dauerhafte Internetverbindung benötigt. Deshalb kann ein lokaler Assistent beispielsweise ein Dokument zusammenfassen, einen Satz umformulieren oder Informationen klassifizieren, während sich ein Laptop im Flugzeug befindet oder ein Smartphone nur schlechten Mobilfunkempfang hat.

Lokale Modelle eignen sich besonders gut für Aufgaben, bei denen die Eingabedaten bereits auf dem Gerät vorhanden sind und die erwartete Antwort überschaubar bleibt. Dazu gehören beispielsweise das Korrigieren einer Nachricht, das Ändern ihres Tons, das Extrahieren von Namen oder Datumsangaben aus einer Notiz, das Erstellen einer Zusammenfassung, das Kategorisieren von Text, das Beschreiben eines Bildes oder die Umwandlung von Sprache in Text. Google stellt Gemini Nano über den Android-Systemdienst AICore und Schnittstellen von ML Kit für Aufgaben wie Zusammenfassungen, Korrekturen, Umformulierungen, Bildbeschreibungen und Spracherkennung bereit. Apples gerätebasierte Modelle sind in ähnlicher Weise für Funktionen wie Textverständnis, Zusammenfassungen, Extraktion und Überarbeitung ausgelegt. Solche Aufgaben setzen nicht voraus, dass das Modell alles kennt, was zuletzt im Internet geschehen ist. Entscheidend ist vielmehr, dass es die Informationen versteht, die der Nutzer selbst bereitgestellt hat.

Lokale Verarbeitung sollte jedoch nicht mit vollständig unabhängiger KI gleichgesetzt werden. Einige Funktionen laufen vollständig auf dem Gerät, während andere einen hybriden Ansatz verwenden. Ein Smartphone kann beispielsweise private Informationen lokal verarbeiten und erst dann einen leistungsfähigeren Server kontaktieren, wenn eine Anfrage umfangreiche Schlussfolgerungen oder Informationen erfordert, die nicht auf dem Gerät gespeichert sind. Apple kombiniert beispielsweise gerätebasierte Modelle mit größeren Modellen, die über Private Cloud Compute ausgeführt werden. Android-Entwickler können Gemini Nano ebenfalls mit Online-Modellen kombinieren, wenn dies sinnvoll ist. Diese Unterscheidung ist wichtig, denn eine als KI-Funktion bezeichnete Anwendung arbeitet nicht automatisch offline, nur weil das Smartphone eine NPU besitzt. Das tatsächliche Verhalten hängt von der Anwendung, der jeweiligen Aufgabe und den Einstellungen ab. Nutzer, denen Datenschutz oder Offline-Verfügbarkeit wichtig sind, sollten deshalb prüfen, wie eine bestimmte Funktion arbeitet, statt davon auszugehen, dass sämtliche KI-Funktionen denselben Weg nutzen.

Wo On-Device-KI im Jahr 2026 bereits eingesetzt wird

Apple liefert eines der deutlichsten Beispiele dafür, wie Sprachmodelle direkt Bestandteil eines Geräts werden. Die Generation von 2025 umfasste ein Modell mit rund drei Milliarden Parametern, das für Apple Silicon entwickelt wurde, und das Foundation Models Framework ermöglichte Entwicklern, dieses Modell für unterstützte Funktionen in eigenen Anwendungen zu verwenden. Im Juni 2026 stellte Apple seine dritte Generation von Foundation Models vor. Zu dieser Familie gehören AFM 3 Core, das als nächste Generation des dichten Drei-Milliarden-Parameter-Modells beschrieben wird, sowie AFM 3 Core Advanced, ein leistungsfähigeres On-Device-Modell mit nativen multimodalen Fähigkeiten. Für normale Nutzer sind weniger die Modellnamen entscheidend als die Richtung dieser Entwicklung: Aufgaben, die früher eine Online-Anfrage erforderten, können zunehmend von Software ausgeführt werden, die bereits direkt auf dem Smartphone, Tablet oder Computer arbeitet. Größere Servermodelle bleiben dennoch bestehen, weil lokale Hardware nicht jede Anfrage effizient bearbeiten kann.

Android verfolgt mit Gemini Nano und AICore einen ähnlichen Ansatz. AICore ist ein Android-Systemdienst, der das Modell verwaltet und unterstützten Anwendungen Zugriff auf lokale Inferenz ermöglicht, ohne dass jeder Entwickler ein vollständiges KI-System selbst erstellen muss. Im Juli 2026 erklärte Google, dass Gemini Nano auf mehr als 140 Millionen Geräten ausgeführt werde. Das Unternehmen testete zu diesem Zeitpunkt außerdem Gemini Nano 4, das auf Technologien der Gemma-4-Generation basiert und insbesondere auf eine bessere Energieeffizienz und höhere Leistung ausgelegt ist. Für Nutzer bedeutet dies, dass On-Device-KI weniger stark von einer einzigen Funktion eines bestimmten Spitzenmodells abhängt. Entwickler können Googles ML-Kit-Werkzeuge für Funktionen wie Umformulieren, Korrekturlesen, Zusammenfassen und andere promptbasierte Aufgaben einsetzen, sodass lokale KI in zahlreichen unterschiedlichen Anwendungen erscheinen kann und nicht nur in einem speziellen Chatbot.

Windows-Laptops sind ein weiterer wichtiger Teil dieser Entwicklung. Copilot+ PCs wurden mit der Voraussetzung eingeführt, dass eine NPU mindestens 40 TOPS erreicht. Dadurch besitzt Windows eine vergleichsweise klare Hardwarebasis für anspruchsvollere lokale KI-Funktionen. Microsoft nutzt diese Rechenkapazität unter anderem für Funktionen zur Echtzeit-Sprachverarbeitung und weitere KI-gestützte Anwendungen. Das kleine Sprachmodell Phi Silica wurde für lokale generative Aufgaben wie Texterstellung, Zusammenfassungen und Umformulierungen entwickelt. Eine wichtige Veränderung im Jahr 2026 war die Ausweitung von Phi Silica auf bestimmte Computer, die die NPU-Anforderungen eines Copilot+ PCs nicht erfüllen. Auf diesen Geräten kann das Modell stattdessen die GPU verwenden. Diese Entwicklung verdeutlicht einen breiteren Trend: Spezialisierte KI-Hardware bleibt für Effizienz und Akkulaufzeit wichtig, doch lokale Sprachmodelle sind nicht mehr ausschließlich auf eine kleine Gruppe besonders leistungsfähiger Computer beschränkt.

Was Nutzer realistisch ohne Cloud-Verbindung erledigen können

Schreibunterstützung gehört zu den praktischsten lokalen Einsatzmöglichkeiten, weil dafür meist kein riesiges Modell erforderlich ist. Ein Gerät kann einen bereits geschriebenen Absatz kürzen, grammatikalische Fehler korrigieren, den Ton verändern oder wichtige Angaben herausfiltern. Notizen lassen sich zu kurzen Zusammenfassungen verdichten, Nachrichten können vor dem Versenden überprüft und längere lokal gespeicherte Texte kategorisiert werden. Solche Aufgaben passen gut zu kompakten Sprachmodellen, weil die erforderlichen Informationen bereits in der jeweiligen Anfrage enthalten sind. Ein lokales Modell benötigt kein enormes Wissen über aktuelle weltweite Ereignisse, um die wichtigsten Punkte einer Besprechungsnotiz zu erkennen. Es braucht vor allem ein gutes Sprachverständnis, ausreichend Kontext für das Dokument und genügend Rechenleistung, um innerhalb akzeptabler Zeit ein nützliches Ergebnis zu erzeugen.

Sprache und Bilder werden zunehmend Teil derselben lokalen KI-Entwicklung. Moderne kompakte Modelle werden immer häufiger multimodal, was bedeutet, dass sie mehr als nur reinen Text verarbeiten können. Google nennt bereits Bildbeschreibung und Spracherkennung als mögliche On-Device-Anwendungen von Gemini Nano, während Apples AFM 3 Core Advanced aus dem Jahr 2026 mit nativen multimodalen Fähigkeiten entwickelt wurde. Dadurch entstehen Möglichkeiten für Funktionen wie lokale Diktate, Unterstützung bei der Barrierefreiheit, Organisation von Fotos und das Extrahieren von Informationen aus Bildern. Solche Inhalte direkt auf dem Gerät zu verarbeiten, kann besonders sinnvoll sein, wenn es sich um persönliche Daten handelt. Die Verfügbarkeit hängt allerdings von Hardware, Betriebssystemversion, Sprache und Region ab. Eine Funktion, die auf einem aktuellen Spitzenmodell eines Smartphones gezeigt wird, funktioniert daher nicht automatisch in derselben Weise auf jedem Android-Gerät oder älteren Laptop.

Nutzer können außerdem Modelle unabhängig von den KI-Systemen der Gerätehersteller lokal ausführen. Software auf Grundlage von Projekten wie llama.cpp ermöglicht es, kompatible offene Modelle direkt unter Windows, macOS, Linux und sogar auf mobiler Hardware auszuführen. Im Jahr 2026 unterstützt das llama.cpp-Projekt weiterhin eine große Zahl unterschiedlicher Modellfamilien und Methoden zur Hardwarebeschleunigung und bietet Werkzeuge zum Herunterladen und lokalen Ausführen kompakter Modelle auf einem Computer. Erfahrenere Nutzer können dadurch beispielsweise einen privaten Schreibassistenten, eine Unterstützung beim Programmieren oder ein System zur Verarbeitung von Dokumenten vollständig auf dem eigenen Rechner betreiben. Die praktische Leistung unterscheidet sich erheblich je nach Modellgröße und Hardware. Ein moderner Laptop mit viel Arbeitsspeicher kann Modelle ausführen, die für ein Smartphone unrealistisch wären, während sehr kleine Modelle auch auf deutlich schwächerer Hardware funktionieren. Lokale KI umfasst deshalb ein breites Leistungsspektrum und keinen einheitlichen Standard.

Vorteile, Grenzen und was von lokaler KI zu erwarten ist

Datenschutz ist einer der wichtigsten Gründe dafür, KI-Aufgaben lokal zu verarbeiten. Wenn eine Anfrage, ein Dokument oder ein Foto das Gerät für die Inferenz nicht verlassen muss, besteht keine Notwendigkeit, diese Inhalte lediglich zur Berechnung des Ergebnisses an einen KI-Server zu übertragen. Das kann bei privaten Notizen, unveröffentlichten Dokumenten, persönlichen Fotos und geschäftlichen Informationen besonders sinnvoll sein. Lokale Inferenz reduziert außerdem die Abhängigkeit von der Verfügbarkeit externer Server. Allerdings sollte die lokale Verarbeitung eines Modells vom Verhalten der gesamten Anwendung getrennt betrachtet werden. Eine Anwendung kann weiterhin Dateien synchronisieren, Diagnosedaten erfassen oder Informationen über einen anderen Dienst übertragen, obwohl das eigentliche KI-Modell lokal arbeitet. On-Device-Verarbeitung schafft daher die technische Möglichkeit für einen stärkeren Datenschutz, doch Nutzer und Unternehmen müssen weiterhin die Datenpraktiken und Einstellungen der jeweiligen Anwendung prüfen.

Offline-Verfügbarkeit und besser vorhersehbare Kosten sind weitere Vorteile. Sobald das erforderliche Modell installiert ist, entsteht durch eine zusätzliche lokale Zusammenfassung keine neue Anfrage an einen entfernten Inferenzdienst. Das kann für Anwendungen interessant sein, die häufig kleinere Aufgaben ausführen, und Google nennt das Ausbleiben zusätzlicher Kosten für Cloud-Inferenz ausdrücklich als einen Vorteil von On-Device-Modellen. Lokale Verarbeitung kann außerdem die Reaktionszeit verkürzen, weil eine Anfrage nicht erst über das Internet übertragen und von einem entfernten Server bearbeitet werden muss. Im Gegenzug stellt das Smartphone oder der Laptop die notwendige Rechenleistung bereit. Größere Modelle beanspruchen Arbeitsspeicher und Speicherplatz, längere Berechnungen können mehr Akkuleistung verbrauchen, und einige Geräte können sich bei anspruchsvollen Aufgaben erwärmen. Modelldateien können zudem beträchtlichen Speicherplatz belegen. Lokale KI ist daher nicht frei von Ressourcenkosten; diese werden lediglich vom entfernten Rechenzentrum auf die Hardware des Nutzers verlagert.

Die Genauigkeit bleibt die wichtigste Einschränkung. Auch ein lokales Sprachmodell kann falsche Informationen erzeugen, Anweisungen missverstehen oder mit großer Sicherheit eine schlechte Antwort liefern. Kleinere Modelle verfügen in der Regel über geringere Fähigkeiten als die größten serverbasierten Systeme, besonders bei schwierigen Schlussfolgerungen, langen komplexen Dokumenten und Fragen, die umfangreiches oder sehr aktuelles Wissen erfordern. Apple beschreibt seine kompakten Gerätemodelle ausdrücklich als Modelle für Aufgaben im Rahmen lokaler Geräte und nicht als Ersatz für serverbasierte Modelle, die für fortgeschrittene Schlussfolgerungen oder umfangreiches Weltwissen eingesetzt werden. Das erklärt, warum hybride KI-Systeme voraussichtlich weit verbreitet bleiben. Ein Gerät kann routinemäßige, private und zeitkritische Aufgaben lokal bearbeiten und anschließend ein leistungsfähigeres entferntes Modell nutzen, wenn eine Anfrage die lokalen Möglichkeiten übersteigt. Beide Ansätze ergänzen sich daher eher, als dass sie sich vollständig gegenseitig ersetzen.

Wie sich beurteilen lässt, ob lokale KI beim Gerätekauf wichtig ist

Wer ein Smartphone oder einen Laptop speziell für lokale KI kauft, sollte sich nicht allein an einer einzelnen Leistungsangabe orientieren. Die Leistungsfähigkeit der NPU ist wichtig, aber ebenso entscheidend sind Arbeitsspeicher, Speichergeschwindigkeit, verfügbarer Speicherplatz, Softwareunterstützung und die Effizienz der Modelle, die für die jeweilige Hardware angeboten werden. Microsofts Mindestanforderung von 40 TOPS bietet eine hilfreiche Orientierung für Copilot+ PCs, doch zwei Computer mit ähnlichen NPU-Werten können sich trotzdem unterschiedlich verhalten, weil Prozessoren, Kühlsysteme, Arbeitsspeicher und Software nicht identisch sind. Dasselbe gilt für Smartphones. Ein leistungsfähiger Mobilprozessor garantiert keinen Zugriff auf sämtliche Gemini-Nano-Funktionen, wenn der Hersteller, die Betriebssystemversion oder die jeweilige Anwendung diese nicht unterstützt. Kompatibilitätsangaben des Geräteherstellers und Softwareentwicklers sind daher hilfreicher als die Annahme, dass ein hoher KI-Leistungswert automatisch sämtliche lokalen Funktionen freischaltet.

Ebenso wichtig ist der geplante Einsatzzweck. Wer hauptsächlich Offline-Korrekturen, Transkriptionen, das Umformulieren von Nachrichten und Dokumentzusammenfassungen benötigt, kann erheblich von einem aktuellen On-Device-Modell profitieren. Ein Forscher, der von einem Laptop komplexe Antworten auf Grundlage ständig aktualisierter weltweiter Informationen erwartet, wird weiterhin Online-Ressourcen benötigen. Auch die Sprachunterstützung sollte geprüft werden, da lokale Modelle möglicherweise weniger Sprachen oder Funktionen unterstützen als ihre serverbasierten Gegenstücke. Auf Geräten mit begrenztem Speicherplatz sind außerdem die Speicheranforderungen relevant. Nutzer, denen Datenschutz besonders wichtig ist, sollten prüfen, ob eine Funktion tatsächlich vollständig offline arbeitet oder lediglich einen Teil der Verarbeitung lokal erledigt, bevor eine Verbindung zu einem Server hergestellt wird. Ein einfacher Praxistest kann dabei aufschlussreich sein: Wird die Internetverbindung deaktiviert, zeigt sich schnell, welche Funktionen weiterhin verfügbar bleiben.

Die entscheidende Veränderung im Jahr 2026 besteht nicht darin, dass Cloud-KI überflüssig geworden wäre. Vielmehr können persönliche Geräte inzwischen einen relevanten Teil der KI-Arbeit selbst übernehmen. Apple entwickelt mehrere Modelle speziell für den lokalen Einsatz weiter, Google bringt Gemini Nano auf eine große Zahl von Android-Geräten, Microsoft macht lokale Sprachgenerierung auf einer wachsenden Auswahl von Windows-Computern verfügbar, und Open-Source-Werkzeuge für lokale Inferenz schaffen zusätzliche Möglichkeiten. Fortschritte bei Hardware und Modelloptimierung werden kompakte KI weiter leistungsfähiger machen, doch physische Grenzen bei Arbeitsspeicher, Akku und Rechenleistung werden nicht verschwinden. Die sinnvollsten zukünftigen Systeme werden daher vermutlich geeignete Aufgaben zunächst direkt auf dem Smartphone oder Laptop verarbeiten und entfernte Rechenleistung nur dann nutzen, wenn sie einen Mehrwert bietet, den das lokale Modell nicht liefern kann. Für Nutzer bedeutet das schnellere Offline-Werkzeuge, mehr Kontrolle über sensible Daten und eine klarere Entscheidung darüber, wo ihre KI-Aufgaben tatsächlich verarbeitet werden.