KI und Sprachassistent lokal betreiben: Assist, Whisper, Piper und Ollama

Im vorigen Teil hast Du gesehen, was KI im Smart Home heute kann. Jetzt wird es praktisch: Wie bekommst Du einen Sprachassistenten und ein Sprachmodell zum Laufen, ohne dass Deine Stimme oder Deine Gerätedaten das Haus verlassen? Wir schauen uns die Bausteine von Home Assistant Assist an, die passende Hardware nach den Angaben der Projekte und die Stellen, an denen Du beim Datenschutz genau hinschauen solltest.

Die Bausteine eines lokalen Sprachassistenten

Home Assistant nennt seinen Sprachassistenten Assist. Er läuft in der Companion-App auf dem Handy, im Browser und auf eigenen Sprachgeräten. Jede Anfrage durchläuft eine Kette, die Home Assistant „Pipeline“ nennt:

Verbunden werden diese Dienste über das Wyoming-Protokoll, ein kleines Protokoll, über das Home Assistant lokale Spracherkennung, Sprachausgabe und Aktivierungswort-Erkennung anspricht. Laufen die Dienste als App (früher „Add-on“) auf Deiner Zentrale, findet Home Assistant sie meist automatisch. Rechenintensive Dienste wie Whisper kannst Du laut Dokumentation auch auf einem stärkeren Rechner im Netzwerk betreiben und per IP-Adresse und Port einbinden.

Spracherkennung: Speech-to-Phrase oder Whisper?

Hier fällt die wichtigste Entscheidung, denn sie bestimmt, welche Hardware Du brauchst.

Speech-to-Phrase: schnell und genügsam

Speech-to-Phrase erkennt nur Sätze, die es kennt. Es erzeugt dafür aus Deinen Geräten, Räumen und eigenen Satz-Auslösern passende Formulierungen und trainiert daraus lokal ein Modell. Laut Home Assistant gelingt die Erkennung auf einem Home Assistant Green oder Raspberry Pi 4 in unter einer Sekunde, auf einem Raspberry Pi 5 in etwa 150 Millisekunden. Deutsch gehört zu den unterstützten Sprachen.

Die Grenzen: Speech-to-Phrase kann nur einen Teil der Assist-Befehle. Einkaufslisten, benannte Timer und Durchsagen funktionieren laut Dokumentation nicht ohne Weiteres, Befehle mit frei wählbaren Wörtern ebenfalls nicht. Und es ist ausdrücklich für die Gerätesteuerung gedacht, nicht für Sprachmodelle.

Whisper: versteht alles, braucht Leistung

Whisper versucht, jeden gesprochenen Satz zu verschriftlichen. Das ist die Voraussetzung, wenn Du später frei mit einem Sprachmodell sprechen willst. Der Preis ist Rechenzeit: Auf einem Raspberry Pi 4 dauert ein Befehl laut Dokumentation rund acht Sekunden, auf einem Intel NUC unter einer Sekunde. Für die Voice Preview Edition empfiehlt Home Assistant für Whisper mindestens einen Intel N100 oder Vergleichbares.

Sprachausgabe mit Piper

Piper ist eine lokale Sprachausgabe, die für den Raspberry Pi 4 optimiert ist. Laut Home Assistant erzeugt sie mit Stimmen mittlerer Qualität auf einem Raspberry Pi etwa 1,6 Sekunden Sprache pro Sekunde Rechenzeit. Die Qualität schwankt je nach Sprache – hör Dir die deutschen Stimmen vorher an.

Mikrofon und Lautsprecher: die Satelliten

Die Zentrale steht meist im Technikschrank. Damit Du im Wohnzimmer oder in der Küche sprechen kannst, brauchst Du dort ein Gerät mit Mikrofon und Lautsprecher, einen sogenannten Satelliten. Möglichkeiten laut Home Assistant:

• Home Assistant Voice Preview Edition: das von Nabu Casa entwickelte Sprachgerät. Es hat zwei Mikrofone mit einem Audiochip für Echounterdrückung und Rauschfilter, erkennt das Aktivierungswort direkt im Gerät und besitzt einen Schalter, der die Mikrofone physisch vom Strom trennt. Firmware und Hardware sind quelloffen. Als „Preview“ ist es noch in Entwicklung; eigene Aktivierungswörter werden derzeit nicht unterstützt.
• ESPHome-Geräte: Bastellösungen auf Basis günstiger ESP32-Platinen.
• Android-Handy oder -Tablet: Die Companion-App kann auf ein Aktivierungswort hören.
• Linux-Rechner: Das Projekt „Linux Voice Assistant“ ist laut Home Assistant experimentell.

Ein lokales Sprachmodell mit Ollama anbinden

Der eingebaute Assist-Agent versteht feste Sätze wie „Schalte das Licht in der Küche ein“. Für freie Fragen wie „Ist es im Kinderzimmer zu warm zum Schlafen?“ brauchst Du ein Sprachmodell. Lokal geht das zum Beispiel mit Ollama, einer Software, die offene Sprachmodelle auf macOS, Linux oder Windows ausführt.

So hängen die Teile zusammen

1. Ollama auf einem eigenen Rechner installieren. Ollama lauscht standardmäßig nur auf dem Rechner selbst (127.0.0.1, Port 11434). Damit Home Assistant zugreifen kann, öffnest Du es über die Einstellung OLLAMA_HOST für Dein Heimnetz.
2. Ein passendes Modell wählen. Damit ein Modell Geräte steuern kann, muss es „Tools“ (Werkzeugaufrufe) unterstützen; auf ollama.com kannst Du danach filtern. Home Assistant verweist für die Auswahl auf eine eigene Rangliste für lokale Modelle.
3. Die Ollama-Integration in Home Assistant hinzufügen und die Adresse des Ollama-Rechners eintragen.
4. „Home Assistant steuern“ aktivieren – diese Funktion ist laut Dokumentation experimentell.
5. Die Integration als Gesprächsagenten in Deiner Assist-Pipeline auswählen und die lokale Vorverarbeitung eingeschaltet lassen (siehe unten).

Einstellungen, die den Unterschied machen

• Wenige Geräte freigeben: Die Ollama-Integration empfiehlt, weniger als 25 Geräte für Assist freizugeben. Kleinere Modelle machen sonst mehr Fehler.
• Kontextfenster: Home Assistant setzt standardmäßig 8.000 Token. Größere Werte helfen in großen Installationen, brauchen aber mehr Arbeitsspeicher.
• Modell im Speicher halten: Mit „Keep alive“ legst Du fest, wie lange das Modell nach einer Anfrage geladen bleibt. Das vermeidet lange Ladezeiten, belegt aber dauerhaft Speicher.
• Plaudern und Steuern trennen: Die Dokumentation schlägt vor, zwei Ollama-Integrationen mit demselben Modell anzulegen – eine ohne Steuerung für Gespräche, eine mit Steuerung für Befehle.
• Lokal zuerst: Mit der Option, Befehle bevorzugt lokal zu verarbeiten (englisch „Prefer handling commands locally“), erledigt der eingebaute Agent alles, was er versteht, sofort selbst. Nur der Rest geht an das Sprachmodell. Das ist schneller und robuster.

Welche Hardware wofür?

Die folgenden Angaben stammen aus den Dokumentationen von Home Assistant und Ollama (Stand 10/2026). Preise nenne ich bewusst nicht – sie ändern sich zu schnell.

Home Assistant weist offen darauf hin, dass lokale Modelle langsam sein können. Mit ollama ps siehst Du, ob ein Modell vollständig auf der Grafikkarte, auf dem Prozessor oder gemischt läuft – Letzteres ist meist deutlich langsamer. Und denk an den Dauerbetrieb: Ein Rechner mit Grafikkarte, der rund um die Uhr bereitsteht, verbraucht spürbar Strom.

Datenschutz: Was bleibt wirklich lokal?

„Lokal“ ist nur so gut wie die schwächste Stelle in der Kette. Prüfe deshalb jeden Baustein einzeln:

• Spracherkennung und Sprachausgabe: Speech-to-Phrase, Whisper und Piper laufen bei Dir. Wählst Du stattdessen Home Assistant Cloud, wird Sprache laut Nabu Casa über Microsoft Azure verarbeitet; Nabu Casa gibt an, keine Sprachdaten zu speichern.
• Sprachmodell: Ollama schreibt: Lokal ausgeführt sieht der Anbieter weder Eingaben noch Daten. Ollama bietet inzwischen aber auch Cloud-Modelle an. Willst Du sicher lokal bleiben, schaltest Du die Cloud-Funktionen mit OLLAMA_NO_CLOUD=1 ab.
• Netzwerk: Öffne Ollama nur für Dein Heimnetz und gib den Port niemals im Router nach außen frei. Die Ollama-Dokumentation beschreibt für den lokalen Server keine eigene Anmeldung – wer ihn im Netz erreicht, kann ihn nutzen.
• Mikrofone: Das BSI empfiehlt, Sprachassistenten bei Abwesenheit abzuschalten und so aufzustellen, dass nur Berechtigte sie nutzen können – zum Beispiel nicht am offenen Fenster, wenn sie ein Türschloss steuern.

Dein Weg zum lokalen Assistenten in sieben Schritten

1. Backup erstellen – wie in Teil 8 beschrieben.
2. Namen, Räume und Aliasse pflegen: eindeutige Namen wie „Küche Deckenlicht“, Geräte Räumen und Etagen zuordnen, Spitznamen als Alias hinterlegen.
3. Geräte für Assist freigeben: unter Einstellungen → Sprachassistenten, nur das Nötigste.
4. Assist per Text testen: in der App tippen statt sprechen – so prüfst Du die Auswertung ohne Spracherkennung.
5. Speech-to-Phrase und Piper einrichten und mit dem Handy oder einem Satelliten ausprobieren.
6. Optional Whisper und Ollama ergänzen, wenn die Hardware es hergibt – mit wenigen freigegebenen Geräten.
7. Beobachten und nachschärfen: Im Debug-Bereich der Assist-Pipeline siehst Du, welcher Baustein wie lange gebraucht hat und ob ein Befehl lokal verarbeitet wurde.

Fazit und wie es weitergeht

Ein lokaler Sprachassistent ist heute kein Bastelprojekt mehr, aber auch kein Selbstläufer. Mit Speech-to-Phrase und Piper kommst Du auf kleiner Hardware schnell zu verlässlicher Sprachsteuerung. Frei formulierte Gespräche mit einem lokalen Sprachmodell sind möglich, brauchen aber spürbar mehr Rechenleistung und Geduld bei der Einrichtung. Im letzten Teil des Lernpfads zeige ich Dir, wie Du Dein bestehendes System Schritt für Schritt um KI ergänzt – mit einer Rückfallebene für jede Stufe: Teil 12: Smart Home schrittweise um KI ergänzen.