Werkstattberichte: lokale KI im Praxistest

Im September habe ich berichtet, dass EifelHeld statt 56 nur noch 5 Sekunden für eine Antwort braucht. Das stimmte, allerdings auf meinem Entwicklungsrechner. Auf dem Mini-PC, auf dem EifelHeld später bei Gastgebern stehen soll, waren es rund 26 Sekunden.

Der Mini-PC ist ein gebrauchtes Bürogerät mit einem Prozessor aus dem Jahr 2017, gekauft für einen zweistelligen Eurobetrag. Vorher lief alles auf einem noch kleineren Gerät mit halb so vielen Prozessorkernen, und die Zahlen dort waren deutlich schlechter. Mit 8 GB Arbeitsspeicher hat das Betriebssystem das Sprachmodell unter Last einfach beendet. Erst mit 16 GB lief es stabil.

Bei lokaler KI entscheidet die Hardware über das Ergebnis, und zwar stärker, als es eine Zahl vom Entwicklungsrechner vermuten lässt. Inzwischen liegt die Antwortzeit auf dem Mini-PC bei 25 bis 40 Sekunden, je nach Frage. Die meiste Zeit kostet das Durchsuchen der Wissensbasis.

Bei einer Prüfung fiel mir auf: EifelHeld hätte Gästen für den Notfall eine Anlaufstelle genannt, die es seit 2023 nicht mehr gibt. Das Sprachmodell hatte nichts falsch gemacht. Es hat wiedergegeben, was in der Wissensbasis stand, und die war an dieser Stelle veraltet.

Mit KI hat diese Art Fehler wenig zu tun. Eine Wissensbasis veraltet wie jedes Handbuch. Der Unterschied: Ein vergilbtes Handbuch sieht man, eine veraltete Antwort klingt so flüssig und überzeugend wie eine richtige.

Die Angabe ist korrigiert. Notrufnummern und Anlaufstellen prüfe ich seitdem jedes Quartal.

Thera, mein Sprachassistent, läuft bei mir zu Hause auf gebrauchter Hardware. Lange gab es nach jeder Frage eine spürbare Pause. Inzwischen antwortet er in unter zwei Sekunden.

Der Trick war kein schnelleres Modell. Die Sprachausgabe beginnt jetzt, während der Rest der Antwort noch entsteht. Außerdem bleibt das Modell im Speicher, statt bei jeder Anfrage neu geladen zu werden. Zwei Sekunden klingen nach wenig. Im Gespräch sind sie ungefähr die Grenze, ab der es sich nach Warten anfühlt.

Was lange nicht gut war: Wenn ein angesteuertes Gerät nicht erreichbar war, meldete Thera trotzdem Erfolg. Das ist behoben. Seitdem gilt bei mir: Eine Erfolgsmeldung zählt erst, wenn der tatsächliche Zustand geprüft ist.