Lokale KI: Souverän, aber unbezahlbar
Digitale Souveränität, gefällig? Dann mal her mit der Kreditkarte.
Karikatur ChatGPT, Prompt: Der Promptologe
Der GenAI Wednesday München tourt ja gerne durch die Stadt, aber diesmal hat es Charme: Gastgeber ist das Forschungsinstitut CODE der Universität der Bundeswehr, Cascada-Haus, Neuperlach Süd. Wer als Zivilist zum ersten Mal durch den Eingang einer Bundeswehr-Uni läuft, rechnet insgeheim mit Ausweiskontrolle und Leibesvisitation. Stattdessen gibt es Kaffee und Namensschilder. Auch das eine Art von Aufrüstung.
Thema des Abends: lokale KI, für den Fall, dass Dokumente nicht ins Netz dürfen. Ein Satz, der bei der Bundeswehr naheliegt, aber genauso für jede Kanzlei, jede Arztpraxis und jedes Unternehmen mit Betriebsgeheimnissen gilt, das seine Verträge nicht bei OpenAI hochladen möchte. Mathias Schlolaut, PhD-Kandidat am Institut, macht den Aufschlag, flankiert von Doris Behrendt, Datenschutzbeauftragte und CrypTool-Projektleiterin, und Daniel Seufferth, der an der Uni die wirklich großen Maschinen betreut. Vorab die Frage ans Publikum: Wer betreibt schon lokale KI? Etwa ein Drittel der Hände geht hoch. Wer das regelmäßig tut, nicht nur zum Ausprobieren? Deutlich weniger. Ein Abend unter Semi-Profis also, und genau das macht ihn ehrlich.
Der Praxistest, live und mit Absturz
Mathias hat sich die Mühe gemacht, die gängigen Anwendungen für lokale Dokumenten-KI durchzuprobieren – AnythingLLM, Kotaemon, Open WebUI, RAGFlow – und ist bei AnythingLLM hängengeblieben, subjektiv, wie er selbst betont, aber mit dem Charme der einfachsten Einrichtung. Der Aufbau darunter ist überschaubar: Ollama lädt die Sprachmodelle, Docker Compose kapselt das Ganze vom Rest des Systems ab, ein Embedding-Modell zerlegt die Dokumente in durchsuchbare Häppchen. Zwei Befehle, eine docker-compose.yml, fertig. In der Theorie.
In der Praxis liefert der Abend die Pointe gleich selbst mit. Testdatensatz: zehn PDFs mit fein säuberlich eingebauten Zahlenwerten, Aufgabe: alle Werte finden und aufsummieren. Trivial, sollte man meinen. Das kleinere Modell, gemma4:12b, findet die richtigen Werte, addiert sie korrekt zu 1299 – und hängt dann, ganz offenbar aus eigenem Antrieb, noch eine 9 dran. Ergebnis: 12999. Niemand im Raum weiß, warum. Das größere Modell, gemma4:31b, kommt beim ersten Anlauf gar nicht zum Ergebnis, weil die Frage zu unpräzise gestellt war – erst als Mathias sie in zwei Schritte zerlegt, erst die Einzelwerte auflisten lassen, dann die Summe verlangen, stimmt das Resultat. Prompting bleibt Handwerk, auch lokal.
Und dann ist da noch gpt-oss:20b, ein Mixture-of-Experts-Modell, das eigentlich nur einen Teil seiner Parameter gleichzeitig aktiviert und dadurch schneller sein soll. Schön in der Theorie. In der Live-Demo behauptet es zunächst, gar nicht auf die Dokumente zugreifen zu können, und schlägt vor, der Nutzer möge das doch bitte händisch erledigen. Beim zweiten Versuch bricht es einfach ab. Auf der Folie steht es so nüchtern, wie es ist: „Die Modelle gemma4:12b und gpt-oss:20b haben Probleme mit Tool-Aufrufen.” Willkommen im Alltag mit lokaler KI.
Der Schreibtisch-Rechner: Basteln mit Grenzen
Für den Privatanwender, der lokale KI einfach mal ausprobieren will, liefert der Abend eine ziemlich klare Rechnung mit. Schon das nackte AnythingLLM frisst im Leerlauf acht Gigabyte Arbeitsspeicher, bevor überhaupt ein Dokument hochgeladen ist. Für ordentliche Modelle empfiehlt Mathias mindestens 16 Gigabyte GPU-Speicher, exklusiv fürs Sprachmodell. Die Downloadgrößen selbst sind da fast das kleinste Problem: gemma4:12b kommt mit 9,6 Gigabyte, gpt-oss:20b mit 13, gemma4:31b mit 19. Teuer wird es erst im Betrieb, mit vollem Gedächtnis – dann braucht gemma4:31b plötzlich 37 statt 19 Gigabyte. Verdoppelt, nur weil sich das Modell an mehr erinnern soll. Am Veranstaltungsort standen dafür zwei 16-Gigabyte-Grafikkarten bereit, und selbst die reichten nur, weil das Kontextfenster auf 90.000 Tokens zurechtgestutzt wurde.
Wer keine potente Grafikkarte hat, kann theoretisch auch auf der CPU arbeiten – ab sechzehn Kernen soll die Geschwindigkeit „durchaus annehmbar” sein, so Mathias, allerdings nur bei den kleineren Modellen. Für das große 31b-Modell mit Tool-Aufrufen und Denkprozessen wollte er sich das gar nicht erst antun: eine Stunde Wartezeit für eine einzige, simple Anfrage, sein eigener Erfahrungswert. Wer’s eilig hat, kauft also doch eine Grafikkarte.
Dazu kommen die Nebenkosten, die niemand einpreist, wenn er sich in den Ollama-Rausch stürzt: 30 bis 50 Euro mehr Stromkosten im Monat bei intensiver Nutzung, zwei bis drei Grad höhere Raumtemperatur, ein Lüfter, der nicht mehr aufhört. Dazu die Pflege danach: Modelle werden regelmäßig aktualisiert, wer aktuell bleiben will, muss selbst nachziehen und neu herunterladen. Und Zeit – viel Zeit. Läuft alles beim ersten Versuch glatt, sind ein, zwei Tage für den Aufbau realistisch. Läuft es nicht glatt, was laut Mathias der Normalfall ist, sitzt man Wochen daran. Kein Wunder, dass er sich an einer Stelle frustriert von Codex eine eigene Lösung basteln ließ, weil AnythingLLM ihm im Hintergrund offenbar auch „ein bisschen Mist” baute – wobei selbst er zugibt, dass sich das bei lokalen Setups nur schwer sauber diagnostizieren lässt.
Das KMU: Wenn aus dem Hobby ein Businessplan wird
Aus dem Publikum kommt die Frage, die eigentlich alle im Raum interessiert: Eine PR-Agentur mit fünfzehnhundert PowerPoint-Folien möchte ein lokales System, das relevante Themen findet und die passenden Folien vorschlägt. Geht das, mit vernünftigem finanziellem Aufwand?
Die Antwort ist ein ehrliches Jein. Die gute Nachricht zuerst: Die Dokumentenanzahl selbst ist nicht das Nadelöhr. Die Embeddings landen ohnehin in einer Vektordatenbank, und ein Reranking-Schritt sortiert am Ende nur die relevantesten Treffer nach oben – ob das aus dreißig oder aus dreitausend Dokumenten geschieht, macht rechnerisch kaum einen Unterschied. Die schlechte Nachricht: Komplexität und Kosten steigen trotzdem, nur eben an anderer Stelle. Für gemma4:31b mit vollem Gedächtnis braucht es laut Panel an die 60 bis 70 Gigabyte VRAM. Unquantisiert liegt das Modell bei rund 63 Gigabyte, mit 4-Bit-Quantisierung – dem Modell also rechnerisch das Gedächtnis stutzen – sind es rund 19 Gigabyte, plus KV-Cache für den Chatverlauf. Sicherheitshalber, so Daniel Seufferth, sollte man mit 48 Gigabyte planen. Zum Vergleich: 32 Gigabyte ist ungefähr die größte Consumer-Grafikkarte, die es zu kaufen gibt. Für ein KMU heißt das: eine Grafikkarte in Richtung zehntausend Euro – und selbst die reicht dann nicht für mehrere gleichzeitig arbeitende Nutzer oder parallele Agenten.
Zehntausend Euro nur für die Grafikkarte, für ein mittelständisches Unternehmen keine unüberwindbare, aber auch keine triviale Hürde. Und genau an diesem Punkt wird das Panel bemerkenswert unironisch deutlich: Kosteneffizient ist das in der Regel nicht. Wer als Firma nicht durch Datenschutz oder Geheimhaltung dazu gezwungen ist, fährt mit einem Cloud-Anbieter meistens günstiger – dort gibt es praktisch unbegrenzte Hardware auf Abruf, man muss sich nur überlegen, was man eigentlich wissen will. Lokale KI ist damit weniger eine Kostenfrage als eine Souveränitätsfrage. Man zahlt drauf, um niemandem seine Dokumente zeigen zu müssen.
Wenn’s wirklich brennt: VS-NfD und „Geheim”
Bei der Bundeswehr selbst ist die Antwort auf die Souveränitätsfrage naturgemäß nicht verhandelbar. Öffentliche Dokumente: kein Problem. Alles, was nicht öffentlich ist, also praktisch die gesamte interne Arbeit, darf grundsätzlich nicht ins offene Internet, ChatGPT eingeschlossen, das im Bundeswehr-eigenen Netz explizit verboten ist. Es gibt Testumgebungen, sogar für die Einstufung VS-NfD, Verschlusssache – Nur für den Dienstgebrauch, aber die sind Pilotprojekte, nicht Alltag. Die Konsequenz, ganz offen aus dem Publikum benannt: Schatten-KI. Dokumente wandern eben doch per Mail irgendwohin, weil der offizielle Weg zu langsam oder zu umständlich ist. Ein Problem, das jede Compliance-Abteilung dieser Republik kennt, nicht nur die olivgrüne.
Noch eine Stufe höher, bei als „Geheim” eingestuften Dokumenten, wird es fast schon abenteuerlich: abgeschottete Container, aus denen nichts mehr herauskommt, Handys eingeschlossen, die bleiben drin, sobald sie einmal mit hineingenommen wurden. Für die KI-Hardware auf diesem Level gibt es nach Auskunft des Panels noch gar keinen etablierten Freigabeprozess. Auch die Bundeswehr bastelt hier, nur mit anderem Budget.
Zum Vergleich: die Kriegskiste nebenan
Damit niemand vergisst, in welcher Liga der Privatanwender eigentlich spielt, bringt Daniel Seufferth kurz die eigene Ausstattung ins Gespräch, den sogenannten Rosen-KI-Cluster, 72 heterogene Nvidia-GPUs an seiner Professur. Aufgeteilt sind die auf acht B300-Karten mit zwei Terabyte „Power”, wie er es nennt, auf einem einzigen Knoten; einen Cluster aus fünf H100-Knoten, macht vierzig GPUs mit je 80 Gigabyte, macht 3,2 Terabyte gemeinsam, über InfiniBand zu einer einzigen großen Grafikkarte verschaltet; dazu ein separates Experimentiercluster mit sechzehn H200- und acht weiteren H100-Karten für alle, die lieber in virtuellen Maschinen arbeiten. Der Privatanwender mit seinen zwei 16-Gigabyte-Karten unterm Schreibtisch wirkt daneben wie jemand, der mit dem Fahrrad neben einer Kolonne Schützenpanzer herfährt. Sportlich, aber chancenlos.
Wie schnell das in der Praxis wirklich ist, bleibt an diesem Abend erstaunlich unklar. Ein Blogeintrag von Sebastian Raschka, den man vorab gemeinsam durchgesehen hat, soll belegt haben, dass ein Nvidia DGX Spark rund 30.000 Token pro Sekunde schafft, ein Mac Mini aber 40.000, also schneller. Das Podium ist ratlos, warum das so sein sollte, und wirft dem Blogeintrag vor, nicht einmal anzugeben, welchen Mac-Mini-Chip er da eigentlich gemessen hat. Nebenbei erfährt man, dass es Leute gibt, die sich zwanzig Mac Minis mit Zehn-Gigabit-Netzwerk zu einer improvisierten Farm zusammenschließen: günstiger VRAM pro Euro, solange man den Verkabelungsaufwand nicht mitrechnet.
Nicht alles will KI sein
Den vielleicht klügsten Satz des Abends liefert Daniel Seufferth eher beiläufig nach: Nur weil man mit KI fast jedes Problem lösen kann, heißt das nicht, dass man es sollte. In der Simulation gebe es längst bewährte, mathematisch abgesicherte Optimierungsverfahren – die durch KI zu ersetzen sei nicht automatisch ein Fortschritt, nur weil es gerade in Mode ist. Sein Beispiel trifft den Abend im Kern: Für eine simple Zahlensummierung über zehn Dokumente braucht kein Mensch ein 31-Milliarden-Parameter-Modell, das dabei gerne mal eine 9 anhängt. Ein Taschenrechner hätte es auch getan, und der braucht weder VRAM noch Kühlung.
Am Ende bleibt: Lokale KI funktioniert, für den Bastler am Schreibtisch genauso wie fürs Unternehmen, nur eben nicht umsonst, nicht schnell eingerichtet und nicht ohne gelegentliches kopfschüttelndes Nachrechnen. Wer wirklich souverän sein will, zahlt dafür in Gigabyte, Watt und Nerven. Der Rest tippt seine Dokumente doch wieder bei ChatGPT ein und hofft, dass es niemand merkt.
→Alle Tools & Links aus dem Vortrag
Der Promptologe, 19.07.2026
Offenlegung: Dieser Beitrag entstand mit Hilfe von Anthropic Claude.
(Nein, der Gedanken — ist kein Hinweis auf die KI. Ich schreibe so. Bin altmodisch.)
