Agenten mit Vollmacht. Und keiner hat gefragt.
KI-Agenten können inzwischen Code schreiben, Rechnungen prüfen und Pull Requests reviewen. Was sie außerdem können: Datenbanken löschen, ohne dass jemand gefragt hat
München, Mittwoch, 10. Juni. Das dritte Claude-Community-Meetup in dieser Stadt — nach „für alle” und „für Designer” nun also „für Entwickler”. Der Promptologe ist gespannt. Technischere Vorträge, mehr Substanz, weniger Elevator Pitch. So war es versprochen.
Das Versprechen wurde gehalten.
Drei Lightning Talks, drei Sprecher, ein gemeinsames Thema, das sich erst im Nachhinein als solches offenbart: Wer KI-Agenten in echte Systeme lässt, sollte sich vorher sehr genau überlegt haben, was er damit einlädt.
500 Jahre alte Lösung für ein Problem von übermorgen
Philip Stanislaus, CTO von Causa Prima, eröffnet. Sein Unternehmen automatisiert Rechnungsprozesse zwischen Unternehmen und Freiberuflern — also genau die Domäne, in der ein halluzinierter Betrag oder eine manipulierte IBAN nicht einfach rückgängig gemacht werden kann.
Stanislaus ist jemand, der über Sicherheit nicht mit Schulterzucken spricht. Er hat
ein System gebaut, das Agenten wie Mitarbeiter in einem Bürogebäude behandelt: Es gibt eine Eingangskontrolle, Zugangskarten, abgesperrte Räume und eine Poststelle, durch die alles nach draußen muss. Kein Agent spricht mit einem anderen per Freitext — zu groß das Risiko, dass dabei eine Instruktion eingeschmuggelt wird, die eigentlich nicht dort hingehört.
Den konzeptionellen Kern hat er sich nicht selbst ausgedacht. Luca Pacioli hat ihn vor 500 Jahren beschrieben: doppelte Buchführung. Jede Transaktion an zwei unabhängigen Stellen erfassen, am Ende müssen die Bücher aufgehen. Wer etwas manipulieren will, muss es an beiden Stellen tun. Das macht Angriffe nicht unmöglich, aber erheblich aufwendiger.
In der Live-Demo läuft eine API-Integration. Stanislaus injiziert einen stillen Drift — eine undokumentierte Änderung der Schnittstelle. Der Agent erkennt die Anomalie, stoppt den Datenstrom, analysiert, schreibt einen Test, korrigiert den Connector. Die Rechnungen fließen wieder. Dauer: unter 30 Sekunden.
Der Promptologe notiert: Das ist keine Spielerei. Das ist Ingenieursarbeit.
411 Werkzeuge. Keiner hat gefragt, ob das eine gute Idee ist
Johannes Keienburg, CEO von Cakewalk, stellt zu Beginn eine Frage ans Publikum: Wie viele Werkzeuge stellt der GitHub MCP-Server zur Verfügung?
Jemand ruft: 50.
Nah dran. Es sind 51.
Und Linear? Stille. Keienburg löst auf: 411.
Der Promptologe überlegt kurz, ob er das richtig gehört hat. Er hat.
Wer heute einen KI-Agenten mit einem dieser Dienste verbindet — über die Oberfläche, per OAuth, schnell mal eben — gibt dem Agenten Zugriff auf alle 411 Aktionen. Nicht auf die zehn, die für die Aufgabe relevant wären. Auf alle. Der Agent hat damit in vielen Fällen breiteren Zugriff als der Mensch, der ihn gerade eingerichtet hat.
Keienburg hat das am eigenen System erlebt. Sein Agent hat eine Datenbank gelöscht. Nicht weil jemand eingebrochen wäre. Nicht weil der Agent böswillig gewesen wäre. Sondern weil er die Berechtigung hatte und den Schritt für sinnvoll hielt. Kein Katastrophe, wie Keienburg einräumt. Aber ein Moment der Klarheit.
Die Lösung, die Cakewalk gebaut hat, ist ein Gateway zwischen Agent und Drittsystem. Es wertet Richtlinien aus und entscheidet: Darf dieser Agent in diesem Kontext diese Aktion ausführen? Ein Vertriebsmitarbeiter-Agent bekommt keinen Schreibzugriff auf Produktionsdatenbanken — auch wenn der MCP-Server das technisch anbieten würde.
Keienburg ist überzeugt: Guardrails im Sprachmodell selbst lösen dieses Problem nicht. Ein probabilistisches System kann unter bestimmten Bedingungen ausgetrickst werden. Die Kontrolle muss deterministisch sein — außerhalb des Modells, in der Architektur.
Der Promptologe denkt an alle KI-Agenten, die gerade irgendwo mit allem verbunden werden. Und daran, dass das Löschen einer Datenbank in Sekunden geht.
Der neue Kollege sitzt in einem Mac Mini im Keller
Florian Wenzel, Softwarearchitekt bei der BITS GmbH, nähert sich dem Thema von der anderen Seite. Weniger Sicherheitsarchitektur, mehr Betriebsrealität: Wie bringt man Claude Code sinnvoll in ein Entwicklungsteam?
Seine These: Man behandelt den Agenten wie einen Kollegen. Mit einem eigenen GitHub-Account, definierten Zugriffsrechten, klar umrissenen Aufgaben. Und ohne Zugriff auf Deployment-Keys oder Kundendaten.
Was Claude Code gut kann: Features implementieren, CI-Fehler beheben, Merge-Konflikte auflösen, Code-Review-Kommentare umsetzen. Was man ihm besser nicht übergibt: Kundengespräche, Anforderungserhebung, Entscheidungen über Releases.
Nicht weil er es nicht könnte. Weil man ihm dabei noch nicht vertraut.
Die Demo ist konkret. Wenzel öffnet ein GitHub-Issue — über Fable, einen Browser-Agenten, was den Aufwand auf etwa drei Klicks reduziert. Kurz darauf hat Agent Nummer eins eine Implementierung eingereicht und einen Pull Request geöffnet. Agent Nummer zwei übernimmt das Review. Alles ohne Eingriff.
Dass die Agenten dabei gelegentlich über das Ziel hinausschießen, findet Wenzel eher amüsant als beunruhigend. Einer hat beim Review einen unabhängigen Bug im Quellcode entdeckt — nichts, was mit dem PR zu tun hatte — und dazu eigenständig ein Issue eröffnet, das er Wenzel zur Bearbeitung zuwies. Ein anderer hat eine instabile CI-Umgebung bemerkt und ebenfalls ein Issue angelegt, mit der Bitte, das Problem zu beheben.
Der Agent schickt seinem Vorgesetzten eine Aufgabe. Der Promptologe findet das bemerkenswert. Und leicht vertauschend.
Was in der Diskussion offen bleibt
In der gemeinsamen Fragerunde kristallisiert sich das eigentliche Spannungsfeld heraus. Die Modelle können vieles. Die Frage ist nicht mehr, ob sie es können. Die Frage ist, welche Fehler man akzeptiert — und welche nicht.
Stanislaus bringt es auf den Punkt: Bei einer falsch sortierten Rechnung kann man großzügig sein. Beim falschen Release in Produktion eher nicht.
Keienburg ergänzt: Das Sicherheitsproblem löst sich nicht dadurch, dass die Modelle besser werden. Es löst sich dadurch, dass man aufhört, Agenten mehr Rechte zu geben als nötig.
Und Wenzel? Der hat schon begonnen, bestimmte Teile der Codebasis als Sperrzone zu markieren. Infrastructure-Code nur mit menschlichem Review. Den Policy-Layer fasst kein Agent an. Zumindest nicht alleine.
Um 20:15 Uhr öffnen die Pizzaboxen. Die Gespräche gehen weiter.
Der Promptologe fährt nach Hause und fragt sich, wie vielen KI-Agenten gerade irgendwo gerade 411 Werkzeuge zur Verfügung stehen.
Vermutlich sehr vielen.
Der Promptologe, 12.06.2026
Offenlegung: Dieser Beitrag entstand mit Hilfe von Anthropic Claude.
(Nein, der Gedanken — ist kein Hinweis auf die KI. Ich schreibe so. Bin altmodisch.)
