Generative KI im Büro: die Risiken, über die selten jemand spricht
Intransparenz, fehlende Verantwortung, Fehler im großen Stil und Kosten, die niemand vorhersieht
Im Juli 2025 lag dem Amtsgericht Köln in einer Familiensache ein Schriftsatz vor, der auf den ersten Blick tadellos wirkte. Er zitierte Kommentare, Monografien und Fachzeitschriften. Das Gericht prüfte nach und hielt fest: „Auch die genannten Fundstellen sind frei erfunden.“ Die Ausführungen waren nach Einschätzung des Gerichts offenbar mithilfe künstlicher Intelligenz entstanden.
Der Fall ist kein Ausreißer. Er zeigt, was generative KI am besten kann – und warum genau das im Büro zum Problem wird: Sie erzeugt Text, der überzeugend klingt. Ob er stimmt, ist eine andere Frage.
Das ist kein Plädoyer gegen KI. Wir bauen sie selbst in unsere Produkte ein. Aber wer generative KI im Büro einsetzen will, sollte ihre Risiken kennen. Vier davon werden besonders oft unterschätzt.
1. Fehlende Transparenz: Warum diese Antwort?
Ein Sprachmodell berechnet, welches Wort mit hoher Wahrscheinlichkeit als Nächstes passt. Das ergibt flüssige Sätze, aber keine nachvollziehbare Begründung. Woher eine Aussage stammt, lässt sich oft nicht sagen, und nennt das Modell eine Quelle, kann auch die erfunden sein.
International bekannt wurde das 2023 mit dem Fall Mata v. Avianca in New York. Zwei Anwälte hatten einen Schriftsatz mit sechs Gerichtsentscheidungen eingereicht, die ChatGPT erfunden hatte. Das Gericht verhängte eine Geldbuße von 5.000 US-Dollar. Der Kölner Fall zeigt, dass sich das Muster auch in Deutschland wiederholt.
2. Keine Verantwortung: Die KI haftet nicht
Eine KI kann nichts verantworten. Sie unterschreibt nichts, haftet nicht und muss sich vor keiner Kammer rechtfertigen. Die Verantwortung bleibt bei denen, die ihre Ergebnisse nutzen.
Air Canada hat das 2024 erfahren. Der Chatbot der Fluggesellschaft hatte einem Kunden eine Erstattungsregel für Trauerfälle erklärt, die so nicht galt. Vor dem Civil Resolution Tribunal in British Columbia argumentierte das Unternehmen, der Chatbot sei gewissermaßen selbst für seine Aussagen verantwortlich. Das Tribunal sah das anders: Air Canada hafte für alle Informationen auf seiner Website, gleich ob sie von einer statischen Seite stammen oder von einem Chatbot.
Für Berufsträger kommt hinzu, dass sich die Pflicht zur sorgfältigen Prüfung nicht an eine Software abgeben lässt. Die Bundesrechtsanwaltskammer weist in ihren Hinweisen zum Einsatz von KI ausdrücklich auf Prüfpflichten und die Verschwiegenheit hin.
3. Fehler im großen Stil
Ein Mensch, der einen Fehler macht, macht ihn einmal. Ein Prompt, der einen Fehler enthält, macht ihn in jedem Dokument, das damit entsteht. Stellen Sie sich eine Vorlage für Mandantenschreiben vor, die eine Frist falsch berechnet, und 300 Schreiben, die so hinausgehen. Jedes einzelne sieht plausibel aus, und gerade das macht den Fehler so schwer zu finden.
Dass auch große Häuser davor nicht sicher sind, zeigte 2025 ein Fall bei Deloitte in Australien. In einem Bericht für das australische Arbeitsministerium, für den rund 440.000 australische Dollar gezahlt wurden, fanden sich erfundene Quellen und ein erfundenes Zitat aus einem Gerichtsurteil. Deloitte räumte ein, bei der Erstellung ein generatives KI-Werkzeug auf Basis von GPT-4o eingesetzt zu haben, überarbeitete den Bericht und erstattete einen Teil des Honorars. Ob die KI die Fehler verursacht hat, ließ das Unternehmen offen.
4. Kosten, die niemand vorhersieht
Generative KI wird meist nach Verbrauch abgerechnet, pro Anfrage und pro verarbeitetem Text. Was im Test ein paar Euro kostet, kann im Alltag schnell ein Vielfaches erreichen, besonders wenn KI-Agenten selbstständig in Schleifen arbeiten. Hinzu kommen Preise und Bedingungen, die der Anbieter ändern kann.
Das Analysehaus Gartner hat schon 2024 vorhergesagt, dass bis Ende 2025 rund 30 Prozent aller Projekte mit generativer KI nach dem Proof of Concept aufgegeben werden. Als Gründe nannte Gartner schlechte Datenqualität, unzureichende Risikokontrollen, steigende Kosten und unklaren Nutzen.
Und wohin gehen die Daten?
Ein Risiko liegt quer zu allen vier: der Datenfluss. Wer ein Cloud-Modell nutzt, schickt seine Eingaben an die Server des Anbieters. Für Kanzleien und andere Berufsgeheimnisträger ist das heikel, denn die Verschwiegenheitspflicht ist strafbewehrt (§ 203 StGB). Modelle auf eigener Hardware lösen dieses Problem, weil die Daten das eigene Haus nicht verlassen. Cloud-Modelle sind dafür oft leistungsfähiger. Es ist eine Abwägung, und sie gehört bewusst getroffen.
Was die KI-Verordnung verlangt
Seit dem 2. Februar 2025 verpflichtet Art. 4 der europäischen KI-Verordnung Anbieter und Betreiber von KI-Systemen, für ausreichende KI-Kompetenz ihres Personals zu sorgen. Mit dem sogenannten Digital Omnibus hat die EU die Vorschrift im Sommer 2026 abgeschwächt: Ein bestimmtes Kompetenzniveau muss seitdem nicht mehr garantiert werden. Die Pflicht, Maßnahmen zur Förderung der KI-Kompetenz zu ergreifen, bleibt aber bestehen. Wer KI im Büro einsetzt, sollte also schulen und das dokumentieren.
Wo generative KI ihren Platz hat
Nach so vielen Risiken klingt es fast überraschend: Generative KI ist trotzdem nützlich. Sie hilft beim ersten Entwurf, den ein Mensch anschließend prüft. Sie fasst lange Dokumente zusammen, wenn sie dabei die Fundstellen nennt. Und sie formuliert Routineantworten, die vor dem Versand jemand liest. Der gemeinsame Nenner: Ein Mensch prüft das Ergebnis, bevor es zählt.
Manchmal ist die beste KI allerdings gar keine. Viele Aufgaben, für die heute generative KI angepriesen wird, lassen sich verlässlicher lösen, wenn Daten strukturiert vorliegen. Ein Wert, der einmal korrekt erfasst wurde und dessen Herkunft bekannt ist, muss nicht von einem Sprachmodell geschätzt werden.
Faustregeln für den Büroalltag
- Nutzen Sie generative KI dort, wo Fehler billig und sichtbar sind.
- Prüfen Sie jede Fundstelle, jede Zahl und jedes Zitat, bevor es das Haus verlässt.
- Geben Sie keine vertraulichen Daten in Cloud-Dienste, ohne die Folgen geklärt zu haben.
- Behalten Sie die Kosten im Blick, besonders bei automatisierten Abläufen.
- Schulen Sie Ihr Team und dokumentieren Sie, wer welche KI wofür einsetzt.
Wie wir KI einsetzen
In unserer Suite ist LangAux die Plattform für generative, sprachbasierte KI, und sie ist modellunabhängig. Sie können ein Modell auf Ihrer eigenen Hardware betreiben, dann verlassen keine Daten Ihre Systeme. Auswahl und Einrichtung übernehmen wir, eigenes KI-Know-how brauchen Sie dafür nicht. Oder Sie binden einen Cloud-Anbieter wie Anthropic (Claude), OpenAI oder Google (Gemini) an. Diese Modelle sind teils leistungsfähiger, dafür verlassen Daten Ihre Systeme, und die Nutzung rechnet der Anbieter direkt mit Ihnen ab. Die Entscheidung liegt bei Ihnen.
In TaskAux laufen KI-Aufgaben, derzeit im Early Access, als eigener Schritt in der Kette. Wo es darauf ankommt, folgt ihnen ein Task, in dem ein Mensch das Ergebnis prüft. So bleibt KI ein Werkzeug, und die Verantwortung bleibt dort, wo sie hingehört. Wie analytische KI auf strukturierten Daten aussieht, zeigen wir in unserem nächsten Beitrag.
Quellen
- beck-aktuell: AG Köln, KI-Schriftsatz mit erfundenen Fundstellen (8. Juli 2025)
- Bloomberg Law: Phony ChatGPT Brief Leads to $5,000 Fine for NY Lawyers
- American Bar Association: BC Tribunal Confirms Companies Remain Liable for Information Provided by AI Chatbot
- Accounting Times: Deloitte to refund government after using AI in $440k report
- Technology Decisions: Gartner predicts 30% of GenAI projects to be abandoned
- anwaltspraxis Magazin: Leitfaden der BRAK zum Einsatz von KI in Anwaltskanzleien
- ITMR Legal: Digital Omnibus zur KI