Was ist Halluzination bei KI? Ursachen für Fehlantworten und Gegenmaßnahmen verständlich erklärt

Fachartikel
Was ist Halluzination bei KI? Ursachen für Fehlantworten und Gegenmaßnahmen verständlich erklärt

Einleitung

Eine Erklärung des Phänomens Halluzination für Mitarbeitende, IT-Teams, Rechtsabteilungen und DX-Verantwortliche, die generative KI einsetzen: wie Fehlantworten entstehen, Beispiele aus dem Arbeitsalltag sowie Vorgehensweisen zur Quellenprüfung und menschlichen Kontrolle.

Tatsuya Ito

Tatsuya Ito

Berater für Künstliche Intelligenz

company-icon

Third Scope Inc.

Geboren 1985 und ursprünglich aus der Präfektur Mie in Japan. Im Jahr 2012 trat er als Ingenieur in ein AR-Startup in Hongkong ein. Seitdem war er bei mehreren KI-Startups in der Entwicklung neuer Geschäftsfelder sowie bei der Einführung von KI-Services tätig. 2018 gründete er die heutige Third Scope Inc., indem er einen KI-Service und das dazugehörige Entwicklungsteam übernahm. Heute unterstützt er Unternehmen bei der Einführung und Nutzung von KI, mit einem Schwerpunkt auf KI-gestützter Geschäftsentwicklung, operativer Transformation und Produktentwicklung. Darüber hinaus war er als Project Researcher an der Universität Tokio im Bereich KI-Forschung tätig. Heute arbeitet er weiterhin an vorderster Front der Entwicklung von KI-Projekten und bietet praxisorientierte Beratung aus technischer wie auch aus geschäftlicher Perspektive.

Die Antwort der KI klang so natürlich, dass ich nicht wusste, wo ich mit dem Hinterfragen beginnen sollte.

Bei der Begleitung von Unternehmen bei der Einführung generativer KI hört der Autor häufig ähnliche Aussagen. In einem Unternehmen zeigte sich dieses Problem bei Beschäftigten aus Vertriebsplanung, IT, Rechtsabteilung und dem Team für digitale Transformation, nachdem generative KI eingeführt worden war. Entwürfe für E-Mails, Zusammenfassungen von Besprechungen und erste Recherchegrundlagen ließen sich mit KI zwar schneller erstellen. Gleichzeitig erzeugte die KI mitunter plausibel klingende Angaben zu nicht existierenden internen Regelungen sowie ungeprüfte Zahlen. Die Fachabteilungen fanden das Tool „nützlich, aber beunruhigend“, die IT konnte nur schwer festlegen, wie weit die Nutzung erlaubt sein sollte, und die Rechtsabteilung sah das Risiko, dass falsche Informationen in externe Dokumente gelangen.

Der Autor selbst hat seit seiner Tätigkeit als Entwickler in der Produktentwicklung Einblicke in Vertrieb, Marketing, Unternehmensführung und Prozessverbesserung gewonnen. Aus dieser Erfahrung lässt sich festhalten: Falsche KI-Antworten sind kein Risiko, das nur technisch versierte Personen im Blick behalten müssen. Sie treten vielmehr besonders leicht dann auf, wenn Beschäftigte in den Fachabteilungen beginnen, KI in ihrer täglichen Arbeit einzusetzen.

Immer mehr Unternehmen behandeln KI-Antworten daher nicht als fertige Lösungen, sondern als Entwürfe, Zusammenfassungen und Hilfsmittel zur Strukturierung von Fragestellungen. Quellen, Zahlen und Eigennamen werden anschließend von Menschen geprüft. Dieser Artikel erläutert, was KI-Halluzinationen sind, warum falsche KI-Antworten entstehen, in welchen Arbeitssituationen sie besonders häufig vorkommen und welche Gegenmaßnahmen möglich sind. Ziel ist nicht, KI aus der Arbeit zu verbannen, sondern sie unter der Annahme möglicher Fehler sicher einzusetzen. Eine Checkliste allein beseitigt das Risiko jedoch nicht. Sie sollte mit internen Regeln, Schulungen und regelmäßigen Überprüfungen verbunden werden.

Was sind KI-Halluzinationen?

Eine KI-Halluzination liegt vor, wenn KI plausibel klingende, aber falsche Informationen ausgibt

Als KI-Halluzination bezeichnet man das Phänomen, dass generative KI sachlich falsche oder unbelegte Inhalte erzeugt, die dennoch plausibel und korrekt wirken können.

Dazu gehören beispielsweise folgende Fälle:

  • Eine nicht existierende interne Regelung wird so erklärt, als gäbe es sie.
  • Nicht herangezogene Dokumente oder URLs werden als Quellen angegeben.
  • Ungeprüfte Zahlen werden wie konkrete Ergebnisse dargestellt.
  • Inhalte von Verträgen oder Richtlinien werden durch allgemeine Annahmen ergänzt.
  • Entscheidungen, die in einer Besprechung nicht getroffen wurden, erscheinen im Protokoll.

Problematisch ist, dass eine Halluzination nicht unbedingt als offensichtlich falsche Antwort erscheint. Der Text kann vielmehr sprachlich natürlich, sorgfältig formuliert und logisch aufgebaut wirken. Auch in Fällen, die der Autor in der Praxis geprüft hat, war das Problem beim ersten Lesen der KI-Antwort nicht erkennbar. Erst der Abgleich mit der Originalquelle zeigte: „Diese Regelung existiert nicht“ oder „Diese Zahl steht nicht im Dokument“.

Die Antwort generativer KI ist weder ein Suchergebnis noch ein direktes Zitat aus einer internen Datenbank. Die KI erzeugt auf Grundlage der Eingabe und des verfügbaren Kontexts eine plausibel wirkende Antwort. Deshalb kann sie fehlende Annahmen ergänzen, statt bei unzureichenden Informationen mit „Ich weiß es nicht“ zu antworten.

Beim Einsatz generativer KI im Unternehmen muss daher die Annahme gelten, dass KI Fehler machen kann. Das ist keine Ablehnung von KI, sondern eine Sicherheitsvorkehrung für ihre dauerhafte Nutzung im Arbeitsalltag.

Warum gibt KI falsche Antworten?

Warum KI falsche Antworten gibt

Falsche Antworten generativer KI können verschiedene Ursachen haben. Wer diese Ursachen versteht, kann Risiken realistischer einschätzen und leichter erkennen, an welchen Stellen besondere Aufmerksamkeit erforderlich ist.

Die KI versucht auch Fragen zu Informationen zu beantworten, die sie nicht kennt

KI kann eine Antwort formulieren, selbst wenn ihr die erforderlichen Informationen oder eine ausreichende Grundlage fehlen.

Angenommen, die Frage lautet: „Bitte erläutern Sie die Elternzeitregelung unseres Unternehmens.“ Wenn die internen Richtlinien nicht als Quelle vorliegen, kann die KI trotzdem anhand allgemeiner Informationen über entsprechende Regelungen antworten. Für Leserinnen und Leser klingt das möglicherweise natürlich, die Antwort muss aber nicht mit den Vorgaben des Unternehmens übereinstimmen.

Bei solchen Fragen muss klar unterschieden werden, ob allgemeine Informationen oder eine Antwort auf Grundlage interner Richtlinien verlangt werden. In einer frühen Phase der KI-Einführung bleibt diese Unterscheidung häufig unklar. Der Autor spricht sie deshalb stets in der ersten Schulung an. Gerade unmittelbar nach einem positiven Nutzungserlebnis neigen Menschen dazu, KI-Antworten leichter zu vertrauen.

Bei unklaren Fragen ergänzt die KI Annahmen

„Fassen Sie das bitte ansprechend zusammen“, „Nennen Sie mir die Risiken“ oder „Machen Sie daraus einen Text für Kunden“ sind zwar schnell formuliert, lassen der KI aber viel Interpretationsspielraum. Wenn Zielgruppe, zugrunde liegende Unterlagen und zulässige Aussagekraft nicht feststehen, kann die KI fehlende Annahmen ergänzen.

Für den Umgang mit Halluzinationen ist daher auch die Formulierung des Prompts wichtig. Ein klarer Zweck, die Zielgruppe, die zugrunde liegenden Informationen, das Ausgabeformat und Einschränkungen können unnötige Ergänzungen verringern.

Nach Einschätzung des Autors behandeln Unternehmen mit erfolgreicher KI-Nutzung Prompts nicht als persönliche Kniffe, sondern als Teil der Arbeitsgestaltung. Gute Aufgabenstellungen sollten nicht vom Können einzelner besonders versierter Personen abhängen. Stattdessen teilt das Team bewährte Vorgehensweisen, damit unabhängig von der nutzenden Person eine möglichst konsistente Qualität erreicht wird.

Aktuelle und unternehmensspezifische Informationen können Schwachstellen sein

Bei aktuellen Gesetzesänderungen, neuen Marktdaten, ausschließlich intern verwendeten Bezeichnungen und abteilungsspezifischen Abläufen kann KI Schwächen zeigen.

Besondere Vorsicht ist bei folgenden Informationen geboten:

  • aktuelle Gesetze und Vorschriften
  • aktuelle Entwicklungen bei Wettbewerbern
  • unternehmenseigene Preismodelle
  • interne Richtlinien und Freigabeprozesse
  • individuelle Vertragsbedingungen von Kunden
  • noch nicht veröffentlichte Kampagneninformationen

Diese Informationen dürfen nicht allein der KI überlassen werden, sondern müssen stets anhand von Primärquellen geprüft werden.

Bei der schnellen Erstellung und Überarbeitung von Textentwürfen kann KI sehr leistungsfähig sein. Ob sie jedoch die aktuell gültige interne Regel kennt, einen individuellen Kundenvertrag versteht oder mit dem neuesten Freigabeprozess übereinstimmt, ist eine andere Frage. Gerade wegen dieser Geschwindigkeit müssen Prüfschritte bewusst in den Arbeitsablauf eingeplant werden.

Die KI kann scheinbare Quellen erzeugen

Wer eine KI auffordert, Quellen anzugeben, erhält mitunter eine Antwort im Stil eines Quellenverzeichnisses. Das bedeutet jedoch nicht, dass diese Quellen tatsächlich existieren.

Die KI kann beispielsweise nicht existierende Dokumenttitel, Seitenzahlen oder nicht überprüfbare URLs nennen. Eine Quellenangabe macht eine Aussage nicht automatisch korrekt. Es muss geprüft werden, ob die Quelle tatsächlich existiert und die Aussage stützt.

In der Praxis wird dieser Punkt leicht übersehen. Ein Dokumenttitel oder eine URL lassen eine Aussage bereits vertrauenswürdig erscheinen. Der Autor empfiehlt deshalb, gerade bei einer von der KI genannten Quelle kurz innezuhalten und zu fragen: „Existiert sie wirklich?“

In welchen Arbeitssituationen KI-Halluzinationen besonders leicht auftreten

Arbeitssituationen, in denen KI-Halluzinationen besonders leicht auftreten

Halluzinationen sind nicht in jeder Tätigkeit auf die gleiche Weise problematisch. Besondere Vorsicht ist geboten, wenn falsche Informationen interne oder externe Entscheidungen sowie die Kundenkommunikation beeinflussen.

Anfragen zu internen Richtlinien und Regelungen

In Personalabteilung, Verwaltung, Buchhaltung und IT gibt es viele Situationen, in denen KI die Beantwortung von Fragen der Beschäftigten unterstützen kann.

Typische Fragen sind beispielsweise:

  • Kann ich diese Fahrtkosten abrechnen?
  • Bei welcher Abteilung muss ich eine Nebentätigkeit beantragen?
  • Bis wann muss ich Elternzeit beantragen?
  • Welche Arbeitsmittel muss ich beim Ausscheiden zurückgeben?

Auf den ersten Blick scheinen solche Fragen gut für KI geeignet zu sein. Tatsächlich ist es ein sinnvolles Einsatzfeld, interne Richtlinien und FAQs so aufzubereiten, dass Beschäftigte selbst nach Informationen suchen können.

Antwortet die KI jedoch ohne Grundlage in den internen Regelungen, kann sie Beschäftigte zu falschem Handeln veranlassen. Erklärt sie etwa zu einem Vorgang, der vorher genehmigt werden muss, eine nachträgliche Genehmigung sei unproblematisch, führt das möglicherweise zu Verwirrung im Arbeitsalltag.

Bei Fragen zu internen Richtlinien darf die KI nicht anhand allgemeiner Annahmen antworten. Vorgaben wie „Wenn die Richtlinie keine Grundlage enthält, antworten Sie, dass die Information nicht bekannt ist“ oder „Nennen Sie die Richtlinie und den betreffenden Abschnitt“ sind erforderlich.

Erste Prüfung von Verträgen und rechtlichen Fragen

KI wird zunehmend auch für eine erste Vertragsprüfung eingesetzt. Sie kann dabei helfen, fehlende Klauseln zu erkennen oder relevante Punkte zu strukturieren.

Es ist jedoch riskant, die Ausgabe der KI als rechtliche Beurteilung zu behandeln.

Bei Verträgen können einzelne Formulierungen und ihr Zusammenhang die Bedeutung verändern. Auch frühere Verhandlungen mit der anderen Vertragspartei und die interne Risikobereitschaft spielen eine Rolle. Selbst wenn die KI „Es bestehen keine Probleme“ ausgibt, ist das keine abschließende Beurteilung.

Auch der Autor achtet bei KI-Anwendungen für Verträge und Richtlinien konsequent darauf, die KI nicht als Entscheiderin, sondern als Hilfsmittel zum Auffinden von Fragestellungen einzuordnen. Rechtlich relevante Ausgaben müssen immer durch Menschen geprüft werden, etwa durch eine Fachabteilung oder externe Beratung.

Markt- und Wettbewerbsrecherche sowie die Verwendung von Zahlen

Im Marketing und in der Vertriebsplanung kann KI als Ausgangspunkt für Marktanalysen oder Wettbewerbsvergleiche dienen.

In diesem Anwendungsfall sind Halluzinationen besonders schwer zu erkennen, weil KI-Antworten leicht eine scheinbar plausible Marktgröße, Wachstumsrate oder Wettbewerbsanalyse enthalten.

Folgende Aussage ist ein fiktives Beispiel:

Der deutsche Markt für XX hatte 2025 ein Volumen von rund 600 Millionen Euro und wächst jährlich um 10 %.

Der Satz klingt plausibel. Ohne Quelle, Untersuchungsjahr, Definition des betrachteten Marktes und Abgrenzung der erhobenen Daten sollte er jedoch nicht geschäftlich verwendet werden.

Bei Marktanalysen ist es sicherer, KI zur Strukturierung der zu untersuchenden Fragen, der zu prüfenden Quellen und der Vergleichskriterien einzusetzen, statt den genannten Zahlen zu vertrauen. Auch der Autor bittet KI zu Beginn einer Recherche häufig nicht um die fertige „Antwort“, sondern um eine Struktur für die weitere Recherche.

Zusammenfassungen von Besprechungen und Gesprächsnotizen

KI-Zusammenfassungen erleichtern die Aufbereitung von Besprechungen und Kundengesprächen. Wenn Aufzeichnungen, Notizen und Unterlagen in einem festgelegten Format zusammengefasst werden, kann sich der Aufwand für Protokolle und den Informationsaustausch verringern.

Bei Besprechungsprotokollen und Gesprächsnotizen sind jedoch unter anderem folgende Fehler möglich:

  • Ein nicht beschlossener Punkt wird als „Entscheidung“ aufgeführt.
  • Eine Aufgabe ohne festgelegte Zuständigkeit wird einer Person zugewiesen.
  • Eine noch diskutierte Hypothese wird als feststehende Vorgehensweise zusammengefasst.
  • Eine Aussage des Kunden wird zu stark aus Sicht des eigenen Unternehmens umformuliert.

Eine KI-Zusammenfassung kann die Prüfung nach einer Besprechung beschleunigen. Bevor sie als endgültiges Protokoll verteilt wird, muss sie jedoch von einem Menschen mit der Aufzeichnung, den Notizen und dem Verständnis der Teilnehmenden abgeglichen werden.

Eine Besprechung besteht nicht nur aus einzelnen Aussagen. Entscheidend sind auch der Ton einer Aussage, der Umfang einer Einigung und die Punkte, die vertagt wurden. Solche Zusammenhänge richtig einzuordnen, bleibt in hohem Maße Aufgabe des Menschen.

E-Mails, Angebote und FAQ-Antworten für Kunden

In Texten an Kunden können falsche KI-Antworten unmittelbar zu einem Vertrauensverlust führen.

Besondere Vorsicht ist bei folgenden Formulierungen geboten:

  • Eine Verbesserung ist garantiert.
  • Wir können sämtliche Anforderungen erfüllen.
  • Wir sind besser als andere Anbieter.
  • Die Umsetzung ist innerhalb von X Tagen abgeschlossen.
  • Rechtlich bestehen keine Bedenken.

Solche eindeutigen Aussagen dürfen nicht ohne Faktenprüfung und interne Freigabe verwendet werden.

Von KI erstellte Texte sind als Entwurf hilfreich. Vor dem Versand an Kunden müssen Zahlen, Bedingungen, Vertragsinhalte und der zulässige Umfang von Zusagen jedoch stets geprüft werden.

Auch bei der Unterstützung von Vertrieb und Marketing achtet der Autor darauf, dass KI keine übermäßig starken Aussagen formuliert. Zwischen einer überzeugenden Formulierung und einem überzogenen Versprechen verläuft mitunter nur eine schmale Grenze. Gerade im B2B-Bereich wiegt Vertrauen schwerer als kurzfristige Werbewirkung.

Falsche KI-Antworten nicht vollständig ausschließen wollen

Falsche KI-Antworten nicht vollständig ausschließen wollen

Beim Umgang mit Halluzinationen geht es nicht darum, falsche KI-Antworten vollständig zu beseitigen.

Maßnahmen zur Verringerung von Fehlern sind selbstverständlich erforderlich. Wer KI im Unternehmen einsetzt, sollte die Abläufe jedoch unter der Annahme gestalten, dass Fehler möglich bleiben.

Wenn der Autor Unternehmen bei der KI-Einführung berät, lautet die gemeinsame Frage nicht: „Wie stellen wir sicher, dass die KI niemals einen Fehler macht?“, sondern: „Wie verhindern wir, dass ein Fehler der KI zu einem betrieblichen Vorfall wird?“ Dieser Ansatz ähnelt der Systementwicklung. Statt von einem vollständig fehlerfreien System auszugehen, werden Fehlererkennung, Prüfprozesse, Berechtigungen, Protokollierung und Wiederherstellungsverfahren von Anfang an mitgedacht. Eine ähnliche Haltung ist auch bei der betrieblichen Nutzung generativer KI erforderlich.

KI nicht als Werkzeug für garantiert richtige Antworten behandeln

KI garantiert keine richtigen Antworten. Insbesondere für Faktenprüfung, rechtliche Beurteilungen, abschließende Entscheidungen und verbindliche Zusagen an Kunden ist sie nicht geeignet.

Gut geeignet ist sie dagegen für folgende Aufgaben:

  • Textentwürfe
  • Zusammenfassungen von Protokollen und Unterlagen
  • Strukturierung von Fragestellungen
  • Ideenfindung
  • erste Fassungen von Vergleichstabellen
  • Ermittlung von Prüfpunkten
  • Erstellung von Prompts und Vorlagen

KI ist daher besonders hilfreich als Werkzeug, das eine Grundlage für die weitere Bearbeitung schafft.

Menschen übernehmen Faktenprüfung, abschließende Entscheidungen und Gespräche, bei denen Beziehungen eine Rolle spielen. KI unterstützt bei Entwürfen, Zusammenfassungen, Formatierung und dem Einstieg in eine Recherche. Eine klare Aufgabenverteilung erleichtert die Verbindung von Geschwindigkeit und Sicherheit.

Zwischen Tätigkeiten mit niedrigem und hohem Risiko unterscheiden

Wer jede KI-Nutzung denselben Regeln unterwirft, erschwert die praktische Anwendung. Völlige Freiheit erhöht dagegen das Risiko.

Deshalb ist es sinnvoll, Tätigkeiten zunächst nach ihrem Risiko zu unterscheiden.

Beispiel für die Risikoklassifizierung beim KI-Einsatz
Kategorie Beispiele Grundsatz für die KI-Nutzung
Niedriges Risiko persönliche Notizen, interne Textentwürfe, Ideenfindung vergleichsweise gut nutzbar; vertrauliche Informationen dennoch beachten
Mittleres Risiko Besprechungsprotokolle, interne FAQs, Entwürfe für Vertriebsunterlagen Nutzung unter der Voraussetzung einer menschlichen Prüfung
Hohes Risiko Verträge, rechtliche Fragen, personenbezogene Daten, offizielle Kundenantworten Prüfung durch die zuständige Fachabteilung ist verpflichtend
Unzulässige oder besonders sensible Bereiche sensible Informationen, unveröffentlichte Finanzinformationen, besonders vertrauliche Kundendaten grundsätzlich nicht eingeben

Mit einer solchen Einteilung können Fachabteilungen nicht nur beurteilen, was verboten ist, sondern auch, in welchem Umfang die Nutzung möglich bleibt.

In Unternehmen, in denen die KI-Einführung ins Stocken gerät, stehen sich häufig nur die Positionen „zu gefährlich, daher keine Nutzung“ und „nützlich, daher freie Nutzung“ gegenüber. Der Autor hält es für wichtig, zwischen diesen Extremen einen praxistauglichen Rahmen für die Nutzung zu schaffen.

Menschliche Prüfung in den Arbeitsablauf integrieren

Ein Verfahren zur Prüfung von KI-Ausgaben bleibt nicht dauerhaft wirksam, wenn es allein von der Aufmerksamkeit einzelner Beschäftigter abhängt.

Entscheidend ist, Prüfpunkte in den Arbeitsablauf einzubauen.

Bei Unterlagen für Kunden kann der Ablauf beispielsweise so aussehen:

  1. Die zuständige Person erstellt mit KI eine Gliederung.
  2. Sie prüft Zahlen, Eigennamen und Beispiele.
  3. Die Führungskraft prüft Formulierungen und den Umfang zulässiger Zusagen.
  4. Bei Bedarf prüfen Rechtsabteilung und IT.
  5. Die Unterlagen werden dem Kunden vorgelegt.

Wird die KI-Nutzung so in bestehende Review-Prozesse integriert, lässt sich das Risiko begrenzen, ohne die Arbeitsgeschwindigkeit unnötig zu verringern.

Die allgemeine Vorgabe „Ein Mensch prüft das“ stellt noch keinen belastbaren Prüfprozess dar. Erst wenn feststeht, wer zu welchem Zeitpunkt welche Punkte prüft, kann sich die KI-Nutzung im Arbeitsalltag verankern.

Grundlagen zum Umgang mit KI-Halluzinationen

Grundlagen zum Umgang mit KI-Halluzinationen

Im Folgenden werden Maßnahmen für die Praxis dargestellt.

Zweck, Voraussetzungen und Ausgabeformat eindeutig vorgeben

Unklare Anweisungen an die KI vergrößern den Spielraum für falsche Antworten.

Ein ungünstiger Auftrag lautet beispielsweise:

Code
Fassen Sie diese Unterlage ansprechend zusammen.

Eine verbesserte Fassung wäre:

Code
Fassen Sie die folgende Unterlage für eine interne Vertriebsbesprechung zusammen.

# Zweck
Die Vertriebsmitarbeitenden sollen die nächsten Schritte beurteilen können.

# Ausgabeformat
- Kernaussagen: höchstens 5
- Entscheidungen: als Aufzählung
- Offene Punkte: mit „zu prüfen“ kennzeichnen
- Zahlen, Daten und Eigennamen: nur Angaben aus dem Ausgangstext verwenden

# Hinweis
Ergänzen Sie keine Informationen, die nicht in der Unterlage stehen.

Es ist wichtig, der KI nicht nur mitzuteilen, was sie tun soll, sondern auch, was sie nicht tun darf.

Der Autor empfiehlt, einen Prompt für generative KI nicht als einfache Bitte, sondern ähnlich wie eine Arbeitsanweisung zu behandeln. Eine gute Arbeitsanweisung enthält Zweck, Voraussetzungen, Ergebnis, Einschränkungen und Prüfpunkte. Das gilt ebenso für Anweisungen an KI.

Bei fehlenden Informationen mit „zu prüfen“ antworten lassen

KI kann versuchen, auch unbekannte Fragen zu beantworten. Deshalb sollte von Anfang an vorgegeben werden, bei fehlenden Informationen „zu prüfen“ anzugeben.

Beispiel:

Code
Wenn der Sachverhalt in den internen Richtlinien nicht ausdrücklich geregelt ist, stellen Sie keine Vermutungen an, sondern schreiben Sie: „Da sich aus den Richtlinien keine Grundlage ergibt, ist eine Prüfung erforderlich.“

Bereits eine solche Vorgabe kann das Risiko verringern, dass die KI eine unbegründete eindeutige Aussage trifft.

Gerade bei internen FAQs, der Prüfung von Richtlinien und Antworten an Kunden ist eine KI wichtig, die bei fehlendem Wissen auch mitteilen kann, dass sie etwas nicht weiß. Das verringert nicht ihre Leistungsfähigkeit, sondern erhöht ihre betriebliche Zuverlässigkeit.

Zahlen, Daten und Eigennamen anhand von Primärquellen prüfen

Besonders häufig werden Halluzinationen bei Zahlen, Daten und Eigennamen zu einem betrieblichen Problem.

Zu prüfen sind insbesondere:

  • Beträge
  • Prozentangaben
  • Personenzahlen
  • Datumsangaben
  • Unternehmensnamen
  • Abteilungsnamen
  • Namen zuständiger Personen
  • Produktnamen
  • Vertragsbedingungen
  • Gesetzesbezeichnungen
  • Dokumenttitel

Von der KI ausgegebene Zahlen und Eigennamen müssen stets anhand einer Primärquelle geprüft werden. Ist die Originalquelle nicht auffindbar, sollte die Angabe entfernt oder ausdrücklich als „zu prüfen“ gekennzeichnet werden.

Zahlen verleihen einem Text Überzeugungskraft. Gerade deshalb können sie gefährlich sein. Eine unbelegte Zahl kann problematischer sein als der Verzicht auf eine konkrete Zahl. Bei der Prüfung von Unterlagen fragt der Autor deshalb bei Zahlen zuerst: „Woher stammt diese Angabe?“

Prüfen, ob eine Primärquelle vorhanden ist

Die KI nach einer Primärquelle zu fragen ist hilfreich, die bloße Nennung genügt jedoch nicht.

Folgende drei Punkte müssen geprüft werden:

  1. Existiert diese Primärquelle?
  2. Stimmt die Zusammenfassung der KI mit ihrem Inhalt überein?
  3. Ist die Primärquelle noch aktuell und gültig?

Bei internen Unterlagen ist außerdem zu prüfen, ob die aktuelle Fassung vorliegt. Eine Antwort auf Grundlage einer alten Richtlinie oder eines früheren Angebots kann der heutigen Praxis widersprechen.

Quellenangaben der KI können ein Einstieg in die Prüfung sein. Die Prüfung endet jedoch nicht mit der Nennung einer Quelle, sondern beginnt dort erst.

Externe Dokumente vor der Weitergabe durch Menschen prüfen lassen

Texte, die das Unternehmen verlassen, müssen stets von Menschen geprüft werden.

Auch wenn die KI einen Entwurf erstellt hat, trägt ein Mensch die Verantwortung für die Prüfung vor der Weitergabe an Kunden oder Geschäftspartner. Das Review umfasst folgende Punkte:

  • Werden Tatsachen und Vermutungen vermischt?
  • Sind Zahlen und Eigennamen korrekt?
  • Darf diese Zusage gegenüber dem Kunden gemacht werden?
  • Enthält der Text übermäßig eindeutige Aussagen?
  • Entspricht er der Tonalität des Unternehmens?
  • Enthält er Punkte, die Rechtsabteilung, IT oder Führungskraft prüfen müssen?

Auch bei einem von KI erstellten Text bleibt die Verantwortung für die Prüfung vor Einreichung oder Veröffentlichung beim Menschen.

Bereiche mit hohem Risiko durch Fachabteilungen prüfen lassen

In folgenden Bereichen dürfen KI-Ausgaben nicht unverändert verwendet werden:

  • Recht
  • Verträge
  • Steuern
  • Arbeitsrecht und Personalfragen
  • IT-Sicherheit
  • personenbezogene Daten
  • Medizin und Gesundheit
  • Finanzentscheidungen
  • offizielle Antworten an Kunden

KI kann in diesen Bereichen zur Strukturierung von Fragestellungen und zur Ermittlung von Prüfpunkten dienen. Die abschließende Entscheidung muss jedoch eine Fachabteilung oder eine verantwortliche Person treffen.

Bei Unternehmen, die ihre KI-Nutzung ausbauen, legt der Autor ebenso großen Wert auf die Festlegung der Bereiche, in denen KI nicht allein entscheiden darf. Klare Grenzen für die Nutzung sind kein Zeichen mangelnder Offenheit gegenüber KI, sondern eine Voraussetzung für ihren verantwortungsvollen Einsatz in der Organisation.

Checkliste zur Prüfung von KI-Ausgaben

Checkliste zur Prüfung von KI-Ausgaben

Prüfen Sie eine KI-Antwort anhand der folgenden Checkliste.

Prüfung der Fakten

  • Sind für Zahlen Quelle, Zeitraum, Einheit und Grundgesamtheit angegeben?
  • Sind Eigennamen korrekt?
  • Sind Datumsangaben korrekt?
  • Existiert die zitierte Quelle?
  • Ist die herangezogene Unterlage aktuell?
  • Hat die KI Informationen ergänzt, die nicht in der Unterlage stehen?

Prüfung der Formulierungen

  • Ist der Text zu eindeutig formuliert?
  • Enthält er Wörter wie „garantiert“, „absolut“ oder „vollständig“?
  • Sind die Formulierungen als Zusage gegenüber Kunden zulässig?
  • Passen sie zur Tonalität des Unternehmens?
  • Können sie bei Leserinnen und Lesern zu Missverständnissen führen?

Prüfung der Risiken

  • Sind personenbezogene oder vertrauliche Informationen enthalten?
  • Sind Inhalte enthalten, die rechtlich geprüft werden müssen?
  • Bestehen Sicherheitsbedenken?
  • Widerspricht die Ausgabe den Vertragsbedingungen?
  • Kann sie Kunden oder Beschäftigte benachteiligen?

Prüfung der Entscheidungen

  • Wurde die Schlussfolgerung der KI unverändert übernommen?
  • Wurden der KI auch Punkte überlassen, die ein Mensch entscheiden muss?
  • Wurden die erforderlichen Beteiligten einbezogen?
  • Sind noch mit „zu prüfen“ gekennzeichnete Punkte offen?

Passen Sie diese Checkliste an die jeweilige Abteilung und Tätigkeit an. Wichtig ist, nicht jedes Mal bei null anzufangen, sondern gemeinsame Prüfkriterien im Unternehmen festzulegen.

Nach Erfahrung des Autors verstehen Unternehmen mit etablierter KI-Nutzung eine Checkliste nicht als reines Kontrollinstrument, sondern als Hilfsmittel für einen sicheren Einsatz in den Fachabteilungen. Sie soll Beschäftigte nicht unnötig einschränken, sondern den Bereich erweitern, in dem KI verantwortungsvoll eingesetzt werden kann. Diese Haltung ist entscheidend.

Welche Regeln Unternehmen für generative KI festlegen sollten

Regeln für die Nutzung generativer KI im Unternehmen

Individuelle Aufmerksamkeit allein reicht für den Umgang mit Halluzinationen nicht aus. Unternehmen, die KI systematisch einsetzen, benötigen grundlegende Regeln für deren Nutzung.

Zulässige und unzulässige Eingaben unterscheiden

Zunächst ist festzulegen, welche Informationen in die KI eingegeben werden dürfen.

Eine mögliche Einteilung lautet:

Beispiel für Informationskategorien und ihren Umgang bei Eingaben in generative KI
Informationskategorie Beispiele Umgang
Öffentliche Informationen offizielle Website, veröffentlichte Unterlagen, Pressemitteilungen vergleichsweise gut nutzbar
Allgemeine interne Informationen Handbücher, interne FAQs, Schulungsunterlagen gemäß den internen Regeln verwenden
Kundendaten Gesprächsnotizen, Vertragsbedingungen, Angebote Vertrag, Berechtigungen und Maskierung prüfen
Personenbezogene Daten Name, Anschrift, Kontaktdaten, Personalnummer grundsätzlich maskieren
Sensible Informationen Gesundheitsdaten, Kontodaten, unveröffentlichte Finanzinformationen und Ähnliches grundsätzlich nicht eingeben

Insbesondere bei personenbezogenen Daten, sensiblen Informationen und unveröffentlichten Finanzdaten ist ein vorsichtiger Umgang erforderlich. Dazu gehört, sie nicht einzugeben oder vorab zu maskieren. Auch das Bundesamt für Sicherheit in der Informationstechnik (BSI) weist darauf hin, dass generative KI-Modelle plausible, aber falsche Inhalte erzeugen können und dass Halluzinationen insbesondere bei scheinbar glaubhaften Quellenangaben ein relevantes Risiko darstellen.

Verantwortliche für das Review festlegen

Außerdem sollte feststehen, wer KI-Ausgaben prüft.

Eine mögliche Aufgabenteilung sieht so aus:

Beispiele für die wichtigsten prüfenden Stellen nach Art der KI-Ausgabe
Ausgabe Wichtigste prüfende Stellen
Interne Texte erstellende Person, Führungskraft
E-Mails an Kunden erstellende Person, Führungskraft, bei Bedarf Vertriebsleitung
Texte zu Verträgen und Richtlinien Fachabteilungen wie Recht, Personal oder Verwaltung
Texte zur IT-Sicherheit IT, Informationssicherheit
Webartikel und Werbetexte Marketingleitung; bei rechtlichem Prüfbedarf die Rechtsabteilung

Ohne festgelegte Verantwortliche kann eine KI-Ausgabe nach außen gelangen, ohne dass sie jemand geprüft hat.

„Irgendjemand wird es schon prüfen“ bedeutet im Arbeitsablauf häufig, dass niemand prüft. Die prüfende Person wird nicht festgelegt, um Verantwortung abzuschieben, sondern um KI mit ausreichender Sicherheit nutzen zu können.

KI-Antworten nicht unverändert übernehmen

Auch die Vorgabe, KI-Antworten nicht unverändert zu übernehmen, kann als interne Regel sinnvoll sein.

Insbesondere folgende Ausgaben sollten nicht direkt verwendet werden:

  • Antworten an Kunden
  • Kommentare zu Verträgen
  • Erläuterungen zu rechtlichen und arbeitsrechtlichen Fragen
  • Marktanalysen mit Zahlen
  • Unterlagen für die Geschäftsleitung
  • Nachrichten an Bewerberinnen und Bewerber
  • Pressemitteilungen und Werbeaussagen

KI-Ausgaben sollten als Entwurf behandelt werden. Vor der Nutzung prüft ein Mensch den Inhalt und passt ihn an die Sprache und Vorgaben des Unternehmens an.

Der Autor vergleicht diesen Schritt mitunter mit dem Kochen. KI beschleunigt die Vorbereitung. Den Geschmack abzustimmen und zu entscheiden, wem ein Gericht serviert werden kann, bleibt jedoch Aufgabe des Menschen. Wird dieser zusätzliche Schritt ausgelassen, kann der Nutzen unmittelbar zum Risiko werden.

Regeln regelmäßig überprüfen

Die Nutzung von KI verändert sich im Unternehmen nach und nach. Regeln, die zu Beginn sinnvoll waren, müssen nach einem halben Jahr nicht mehr optimal sein.

Etwa einmal im Monat oder einmal im Quartal sollten folgende Punkte überprüft werden:

  • häufige KI-Anwendungsfälle
  • Fälle mit falschen Antworten
  • Bedenken und Fragen aus den Fachabteilungen
  • Umfang der zulässigen Eingaben
  • Review-Verfahren
  • Prompts und Vorlagen
  • Schulungsinhalte

Maßnahmen gegen Halluzinationen sind keine einmalige Aufgabe. Sie müssen im laufenden Betrieb regelmäßig überprüft und weiterentwickelt werden. Das entspricht der Produktentwicklung und der Prozessverbesserung. Statt von Anfang an ein perfektes System anzustreben, ist es in der Praxis oft sinnvoller, klein zu beginnen und die Regeln anhand der tatsächlichen Nutzung weiterzuentwickeln.

Worauf beim Einsatz von Kanata zu achten ist

Worauf beim Einsatz von Kanata zu achten ist

Für den betrieblichen Einsatz generativer KI stehen verschiedene Optionen zur Verfügung, darunter allgemeine Chat-Tools, interne KI-Plattformen, Integrationen in Groupware und Werkzeuge für die Wissenssuche. Unabhängig von der Wahl sollte zuerst feststehen, für welche Tätigkeit das Tool eingesetzt wird, welche Informationen es verarbeitet und wer die Ausgabe prüft.

Kanata ist eine Plattform zur Arbeitsunterstützung, die KI-Chat, KI-Zusammenfassung und E-Learning an einem Ort bündelt. Nutzende, Daten und Anwendungen lassen sich nach Projekten organisieren. Die Plattform kann für Fragen an die KI, Texterstellung, Ideenfindung, Recherche, die Zusammenfassung von Besprechungsaufzeichnungen und Notizen sowie die Bereitstellung videobasierter Lerninhalte eingesetzt werden.

Unternehmen können beispielsweise Projekte nach Abteilungen trennen, häufig verwendete Anweisungen als Prompts speichern und interne Unterlagen als Trainingsdaten organisieren. Dadurch lässt sich eine KI-Nutzung fördern, die weniger stark von den individuellen Vorgehensweisen einzelner Personen abhängt. Die Eigenschaften von Kanata kommen insbesondere bei Tätigkeiten wie Protokollzusammenfassungen, internen FAQs, Schulungsinhalten und Entwürfen für Vertriebsunterlagen zum Tragen, wenn Arbeitsprozess und Prüfablauf gemeinsam gestaltet werden sollen.

Der Einsatz von Kanata bedeutet jedoch nicht, dass Halluzinationen vollständig verschwinden.

KI-Chat und KI-Zusammenfassung helfen bei der Erstellung von Entwürfen sowie bei der Strukturierung von Informationen und Fragestellungen. Ob die Ausgabe geschäftlich verwendet werden kann, muss jedoch ein Mensch entscheiden. Besonders bei externen Dokumenten sowie bei Zahlen, Zitaten, Richtlinien, Verträgen, rechtlichen Fragen und IT-Sicherheit darf die KI-Ausgabe nicht unverändert übernommen werden.

Auch wenn der Autor Unternehmen bei der KI-Einführung unterstützt, endet die Arbeit nicht mit der Auswahl des Tools. Für welche Tätigkeit wird es eingesetzt? Wer prüft die Ergebnisse? Welche Informationen dürfen eingegeben werden? Wie werden Ausgaben weiterverwendet? Erst wenn auch diese Punkte geklärt und in Prozesse übersetzt sind, kann KI dauerhaft in den Fachabteilungen eingesetzt werden.

Direkt einsetzbare Prompts gegen KI-Halluzinationen

Direkt einsetzbare Prompts gegen KI-Halluzinationen

Die folgenden Prompt-Beispiele lassen sich leicht im Arbeitsalltag verwenden. Passen Sie sie an die internen Richtlinien und Prüfabläufe Ihres Unternehmens an.

Wenn falsche Antworten vermieden werden sollen

Code
Beantworten Sie die folgende Frage.

# Wichtige Regeln
- Ergänzen Sie fehlende Informationen nicht durch Vermutungen, sondern schreiben Sie „unbekannt“ oder „zu prüfen“.
- Fügen Sie keine Informationen hinzu, die nicht in der Unterlage stehen.
- Verwenden Sie für Zahlen, Daten und Eigennamen nur Angaben aus dem Eingabetext.
- Trennen Sie Tatsachen und Vermutungen.

# Frage
{Frage}

Wenn die Antwort auf internen Richtlinien beruhen soll

Code
Sie sind eine Assistenz, die auf Grundlage interner Richtlinien antwortet.

# Regeln für die Antwort
- Antworten Sie nur mit Inhalten, die ausdrücklich in den Richtlinien stehen.
- Nennen Sie die zugrunde liegende Richtlinie, das Kapitel und den Abschnitt.
- Wenn sich aus den Richtlinien keine Grundlage ergibt, schreiben Sie: „Da sich aus den Richtlinien keine Grundlage ergibt, ist eine Rückfrage bei der zuständigen Abteilung erforderlich.“
- Ergänzen Sie keine allgemeinen Informationen.

# Frage
{Frage einer beschäftigten Person}

Wenn eine Grundlage für eine Marktanalyse erstellt werden soll

Code
Erstellen Sie eine Grundlage für die Recherche zum folgenden Thema.

# Thema
{Recherchethema}

# Gewünschte Ausgabe
1. Zu prüfende Fragestellungen
2. Mögliche Primärquellen
3. Definitionen, die bei der Recherche zu beachten sind
4. Annahmen, die für die Prüfung von Zahlen erforderlich sind
5. Aussagen, die noch nicht getroffen werden dürfen

# Hinweis
Treffen Sie keine konkreten Aussagen zu Marktgröße oder Wachstumsrate.
Kennzeichnen Sie Stellen, an denen Zahlen erforderlich sind, mit „Quelle erforderlich“.

Wenn Fehler in einer Protokollzusammenfassung verringert werden sollen

Code
Bereiten Sie die folgenden Besprechungsnotizen als Protokoll für den internen Austausch auf.

# Ausgabeformat
- Zweck der Besprechung
- Entscheidungen
- Offene Punkte
- Aufgaben
- Punkte für die nächste Prüfung

# Hinweise
- Ergänzen Sie keine Entscheidungen, die nicht in den Notizen stehen.
- Schreiben Sie bei Aufgaben ohne festgelegte Zuständigkeit „Zuständigkeit offen“.
- Kennzeichnen Sie unsichere Inhalte ausdrücklich mit „zu prüfen“.
- Unterstellen Sie keine Absicht hinter einer Aussage.

# Besprechungsnotizen
{Besprechungsnotizen}

Wenn ein externes Dokument geprüft werden soll

Code
Prüfen Sie den folgenden Text vor der externen Weitergabe.

# Prüfpunkte
1. Werden Tatsachen und Vermutungen vermischt?
2. Müssen Zahlen, Daten oder Eigennamen geprüft werden?
3. Enthält der Text übermäßig eindeutige Aussagen?
4. Enthält er Formulierungen, die wie eine Zusage an den Kunden wirken?
5. Gibt es Stellen, die Rechtsabteilung, IT oder Führungskraft prüfen müssen?

# Ausgabeformat
Ordnen Sie die Ergebnisse in einer Tabelle den folgenden drei Kategorien zu:
- kein Problem
- Änderung erforderlich
- Prüfung erforderlich

# Text
{zu prüfender Text}

Fazit: Die Nutzung unter der Annahme falscher KI-Antworten gestalten

Die Nutzung unter der Annahme falscher KI-Antworten gestalten

Eine KI-Halluzination liegt vor, wenn generative KI Inhalte ausgibt, die nicht den Tatsachen entsprechen, dabei aber plausibel wirken.

Im Arbeitsalltag ist nicht nur der Fehler der KI selbst problematisch. Entscheidend ist, ob er unbemerkt in externe Dokumente, interne Richtlinien, Verträge, Unterlagen mit Zahlen oder die Kundenkommunikation übernommen wird.

Für einen sicheren Einsatz generativer KI sind deshalb folgende Grundsätze unverzichtbar:

  • KI nicht als Werkzeug für garantiert richtige Antworten behandeln
  • KI für Entwürfe, Zusammenfassungen und die Strukturierung von Fragestellungen einsetzen
  • Zahlen, Daten und Eigennamen anhand der Originalquelle prüfen
  • prüfen, ob genannte Quellen tatsächlich existieren
  • externe Dokumente vor der Weitergabe durch Menschen prüfen lassen
  • Bereiche mit hohem Risiko durch Fachabteilungen prüfen lassen
  • interne Regeln und Schulungen regelmäßig überarbeiten

Bei der KI-Nutzung besteht nicht nur die Wahl zwischen einem Verbot und uneingeschränkter Nutzung. Wenn unter der Annahme möglicher Fehler festgelegt wird, wo Menschen prüfen, lassen sich Geschwindigkeit und Sicherheit im Arbeitsalltag leichter miteinander verbinden.

Nach Auffassung des Autors ist es für Unternehmen sinnvoller, KI nicht als „allwissende Antwortmaschine“, sondern als leistungsfähiges Werkzeug zu behandeln, dessen Ergebnisse geprüft werden müssen. KI kann Menschen Arbeit abnehmen. Entscheidungen, für die Menschen Verantwortung tragen müssen, dürfen jedoch nicht abgegeben werden. Diese Abgrenzung dürfte zu einer zentralen praktischen Fähigkeit bei der künftigen KI-Nutzung werden.

Fragen und Antworten: Häufige Fragen zu KI-Halluzinationen und falschen KI-Antworten

Was ist eine KI-Halluzination?

Eine KI-Halluzination liegt vor, wenn generative KI Inhalte, die nicht den Tatsachen entsprechen, als plausibel klingenden Text ausgibt. Dazu gehören natürlich formulierte Angaben zu nicht existierenden Regelungen, ungeprüften Zahlen und erfundenen Quellen.

Lassen sich falsche KI-Antworten vollständig verhindern?

Eine betriebliche Nutzung unter der Annahme, Fehler ließen sich vollständig verhindern, ist nicht realistisch. Entscheidend ist, unter der Annahme möglicher Fehler Verfahren für Quellenprüfung, Review, zulässige Eingaben und die Einbeziehung von Fachabteilungen festzulegen.

Welche Punkte müssen beim betrieblichen KI-Einsatz besonders geprüft werden?

Zahlen, Daten, Eigennamen, Quellen, Vertragsbedingungen, interne Richtlinien und Zusagen an Kunden müssen immer geprüft werden. Fehler bei diesen Angaben können interne und externe Entscheidungen sowie das Vertrauen beeinflussen.

Ist eine KI-Antwort sicher, wenn die KI Quellen nennt?

Quellen angeben zu lassen ist hilfreich, reicht allein aber nicht aus. Menschen müssen prüfen, ob die Quelle existiert, mit der Aussage übereinstimmt und aktuell ist.

Verschwinden Halluzinationen beim Einsatz von Kanata?

Kanata ist eine Plattform zur Arbeitsunterstützung mit KI-Chat, KI-Zusammenfassung, E-Learning und projektbasierter Informationsorganisation. Da dabei KI eingesetzt wird, müssen die Ausgaben dennoch geprüft werden. Der Umgang mit Halluzinationen erfordert neben den Funktionen des Tools auch menschliche Reviews und interne Regeln.

Diesen Artikel teilen