AI & RAG

KI und RAG

Bevor die KI antwortet, liefert RAG die Grundlage aus Ihrem internen Wissen.

RAG (Retrieval-Augmented Generation) ist ein Verfahren, bei dem die KI vor der Antwort Ihre internen Dokumente durchsucht und das Gefundene als Grundlage ihrer Antwort erhält. In Kanata wird internes Wissen aus Ihrer Arbeit, etwa Besprechungsprotokolle und Schulungsmaterialien, in der Library gespeichert und mit Ordnern und Leserechten verwaltet. Der KI-Agent antwortet und erledigt Aufgaben auf Grundlage der Dokumente in der Library.

Video: KI und RAG

Eine Einführung in die Funktionsweise von RAG, warum interne RAG-Projekte scheitern und wie Sie RAG in Kanata aufbauen.

Die gezeigten Unternehmen und Personen sind fiktiv.

Roles

Wie KI und RAG zusammenhängen

Generative KI antwortet mit Allgemeinwissen bis zum Zeitpunkt ihres Trainings. Ihre internen Richtlinien oder die Entscheidungen aus dem Meeting der letzten Woche kennt sie nicht. RAG (Retrieval-Augmented Generation) ist ein Verfahren, bei dem die KI vor der Antwort Ihre internen Dokumente durchsucht und das Gefundene als Grundlage erhält. Hier sind die Rollen von KI und RAG und wie Kanata sie umsetzt.

ElementRolleIn Kanata
KI-Modell (generative KI)Versteht Fragen und formuliert Antworten und TexteWahl zwischen GPT, Claude und Gemini
RAG (Retrieval-Augmented Generation)Durchsucht interne Dokumente und gibt das Gefundene der KI als GrundlageGreift im Rahmen der Rechte auf das in der Library gespeicherte interne Wissen zu
Internes WissenDie Informationen, auf denen Antworten und Arbeit beruhenProtokolle, Schulungsmaterialien, interne Richtlinien und Dokumente in der Library

Generative KI allein vs. kombiniert mit RAG

AspektGenerative KI alleinKombiniert mit RAG
Grundlage der AntwortenAllgemeinwissen bis zum TrainingInterne Dokumente und Allgemeinwissen
Aktuelle interne InformationenNicht berücksichtigtBerücksichtigt, sobald Dokumente aktualisiert werden – ohne Neutraining des Modells
QuellenangabeSchwierigNamen der genutzten Dokumente können angezeigt werden
Neutraining des Modells—Nicht nötig

Why it fails

Drei Gründe, warum internes RAG scheitert

Verstreute Dokumente und veraltete Versionen

Die KI antwortet womöglich auf Basis veralteter Informationen.

Schlecht durchdachte Leserechte

Inhalte aus Dokumenten, die die Person nicht sehen darf, können in Antworten auftauchen.

Kein Verbesserungsmechanismus

Die Antwortqualität steigt nicht, und das Tool wird nicht mehr genutzt.

Kanata begegnet diesen Problemen mit Versions- und Quellenverwaltung in der Library, Rechten je Projekt und Ordner sowie einem Mechanismus, der Protokolle und von der KI erstellte Dokumente in der Library sammelt.

How it works

So wird RAG in Kanata aufgebaut

Ihr internes Wissen wird zu einer Datenbank, die automatisch mit der KI zusammenarbeitet.

Internes Wissen aus Ihrer Arbeit, etwa Protokolle und Schulungsmaterialien, sammelt sich in der Library, und Sie legen für jeden KI-Agenten Referenzordner und KI-Modell fest. Sie prüfen die Ergebnisse von Antworten und Aktionen und aktualisieren oder ergänzen Dokumente.

01

Daten sammeln und ordnen

Collect & Organize

Protokolle der KI-Aufzeichnung, E-Learning-Materialien und Daten aus AppStudio-Apps werden im Arbeitsalltag in der Library gespeichert. Interne Richtlinien und Abläufe werden als Dokumente erstellt und mit Leserechten und Versionen je Ordner verwaltet.

Meeting-Aufnahmen und ProtokolleSchulungsvideos und -materialienDokumente und PDFsLeserechte und Versionen je Ordner

02

Apps und KI verbinden

Connect Apps & AI

Sobald Sie die Ordner für jeden KI-Agenten festlegen, werden deren Inhalte zu möglichen Quellen. Der KI-Agent antwortet mit Dokumenten innerhalb der Leserechte der Person und bedient nach Planprüfung je nach Autonomiestufe die Apps und Studio-Funktionen, die seine Ausführungsrechte erlauben.

Ordner, auf die die KI zugreiftApps und Studio bedienenWahl zwischen GPT, Claude und GeminiQuellen auf Leserechte beschränkt

03

Daten verbessern

Improve

Prüfen Sie Antworten und Quellen anhand häufiger interner Fragen, aktualisieren Sie veraltete Dokumente und ergänzen Sie fehlende. Auch vom KI-Agenten erstellte Protokolle und Dokumente sammeln sich in der Library.

Antworten und Quellen prüfenVeraltete Dokumente aktualisieren, fehlende ergänzenProtokolle und KI-Dokumente sammeln

Nutzungsergebnisse werden zur Grundlage der nächsten Antwort

How to build

So bauen Sie es in Kanata auf

Die Schritte, um mit einem KI-Agenten einen Assistenten zu erstellen, der auf Basis internen Wissens antwortet. Alles erfolgt über Einstellungen auf dem Bildschirm – ohne Datenbankdesign oder Programmierung.

  1. Dokumente registrieren
    Erstellen Sie Dokumente in der Library, um Unterlagen zu registrieren. Meeting-Aufzeichnungen kommen aus der KI-Aufzeichnung, Schulungsinhalte aus dem E-Learning.
  2. Ordnen und Rechte festlegen
    Ordnen Sie Dokumente in Ordnern und legen Sie fest, wer sie sehen darf. Interne Richtlinien lassen sich als Dokumente aus Deckblatt, Kategorien und Seiten versionieren.
  3. KI-Agenten erstellen
    Erstellen Sie einen KI-Agenten und legen Sie Name, Symbol und benutzerdefinierte Anweisungen zu Rolle und Antwortstil fest.
  4. Referenzbereich und Ausführungsrechte festlegen
    Legen Sie Referenzordner, Ausführungsrechte (nur recherchieren, bis Dokumente erstellen, bis Apps bedienen), Autonomiestufe und Modell fest.
  5. Antworten prüfen und verbessern
    Stellen Sie häufige interne Fragen im Chat und prüfen Sie die Antworten. Aktualisieren Sie veraltete Dokumente und sammeln Sie weiter Protokolle und KI-Dokumente in der Library.

Reference scope

Den Referenzbereich festlegen

Legen Sie je KI-Agent fest, worauf die KI ihre Antworten stützen darf.

EinstellungAufgabeWo einstellen
ReferenzordnerDie Ordner, auf die sich der KI-Agent stützt. Alle Inhalte darin kommen in Frage – Dateien müssen nicht einzeln gewählt werdenEinstellungen des KI-Agenten
LeserechteNur Dokumente, die die Person im Gespräch sehen darf, dienen als GrundlageOrdnerrechte
WebsucheLiest externe Seiten. Je Agent wählbarAusführungsrechte des KI-Agenten
Benutzerdefinierte AnweisungenLegen Sie fest, wie auf Fragen ohne Abdeckung durch die Dokumente reagiert wird und was nicht beantwortet werden soll (verbotene Themen) (bis 8.000 Zeichen)Einstellungen des KI-Agenten

Settings

Einstellungen des KI-Agenten

Beschreiben Sie für jeden KI-Agenten Rolle und Antwortstil in den benutzerdefinierten Anweisungen und legen Sie Referenzordner und Ausführungsrechte fest. Sie können Agenten je Abteilung erstellen, etwa einen „Verwaltungs-Helpdesk“ oder eine „Vertriebsunterstützung“, und im Projekt teilen.

EinstellungWas Sie festlegen können
Name und SymbolName und Symbol des Agenten (Kombination aus Motiv und Hintergrundfarbe)
Benutzerdefinierte AnweisungenBeschreiben Sie Rolle, Antwortstil und zu befolgende Regeln in einem Text (bis 8.000 Zeichen). Zum Beispiel: „Antworte als Lotse für die interne Schulung“, „Zeige immer die Quelldokumente“, „Beantworte keine Fragen zu Leistungsbeurteilungen“
ReferenzordnerDie Ordner, auf die sich der Agent stützt. Genutzt wird nur, was die anfragende Person sehen darf
AusführungsrechteNur recherchieren, bis Dokumente erstellen, bis Apps bedienen oder detaillierte Einstellungen je Tool
AutonomiestufeNur vorschlagen, Plan prüfen und ausführen oder automatisch ausführen (automatische Ausführung nur durch Projekt-Admins wählbar)
ModelleDas Standardmodell im Chat und die verfügbaren Modelle

Registrieren Sie häufig genutzte Anweisungen als Prompts in der Library und teilen Sie sie im Projekt.

Data

Daten, die Sie einbinden können

ArtBeispieleRegistrierung in der Library
DokumenteInterne Richtlinien, Handbücher, FAQsAls Dokument erstellen
MeetingsAufnahmen aus Zoom, Google Meet und Microsoft Teams, ProtokolleVon der KI-Aufzeichnung erstellt
SchulungSchulungsvideos und -materialienIm E-Learning erstellt
App-DatenDatensätze wie Tagesberichte und VertriebschancenIn mit AppStudio erstellten Apps erfasst

Dateitypen und Größenlimits unterscheiden sich je Funktion (z. B. E-Learning-Videos bis 2 GB).

Tips

Praxistipps für genaueres RAG

  1. Ein Thema pro Dokument
    Lange Dokumente in Kapitel zu teilen hilft der KI, die richtigen Stellen zu finden.
  2. Veraltete Versionen aufräumen
    Verwalten Sie interne Richtlinien mit Dokumentversionen und machen Sie die aktuelle Version eindeutig.
  3. Referenzordner je Agent eingrenzen
    Je mehr fachfremde Dokumente enthalten sind, desto stärker schwanken die Antworten.
  4. Antwortstil in den Anweisungen festlegen
    Legen Sie je Agent fest, wie auf Fragen ohne Abdeckung durch die Dokumente reagiert wird und in welchem Format geantwortet wird.
  5. Mit häufigen Fragen testen
    Prüfen Sie Antworten und Quellen anhand echter Anfragen und ergänzen Sie fehlende Dokumente.
  6. Modell nach Aufgabe wählen
    Nutzen Sie ein leichtes Modell für alltägliche Fragen und ein leistungsstarkes für wichtige Analysen. Den Credit-Verbrauchsfaktor sehen Sie bei der Auswahl.

Security

Sicherheit und Rechte

Use cases

Wo RAG zum Einsatz kommt

HR- und Verwaltungsanfragen

Gibt erste Antworten auf Basis von Arbeitsordnung und internen Richtlinien; Fragen ohne Grundlage übernimmt das Team.

Anleitung zu IT-Abläufen

Führt anhand des Handbuchs jedes Systems durch Einrichtung und Anträge.

Vertriebsangebote vorbereiten

Ordnet Gliederung und Prüfpunkte eines Angebots anhand früherer Angebote und Protokolle von Kundengesprächen.

Kundensupport

Entwirft Antworten auf Basis von FAQs und Produktdokumenten, die das Team vor dem Versand prüft.

FAQ

FAQ

QWas ist der Unterschied zwischen generativer KI und RAG?

Generative KI (große Sprachmodelle) ist KI, die Fragen versteht und Antworten und Texte formuliert. RAG ist ein Verfahren, bei dem die KI vor der Antwort interne Dokumente durchsucht und das Gefundene als Grundlage erhält. In Kanata durchsucht RAG im Rahmen der Rechte das in der Library gespeicherte interne Wissen, und das von Ihnen gewählte KI-Modell aus GPT, Claude und Gemini antwortet darauf basierend.

QWas ist der Unterschied zwischen RAG und Fine-Tuning?

Beim Fine-Tuning wird das KI-Modell selbst nachtrainiert. RAG lässt das Modell unverändert und durchsucht beim Antworten interne Dokumente als Grundlage. Da Aktualisierungen ohne Neutraining in Antworten einfließen und Dokumentnamen als Quellen angezeigt werden können, eignet sich RAG besonders für die Nutzung internen Wissens. Kanata nutzt internes Wissen nach dem RAG-Ansatz.

QKönnen wir vorhandene Protokolle und Dokumente nutzen?

Ja. Vorhandene Unterlagen lassen sich als Dokumente erstellen und in der Library registrieren. Mit der KI-Aufzeichnung erstellte Protokolle dienen dem KI-Agenten direkt als Grundlage.

QLässt sich trennen, worauf die Agenten der einzelnen Abteilungen zugreifen?

Legen Sie Rechte je Projekt und Ordner sowie die Referenzordner je KI-Agent fest. Ein HR-Agent kann etwa nur auf HR-Richtlinien zugreifen, ein Vertriebsagent nur auf Angebote und Protokolle.

QWelche KI-Modelle sind verfügbar?

Sie können zwischen GPT von OpenAI, Claude von Anthropic und Gemini von Google wählen. Auch beim selben Agenten können Sie im DM-Eingabefeld je Frage zwischen den für diesen Agenten erlaubten Modellen wechseln.

QIst es sicher, vertrauliche Dokumente zu registrieren?

Kanata verwendet Ihre Eingabedaten nicht zum Training von KI-Modellen. Leserechte für Dokumente und der Referenzbereich der KI werden über Ordnerrechte und Agenteneinstellungen getrennt. Details finden Sie unter Sicherheit.

Zuletzt aktualisiert: