Gkc24-Session: Zwei Jahre nach GPT: Praxisbeispiele für KI im Wissensmanagement

Zwei Jahre nach GPT: Praxisbeispiele für KI im Wissensmanagement
Art	Barcamp-Session
KnowledgeCamp	KnowledgeCamp 2024
Sessiongebende	Kathrin Maria Ziebell
Datum	11.10.2024
Zeit	10:00 bis 10:45 Uhr
Aufzeichnung	YouTube
KI-Unterstützung	GPT-6.1 Sol

Aus dem Veranstaltungsprogramm

Zwei Jahre nach dem Durchbruch von GPT und der breiten Diskussion um Künstliche Intelligenz stehen viele Unternehmen und Behörden noch vor der Herausforderung, KI effektiv in ihre Wissensmanagement-Prozesse zu integrieren. In dieser Session stelle ich praxisnahe Beispiele vor, die zeigen, wo Stolpersteine liegen und wie KI erfolgreich eingesetzt werden kann: 1.) KI-Chat in der Politik: Wie das Bundesinnenministerium mit den Informationen aus "Kleine Anfragen" chattet 2.) KI-Integration in Microsoft Teams: Wie eine übergreifende Suchfunktion in Teams das Tool fit für Recherchen macht Ziel der Session ist es, Einblicke in konkrete Anwendungsfälle zu geben, von denen die Teilnehmer lernen und die sie auf ihre eigenen Organisationen übertragen können. Das Format ist eine Kombination aus Impuls-Vortrag und Diskussion.

Video laden

YouTube

YouTube sammelt möglicherweise persönliche Daten. Datenschutzrichtlinie

Fortfahren Ausblenden

Disclaimer: Diese Seite ist KI-generiert, basierend auf einer KI-Zusammenfassung des Transkripts vom vorstehenden Youtube-Video!

Überblick

Kathrin Maria Ziebell erläutert, wie generative KI mit organisationsinternen Daten verbunden werden kann und welche Voraussetzungen dafür im Wissensmanagement bestehen. An einem nachgebildeten Anwendungsszenario zu Kleinen Anfragen zeigt sie semantische Suche, natürlichsprachige Antworten und die Prüfung von Quellen. Im Mittelpunkt stehen außerdem Zugriffsrechte, die Qualität der Wissensbasis und realistische Erwartungen. Die Diskussion verdeutlicht: Eine belegte Antwort muss nicht automatisch die gestellte Frage treffen.

Gliederung und Aufbau der Session

Die Session verbindet einen Impulsvortrag, eine Live-Demonstration und eine abschließende Diskussion. Fragen aus dem online und vor Ort teilnehmenden Publikum werden bereits während des Vortrags aufgegriffen.

Anders als angekündigt behandelt Ziebell nur ein Kundenprojekt. Das zweite Projekt habe sich in Richtung Bilderkennung entwickelt und sei deshalb für diese Session weniger relevant. Auf eine Einführung in Sprachmodelle und Retrieval Augmented Generation folgt das Beispiel des Bundesinnenministeriums. Anschließend unterscheidet die Referentin erfolgreiche Einsatzfelder von aufwendigeren oder ungeeigneten Aufgaben.

Ziebell stellt ihren Hintergrund in Linguistik, Informatik und Pädagogik sowie ihre Erfahrung im E-Learning vor. Bei Interface projects arbeitet sie in Beratung und Vertrieb. Das Dresdner Unternehmen beschreibt sie als Anbieter interner Suchlösungen, der aus der Schnittstellenentwicklung hervorgegangen ist.

Interne Suche als Grundlage für KI-Antworten

Die vorgestellte Plattform ist nach Ziebells Darstellung weder ein Wiki noch ein Content-Management-System. Sie greift auf bestehende Drittsysteme zu und führt deren Informationen in einer zentralen Suche zusammen. Dazu können beispielsweise Wikis, Confluence, Webseiten, Fileserver und E-Mail-Anhänge gehören. Die Inhalte bleiben in ihren ursprünglichen Systemen; die Suche berücksichtigt deren Zugriffsberechtigungen.

Generative KI erweitert diesen Ansatz: Statt ausschließlich Stichwörter einzugeben, können Nutzende Fragen stellen und mit den erschlossenen Daten chatten. Ziebell grenzt dies von älteren, deterministischen Chatbots ab, deren Antworten über vorgegebene Abläufe und Schlüsselwörter gesteuert wurden.

Die vorgestellte RAG-Lösung kombiniert zwei Komponenten:

• Eigene, kleinere KI-Modelle übernehmen die semantische Suche und die Relevanzbewertung.
• Ein angebundenes Large Language Model erzeugt aus ausgewählten Treffern eine natürlichsprachige Antwort.

Die Kunden können das Sprachmodell auswählen; genannt werden Luminous von Aleph Alpha und Azure OpenAI. Nicht der gesamte Dokumentenbestand wird an das Sprachmodell übergeben, sondern beispielsweise die fünf oder zehn besten Treffer.

Ziebells zentrale These lautet, dass belastbare RAG-Anwendungen eine leistungsfähige Enterprise Search benötigen. Relevantes Wissen könne über viele Systeme verteilt sein. Eine Beschränkung auf Microsoft-Inhalte, wie sie sie für den Standardumfang von Copilot beschreibt, reiche aus ihrer Sicht nicht aus. Zugleich müsse die Datenbasis konfiguriert und kuratiert werden: Nicht alle Informationen sollten gleich behandelt werden.

Praxisbeispiel: Kleine Anfragen recherchieren

Das Bundesinnenministerium nutzt laut Ziebell den Integrator bereits seit der Zeit vor der KI-Erweiterung. Als Anwendungsszenario stellt sie die Recherche in Kleinen Anfragen und zugehörigen Antworten vor.

Sie beschreibt diese Anfragen als anspruchsvolle schriftliche Vorgänge, deren Beantwortung unter Zeitdruck erfolgt. Trotz ihres Namens könnten sie bis zu 120 Einzelfragen zuzüglich Unterfragen enthalten. Ähnliche oder wiederholte Fragen machten außerdem die konsistente Wiederverwendung früherer Antworten wichtig.

Die Dokumente bewertet Ziebell als besonders geeignete Grundlage, weil konkrete Fragen und schriftliche Antworten vorliegen. Den von ihr dargestellten Anstieg der Anfragen verbindet sie mit wachsendem Recherchebedarf. Ihre Erklärungen dafür, darunter mehr Fragestellende und komplexe politische Themen, kennzeichnet sie ausdrücklich als persönliche Vermutungen.

Die Live-Demonstration findet nicht im produktiven BMI-System statt, sondern auf einem nachgebildeten Testserver mit älteren Daten. Welche Dokumente dort gegenüber dem tatsächlichen BMI-System zusätzlich enthalten sind, kann die Referentin auf Nachfrage nicht sicher beantworten. Damit bleibt die Übertragbarkeit einzelner Datenbestände offen.

Live-Demonstration: Antworten und Quellen prüfen

Die Oberfläche bietet Filter für Wahlperioden, Vorgangstypen, Initiativen, Bearbeitungsstände und Dokumententypen. Ergänzend erscheinen eine Trefferliste, ein Chatbereich und eine grafische Darstellung thematischer Zusammenhänge. Suchfragen lassen sich eintippen oder einsprechen.

Ziebell demonstriert dies mit einer Frage nach erwarteten Steigerungen bei E-Autos. Das System liefert eine Antwort mit Zahlen zu batterieelektrischen Pkw und Nutzfahrzeugen. Entscheidend ist für sie die Herkunft: Die Antwort werde aus dem erschlossenen Dokumentenbestand erzeugt, nicht aus einer zusätzlichen Internetrecherche.

Zur Kontrolle können Nutzende die herangezogenen Quellen öffnen. Eine Vorschau hebt relevante Textstellen hervor. Dadurch lässt sich prüfen, ob der Kontext passt und die Antwort vollständig ist. In der praktischen Anwendung führen Links zum Originaldokument; Metadaten zeigen unter anderem Ablageort, Erstellungszeit und Urheberschaft.

Ein weiterer Anwendungsfall ist das Chatten mit einem einzelnen Dokument. Die Plattform unterstützt laut Ziebell zahlreiche Formate, darunter PDF, PowerPoint und Excel. Schwierigkeiten nennt sie bei dreidimensionalen CAD-Formaten. Sprachübergreifende Nutzung hängt vom angebundenen Sprachmodell ab. Für selbst gehostete kleinere Modelle beschreibt sie einen Zielkonflikt zwischen Sprachumfang und Hostingaufwand.

Semantische Ähnlichkeit und Modellpflege

Eine hohe Trefferzahl ist für Ziebell nicht grundsätzlich problematisch. Semantische Suche berücksichtige auch verwandte Begriffe, etwa E-Mobilität neben E-Auto. Entscheidend sei, dass die passendsten Dokumente oben stehen.

Ähnliche Dokumente werden nach ihrer Erklärung nicht allein über Schlagwörter ermittelt. Die Daten werden vektorisiert und in einem mehr als 300-dimensionalen Raum repräsentiert. Die gezeigte Grafik vereinfacht diese Beziehungen auf zwei Dimensionen. Inhaltliche Nähe werde unter anderem anhand von Begriffen und ihrem gemeinsamen Auftreten erkannt.

Als Beispiel für die Bedeutung des Kontexts nennt sie das Wort „Bank“: Für einen Sitzmöbelhersteller seien andere Dokumente relevant als für eine Recherche zu Zinsen. Eine Bewertungsskala hilft zusätzlich bei der Einordnung der Treffer. Eine Übereinstimmung oberhalb von 70 Prozent bezeichnet sie als interne Richtschnur, nicht als allgemeine Qualitätsgarantie.

Auch die Modelle müssen gepflegt werden. Neue Sprachmodellversionen erfordern eine technische Anbindung und können das Antwortverhalten sichtbar verändern. Die kleineren Suchmodelle würden kundenspezifisch trainiert und sollten nach einigen Jahren nachtrainiert werden, weil sich Sprache und Begriffskontexte verändern.

Zugriffsrechte und bisher verborgene Probleme

Die Plattform übernimmt laut Ziebell Berechtigungen auf Dokument- beziehungsweise Objektebene über Access Control Lists. Bei jedem Aufruf werde geprüft, ob die betreffende Person weiterhin Zugriff besitzt. Änderungen, etwa nach einem Abteilungswechsel, würden nachgezogen.

Am Beispiel von E-Mails erläutert sie: Wer keine Berechtigung besitzt, soll weder die Nachricht noch Hinweise auf ihre Existenz oder ihren Ablageort sehen. Auch Änderungen an Inhalten werden in der Suchdatenbank aktualisiert.

Ein wichtiger Stolperstein liegt nach ihren Projekterfahrungen in bereits fehlerhaften Berechtigungen der Quellsysteme. Durch die komfortable Suche werden Informationen plötzlich auffindbar, die zuvor in schwer zugänglichen Unterordnern lagen. Die KI-Suche erzeugt in diesem Fall nicht den ursprünglichen Berechtigungsfehler, macht ihn aber sichtbar. Die anschließende Klärung kann Projekte verzögern.

Nutzen und Grenzen im Arbeitsalltag

Die folgenden Bewertungen bezieht Ziebell ausdrücklich auf zahlreiche Projekte und Interessentengespräche, nicht speziell auf das BMI-Beispiel.

Ihre wichtigste Erkenntnis sind überhöhte Erwartungen: Die Installation eines Werkzeugs führe nicht automatisch zu vollständigen und fehlerfreien Antworten. Veraltete, falsche oder widersprüchliche Daten blieben Fehlerquellen. Auch gute Konfiguration und trainierte Modelle könnten die Fehlerquote nicht auf null senken.

Positive Erfahrungen sieht sie bei Einsteigenden und Fachleuten. Zusammenfassungen und einfachere Sprache erleichtern den Zugang zu unbekannten Wissensgebieten. Fachleute profitieren von Unterstützung bei wiederkehrenden Aufgaben. Eine fachsprachlich detaillierte Antwort setzt allerdings entsprechend detaillierte Inhalte voraus; eine bloße Aufforderung zur technischen Formulierung ersetzt diese Wissensgrundlage nicht.

Für die Aufgabenauswahl unterscheidet sie:

• Gut dokumentierte Prozesse, Inhalte und Projekte lassen sich nach ihren Erfahrungen zuverlässig erschließen, beispielsweise Reisekostenabrechnungen oder Freigabeentscheidungen.
• Tabellen benötigen häufig zusätzliche Vorbereitung, wenn Farben, Haken oder andere Zeichen eine Bedeutung tragen.
• Zahlenbezogene Business-Intelligence-Fragen erfordern gegebenenfalls zusätzliche Werkzeuge oder eine textuelle Aufbereitung.
• Für komplexe mathematische Berechnungen rät sie vom Einsatz eines LLM ab: „KI ist kein Taschenrechner.“

Auch grundlegend neue, disruptive Kreativleistungen sollten nach ihrer Einschätzung nicht selbstverständlich erwartet werden. Ihre Begründung ist die Abhängigkeit der Modelle von bereits vorhandenen menschlichen Erzeugnissen.

Diskussion: Wissenslücken und Antwortqualität

In der Abschlussdiskussion fragt ein Teilnehmer nach der Bereitschaft von Organisationen, ihre Informationsgrundlage zu verbessern. Nicht dokumentiertes, implizites Wissen könne schließlich nicht gefunden werden.

Ziebell berichtet von einer solchen Bereitschaft. Suchanfragen machten weiße Flecken sichtbar; engagierte Stakeholder könnten daraufhin die Erstellung fehlender Inhalte anstoßen. Dafür sei kein einheitliches Zielformat erforderlich: Auch E-Mails oder Word-Dokumente könnten indexiert werden. Der Integrator selbst sei jedoch kein Werkzeug, um implizites Wissen explizit zu machen. Anonymisierte Suchstatistiken könnten Wissensmanagenden zusätzlichen Handlungsbedarf zeigen.

Auf die Frage nach Halluzinationen erklärt Ziebell, das System sei streng darauf konfiguriert, bei unzureichender Informationslage keine Antwort zu erzeugen. Die gewünschte Absicherung lasse sich über die Anzahl stützender Quellen anpassen. Dabei könne auch eine vorhandene Einzelinformation als unzureichend bewertet werden. Diese Darstellung ergänzt, ersetzt aber nicht ihre grundsätzliche Aussage, dass KI Fehler machen kann.

Ein Teilnehmer hinterfragt schließlich die E-Auto-Demonstration: Die ausgegebene Aussage über benötigte Fahrzeuge beantworte möglicherweise nicht die Frage nach einer erwarteten Steigerung. Ziebell erkennt den Einwand an. Ob bereits die ministerielle Quelle diese Abweichung enthalte, bleibt ungeklärt; sie kündigt eine Prüfung an.

Damit endet die Session bei einer wesentlichen Unterscheidung: Quellenbezug allein genügt nicht. Nutzende müssen auch prüfen, ob die Antwort tatsächlich zur Frage passt. Ziebell bedankt sich für den Austausch und lädt zu weiteren Gesprächen mit ihr und ihrer Kollegin vor Ort ein.