Gkc24-Session: Wissensmanagement mit HorváthGPT – Rückblick und Ausblick

Wissensmanagement mit HorváthGPT – Rückblick und Ausblick
Art	Barcamp-Session
KnowledgeCamp	KnowledgeCamp 2024
Sessiongebende	Michael Hertlein, Cagdas Davulcu
Datum	11.10.2024
Zeit	13:00 bis 13:45 Uhr
Aufzeichnung	YouTube
KI-Unterstützung	GPT-6.1 Sol

Aus dem Veranstaltungsprogramm

In dieser Session stellen wir den Chatbot "HorváthGPT" vor, der 1) auf unsere langjährig aufgebauten Wissensdatenbanken zugreift und 2) eine datenschutzkonforme Version von ChatGPT bietet. Nach einem Jahr Entwicklung und vier Monaten Betrieb ist es nun an der Zeit, ein erstes Fazit zu ziehen und einen Blick in die Zukunft zu werfen.

Disclaimer: Diese Seite ist KI-generiert, basierend auf einer KI-Zusammenfassung des Transkripts vom vorstehenden Youtube-Video!

Überblick

Michael Hertlein und Cagdas Davulcu stellen HorváthGPT als Verbindung einer internen Wissenssuche mit allgemeinen GPT-Funktionen vor. Grundlage sind über Jahre aufgebaute SharePoint-Wissensdatenbanken, deren Befüllung mit den Angebots- und Projektprozessen der Unternehmensberatung verknüpft ist. Die Session zeigt, wie daraus eine KI-gestützte Suche entsteht, welche Anpassungen für brauchbare Ergebnisse nötig waren und wie Beschäftigte die Anwendung nutzen sollen. Im Ausblick stehen zusätzliche Datenquellen, vordefinierte Assistenten und die Erstellung erster Angebotsentwürfe.

Aufbau und Ausgangssituation

Der Vortrag beginnt mit der Vorstellung der Beteiligten und ihrer Zusammenarbeit. Hertlein verantwortet seit zehn Jahren das Wissensmanagement bei Horváth, einer Unternehmensberatung mit ungefähr 1.400 Beschäftigten. Davulcu bringt Erfahrungen aus Softwarearchitektur, SharePoint und Microsoft 365 ein. Die Zusammenarbeit besteht nach Aussage der Vortragenden seit etwa sieben Jahren.

Anschließend erläutern sie die Wissenslandschaft und den durchgängigen Prozess vom CRM über geschützte Arbeitsräume bis zur Wissensdatenbank. Darauf folgen die Oberfläche und technische Architektur von HorváthGPT. Publikumsfragen vertiefen insbesondere Metadatenqualität, Dokumentenformate und Suchverfahren. Anwendungsbeispiele, Erfahrungen aus Einführung und Training sowie Zukunftspläne bilden den zweiten Teil. Abschließend werden Aufwand, Datenschutz und Empfehlungen für andere Unternehmen diskutiert.

Das sechsköpfige Wissensmanagementteam ist im Corporate-Bereich unter dem CPO angesiedelt und berichtet direkt an den Vorstand. Seine Arbeit umfasst auch organisatorische Fragen, Prozesse und Zusammenarbeit. Lernprozesse sind dagegen bei Learning in HR verortet. Der Vortrag konzentriert sich auf Datenbanken und KI.

Wissensbasis als Teil des Geschäftsprozesses

Die Wissenslandschaft basiert auf SharePoint und Microsoft 365. Zum Intranet, dem Horváth Hub, gehört ein Knowledge Center. Wichtige Bestände sind Angebote, finale Projektdokumentationen und Referenzen. Hinzu kommen unter anderem freigegebene Research-Dokumente, Solutions, Nachrichten, Publikationen und Innovationsthemen.

Die Inhalte im Knowledge Center sind grundsätzlich für alle Beschäftigten sichtbar. Deshalb müssen Projektleitungen und Fachverantwortliche beim Hochladen sicherstellen, dass keine Kundendaten oder sensiblen Informationen in diese Bestände gelangen. Bei Referenzen gehören Freigabeerklärungen zum vorgesehenen Vorgehen.

Entscheidend ist die Verbindung mit dem operativen Ablauf: Im CRM-System Dynamics werden Kunden, Branchen, Verantwortlichkeiten, Status, Zeitpunkte und Projektumfang erfasst. Dokumente liegen dagegen in gesonderten Arbeitsräumen. Zur Auswahl stehen geschützte Proposal Spaces und Proposal-and-Project-Teamspaces, auch für die Zusammenarbeit mit Externen.

Drei technische Module unterstützen diesen Ablauf:

Der Dynamics Integrator verbindet Geschäftssysteme mit SharePoint beziehungsweise Microsoft Teams und überträgt Metadaten sowie Berechtigungen.
Teamcenter stellt Teams-Gruppen bereit, verwaltet externe Beteiligte und unterstützt das Lifecycle Management bis zur Archivierung.
Der Knowledge Base Connector hilft, finale Dokumente aus den Arbeitsräumen auszuwählen und strukturiert in die Wissensdatenbank zu übernehmen.

Aus dem CRM bekannte Abschlusszeitpunkte lösen Erinnerungsworkflows aus. Projektleitungen können die Dokumentation mit bereits vorhandenen Metadaten ablegen. Die Vortragenden nennen eine Uploadquote von ungefähr 69 Prozent und rund 60.000 Dokumente aus zehn Jahren. Das Einstellen ist allerdings nicht in den MBOs verankert; die Bereitschaft zum Teilen bleibt eine Herausforderung.

Von der Filtersuche zur dialogischen Oberfläche

Das bisherige Knowledge Center bietet einen zentralen Suchschlitz und Filter für die darunterliegenden Datenbanken. Die auf dem PnP Framework basierende Suche erschließt Metadaten wie Dokumenttyp, Jahr und Unternehmen.

Trotz gut gepflegter Bestände empfinden viele Beschäftigte diese Suche als zu kompliziert. Filter und Refiner verlangen mehr Bedienaufwand, als die Nutzenden erwarten. Der Ausgangspunkt für HorváthGPT ist daher nicht allein ein Datenproblem, sondern auch eine Zugangshürde.

2023 nutzte das Team eine strategische KI-Initiative für einen Proof of Concept. Die daraus entwickelte Oberfläche ähnelt ChatGPT und enthält zwei Bereiche:

Horváth Knowledge Search durchsucht interne Bestände, zunächst Angebote, Projekte, Referenzen und Solutions.
GPT Skills unterstützt allgemeine Aufgaben wie die Arbeit mit hochgeladenen Dokumenten und die Erstellung eigener Inhalte.

Die neue Suchmöglichkeit erzeugt nach Darstellung der Vortragenden zugleich Interesse an weiteren Datenbanken. Dieses Momentum soll helfen, deren Aufbau, Pflege und Nutzung organisatorisch zu verankern.

Technische Architektur und dokumentenspezifische Aufbereitung

Die Wissensdatenbanken werden über Azure AI Search indiziert. Dabei nutzt das Team Standardkonnektoren und eigene Erweiterungen. Dokumentinhalte und Metadaten werden als Embeddings beziehungsweise Vektoren gespeichert; Metadaten stehen zusätzlich separat für Abfragen bereit.

Eine Chat-Anfrage wird in Vektoren umgewandelt und mit den indizierten Informationen verglichen. Ein Sprachmodell wertet gefundene Inhalte im Zusammenhang mit der Frage aus. Knowledge Search liefert einen Antworttext sowie referenzierte Dokumente, sodass die Quellen zugänglich bleiben.

Die Lösung verwendet nicht ausschließlich Vektorsuche. Eine hybride Suche kombiniert Volltext-, Metadaten- und Vektorsuche. Der Ansatz wird im Vortrag als Retrieval-Augmented Generation bezeichnet.

Besonders aufwendig ist die Aufbereitung von PowerPoint-Dateien. Ihre Bedeutung ergibt sich häufig aus räumlicher Anordnung: Stehen Vorteile und Nachteile nebeneinander, darf die Indizierung diese Zuordnung nicht verlieren. Das Team entwickelte deshalb Strategien für unterschiedliche Dokumenttypen. PDF-, Word- und PowerPoint-Dateien können in einem gemeinsamen fachlichen Bestand liegen, benötigen aber eine jeweils geeignete Verarbeitung. Für die Metadaten ist eine einheitliche Taxonomie erforderlich. Eine fehlerfreie Interpretation aller visuellen Zusammenhänge wird nicht zugesichert.

Die Modellangaben unterscheiden sich im Verlauf der Session: Bei der Vorstellung der GPT Skills wird GPT-4o genannt, in der abschließenden Fragerunde GPT-3.5 für die RAG-Suche und GPT-4 für die GPT Skills. Zudem beschreiben die Vortragenden fortlaufende Modellwechsel und Aktualisierungen.

Datenqualität und Bewertung von Suchergebnissen

Eine Publikumsfrage problematisiert, dass Dateiautoren, tatsächliche Ersteller und hochladende Personen auseinanderfallen können. Hertlein erläutert, dass die maßgeblichen Metadaten aus dem CRM stammen. Entscheidend sind beispielsweise Opportunity-Verantwortliche, Teamzugehörigkeit und Angebotsabschluss, nicht allein die Dateieigenschaften.

Davon unterscheidet er die inhaltliche Qualität. Das Wissensmanagement kann nicht generell beurteilen, welches Angebot das beste ist. Als Anhaltspunkte dienen Kennzeichnungen als Top-Proposal beziehungsweise Best Practice und der Status gewonnen oder verloren. Ein verlorenes Angebot kann dennoch gute Inhalte enthalten; für eine genauere Bewertung wären zusätzliche Informationen zu Verlustgründen nötig.

Sternebewertungen oder Daumenbewertungen wurden diskutiert, bislang aber verworfen. Offen bleiben ihre Bedeutung, die notwendige Beteiligung und die Frage, wer bei knapp 2.000 Angeboten jährlich tatsächlich Bewertungen abgibt. Die Idee bleibt auf der Beobachtungsliste.

Anwendungsfälle: Recherche, Zusammenfassung und Perspektivwechsel

Ein Beispiel fragt nach der Umsetzung einer Finance Transformation. Knowledge Search zieht dazu interne Solutions und Projekterfahrungen heran und verlinkt die zugrunde liegenden Dokumente.

Bei der Suche nach Wasserstoff-Angeboten erscheinen Ergebnisse in einer vorgegebenen Struktur: Angebotsname, Kunde, zuständiges Center, Zeitraum, Umfang, Branche, Status und Quelle. Das Team hat anhand von Testfeedback festgelegt, dass bevorzugt gewonnene, aktuelle und als Best Practice gekennzeichnete Angebote angezeigt werden. Anschlussfragen sollen die weitere Recherche erleichtern.

Ein GPT-Skills-Beispiel verarbeitet eine arabischsprachige Kundenanfrage, einen Request for Proposal. Ein vorbereiteter Prompt fordert eine strukturierte Zusammenfassung an. Die Ausgabe kann in einer anderen Sprache erfolgen. Die gezeigte Zusammenfassung wurde laut Vortrag von Beratern als qualitativ gut beurteilt.

Weitere Beispiele nutzen Perspektivwechsel: Ein Dokument zur Projektfreigabe wird aus Vorstandssicht betrachtet, ein Angebot aus Kunden-, CTO- oder Einkaufssicht kritisch geprüft. Das System soll Fragen und alternative Verbesserungsvorschläge formulieren. Auch Trainingsunterlagen wurden auf fehlende Anwendungshinweise und Beispiele untersucht.

Die Vortragenden ordnen solche Ergebnisse als Unterstützung ein, nicht als fertige Beratungsleistung. Genannte Verbesserungen von 20 bis 30 Prozent sind ihre Einschätzung des Nutzens, keine in der Session erläuterte systematische Messung.

Datenschutz, Training und verantwortliche Nutzung

Die interne Anwendung wird im Vortrag als datenschutzkonforme Alternative für die Arbeit mit vertraulichen Kundendokumenten beschrieben. Die Vortragenden erklären, dass ihre Instanz auf europäischen Servern läuft und keine Daten an OpenAI beziehungsweise in die USA weitergibt. Für die interne Wissensdatenbank gelten weiterhin die beschriebenen Freigabe- und Bereinigungsprozesse.

Nicht jede Datennutzung ist erlaubt: Dokumente von Research-Providern werden wegen entsprechender Nutzungsbeschränkungen ausgeschlossen. Ein Beispiel zur Vorbereitung von Bewerbungsgesprächen wird als technisch denkbar, wegen Personaldaten aber nicht zulässig bezeichnet.

Das Wissensmanagement führte 22 Trainings in den Kompetenzcentern durch. Beschäftigte sollen lernen, beim Prompting Kontext, Aufgabe und gewünschtes Ergebnis genauer zu beschreiben, statt lediglich Suchwörter einzugeben. Diese Kompetenz wird auch bei jungen Mitarbeitenden nicht vorausgesetzt.

Die ausdrücklich formulierten Empfehlungen lauten:

KI-Ausgaben nicht ungeprüft übernehmen, sondern Quellen kontrollieren und selbst weiterdenken.
Kundenspezifischen Mehrwert entwickeln; eine KI-Antwort ist lediglich ein Einstieg.
Vertrauliche Informationen nur innerhalb der dafür vorgesehenen Anwendung verarbeiten.
Wissen ablegen, damit es später gefunden werden kann.

Die letzte Bitte fasst Hertlein als „Give to get back“ zusammen.

Erfahrungen, Aufwand und Empfehlungen für Unternehmen

Der frühe, explorative Einstieg erlaubte schrittweise Versuche und Nachbesserungen. Trotz guter Datenbanken waren erste Ergebnisse unbefriedigend. Prompt Engineering, veränderte Priorisierung und die gezieltere Trennung von Dokumentkategorien waren notwendig.

Für spätere Vorhaben erwarten die Vortragenden stärkere Begründungen anhand konkreter Anwendungsfälle und des Return on Investment. In der Fragerunde nennt Hertlein ungefähr 250 investierte Tage der internen Abteilung im laufenden Geschäftsjahr und etwa 100 Tage Mitarbeit der Data-Science-Kollegen. Konkrete Lizenzkosten werden nicht beantwortet.

Als wesentliche Voraussetzung betonen beide die Einbindung des Wissensmanagements in geschäftskritische Prozesse. Bei anderen Unternehmen könne zunächst die Strukturierung der Daten den größten Aufwand verursachen. Training und Change-Kommunikation seien ebenfalls wichtige Bestandteile der Einführung.

Ausblick: Assistenten und erste Angebotsentwürfe

Geplant sind zusätzliche Datenquellen, darunter Intranet, ausgewählte Research-Ergebnisse sowie Profile und Projekterfahrungen zur Expertensuche. Auch Internetzugriff soll ermöglicht werden.

Ein langfristiges Ziel ist der Weg vom Request for Proposal zum ersten Angebotsentwurf. Dafür müssen unter anderem PowerPoint-Erstellung, passende Inhalte, Struktur und Richtlinien technisch und fachlich zusammengeführt werden.

Vordefinierte Assistenten sollen erprobte Prompts zugänglich machen. Ein Sales Assistant bündelt Aufgaben für Angebotsvorbereitung und Finalisierung; Beschäftigte wählen einen Anwendungsfall und verbinden ihn mit einem Dokument. Weitere Vorhaben betreffen Übersetzung, Dokumentenkonvertierung und einen Research Assistant mit vorgegebenen öffentlichen Recherchequellen.

Parallel beobachtet das Team Microsoft Copilot. Eine unternehmensweite Einführung erscheint zum Zeitpunkt des Vortrags preislich noch nicht lohnend. Die vorhandene RAG-Lösung soll jedoch integrierbar sein, damit die geleistete Arbeit bei einem späteren Wechsel weiterverwendet werden kann.