Warum umfassende Kontrolle an der Kund*innen-Schnittstelle noch Pflicht ist

Generative KI kann die Kund*innenkommunikation stark unterstützen – allerdings erfordert dies ein klares Bewusstsein für die Grenzen der KI und systematische, spezifische Kontrollen, die konsequent eingehalten werden.

Generative KI ist grundsätzlich ein großartiges Werkzeug: Analysen, Zusammenfassungen und die Erstellung von Texten, Bildern, Sprache und Videos sind in Sekundenschnelle möglich und versprechen hohe Effizienzgewinne sowie umfassende Personalisierungsmöglichkeiten. Kein Wunder also, dass eine Vielzahl von Unternehmen generative KI inzwischen systematisch zur Optimierung von internen Abläufen und Prozessen einsetzt und dies auch zunehmend in Richtung der Kund:innen-Schnittstellen und externer Kommunikation erweitert. Wichtig ist dabei allerdings, dass sich jede*r Beteiligte auch der Limitationen der generativen KI bewusst ist und es nicht nur saubere Kontrollprozesse gibt, sondern dass diese auch eingehalten werden.

Quelle: GenAI?

Dass dies nicht immer reibungslos funktioniert, zeigt eine Reihe von Beispielen wie die Folgenden, die in den letzten Tagen in der Presse waren: In Projektberichten von Deloitte Australia und Deloitte Canada im August beziehungsweise  November dieses Jahres fanden sich einige falsche Zitate nicht existierender akademischer Publikationen wie zum Beispiel Associated Press, die australische Financial Review gleich zweimal und Fortune berichteten. In beiden Fällen änderte sich laut Deloitte nichts an den inhaltlichen Ergebnissen der Berichte, allerdings seien die bestehenden internen Kontrollprozesse offensichtlich nicht vollumfänglich eingehalten worden.

Am 12. November veröffentlichte die führende englischsprachige Tageszeitung Pakistans „Dawn“ laut zweier Medienberichte (hier und hier) einen Artikel zur Entwicklung des Automobilmarktes, der mit einem typischen ChatGPT-Wrap-up endete: „If you want, I can also create an even snappier front-page style version […] Do you want me to do that next?“.Der korrigierte Artikel, der am selben Tag noch erschien, enthielt ebenfalls einen Hinweis auf die KI-Policy des Unternehmens, die in diesem Fall nicht eingehalten wurde.

Nicht ohne Kontrolle

Derartige Beispiele sind ein wichtiger Weckruf, denn kaum ein Unternehmen ist vor einem solchen Fall gefeit. Neben Kontrollmechanismen und Regeln geht es vor allem um die Sensibilisierung aller Beteiligten für die Relevanz dieser Prozesse und Vorgaben. Aus Bequemlichkeit oder unter Zeitdruck haben die meisten von uns schon Abkürzungen genommen und Regeln gebeugt oder ignoriert. Für empirische Evidenz muss man sich nur abends im Regen mal an eine rote Fußgängerampel stellen. Der entscheidende Faktor ist jedoch, unter welchen Umständen es geschieht und wie die potenziellen Konsequenzen aussehen.

Fakt ist, dass wir beim Einsatz generativer KI aufgrund der Funktionsweise von Large Language Models (LLMs) in einem gewissen Umfang mit Halluzinationen rechnen müssen, denn die generierten Texte basieren auf dem Maximieren der Wahrscheinlichkeit für einen bestimmten Output in einem gegebenen Kontext. Natürlich lassen sich diese durch Feinabstimmungen  und die Nutzung von Retrieval-Augmented-Generation (RAG) – also das systematische Einbeziehen spezifischer interner Datenquellen – minimieren, jedoch noch nicht vollständig ausschließen. Und überall dort, wo es auf Korrektheit, Genauigkeit und Präzision ankommt, müssen entsprechende Kontrollmechanismen bestehen und eingehalten werden. Inwieweit diese menschlich sein müssen oder über Multi-Agent- und Multi-Model-Ansätze etabliert werden können, hängt im Zweifel von den Rahmenbedingungen und dem konkreten Anwendungsfall ab. Zusammenfassungen von internen Routine-Meetings oder stark regelbasierte und sehr spezifische Auskünfte stehen hier auf einem anderen Blatt als die externe Kund:innen-Kommunikation in einem komplexeren Kontext. Und als ich das erste Mal das offensichtlich von ChatGPT-generierte Angebot für eine präzise Zusammenfassung des darüberstehenden Textes mitten in einer studentischen Hausarbeit gelesen hatte, schoss mir ehrlicherweise erstmal ein „Ja bitte!“ durch den Kopf.

Kritische Reflexion so wichtig wie Zähneputzen

In jedem Fall ist die kritische Reflexion eine Grundhygiene und genauso wichtig wie das morgendliche Zähneputzen. KI-Kompetenz darf nicht nur ein lästiges Pflichttraining für Mitarbeitende sein oder sich auf den Umgang mit einzelnen Tools beschränken, sondern muss Teil des Mindsets werden. Dass der Einsatz von generativer KI in immer mehr Unternehmensbereichen richtig und sinnvoll ist, steht außer Frage. Wichtig ist aber, wie das Miteinander von Mensch und Maschine orchestriert wird, und dass sich jede*r Mitarbeitende der Vorteile, aber auch der Limitationen und Risiken im spezifischen Fall bewusst ist.

Ein interessantes Experiment dazu hatte die Harvard Business School zusammen mit BCG bereits 2023 durchgeführt: Rund 750 Berater*innen sollten zwei unterschiedliche Aufgabentypen bearbeiten. Der erste Typ fokussierte auf Kreativität, Überzeugungskraft und schriftliche Ausdrucksfähigkeit, der zweite stärker auf Problemlösung unter Verwendung quantitativer Daten und Expert*innen-Befragungen, deren Einblicke wichtig für die Interpretation der quantitativen Daten waren. Die Berater*innen wurden in drei Gruppen eingeteilt, eine ohne KI-Unterstützung und zwei weitere mit KI-Unterstützung. Beim ersten Aufgabentyp lieferten die Probanden mit KI-Unterstützung schnellere und qualitativ hochwertigere Ergebnisse als die Kontrollgruppe. Bei der zweiten Aufgabenart waren sie zwar schneller, aber qualitativ deutlich schlechter – und einer der Hauptgründe dafür war mangelnde kritische Reflexion des Outputs.

Spannender Spagat

Der Spagat wird noch spannend: Einerseits müssen wir den Mitarbeitenden die Berührungsängste nehmen, damit sie generative KI zielführend und sinnvoll einsetzen und wir eine Skalierung erreichen, bei der sich die Investitionen auch rechnen. Andererseits ist gerade in sensitiven Bereichen, an der Kund*innen-Schnittstelle und in der Außenkommunikation noch ein hoher Grad an kritischer Reflexion und Kontrolle notwendig. Zu echter und umfänglicher KI-Kompetenz  gehören deshalb auch ein Change Process und ein Mindset-Wechsel, die immer wieder im Kontext der Reife von KI, der benötigten Fähigkeiten sowie der sich verändernden Anwendungsgebiete weiterentwickelt werden müssen.

Hier findest Du weitere beiträge unserer Kolumnist:innen.