Künstliche Intelligenz (KI) ist längst nicht mehr nur ein Instrument zur Automatisierung von Routineaufgaben. Mit der Entwicklung von GenAI hat sich das Potenzial der Technologie erheblich erweitert. Systeme wie ChatGPT unterstützen Menschen zunehmend in Bereichen, die über ihre bisherigen Kompetenzen hinausgehen und führen zu einer Augmentierung, also einer Erweiterung der Fähigkeiten!

Dies eröffnet neue Möglichkeiten für Menschen Aufgaben zu erfüllen, die eigentlich außerhalb ihres Kompetenzbereiches liegen, stellt aber auch Fragen zur langfristigen Wissensvermittlung und zu den Auswirkungen auf die Arbeitswelt.

Eine aktuelle Studie, durchgeführt von Boston Consulting Group (BCG) in Zusammenarbeit mit OpenAI, untersuchte genau diesen Aspekt: Wie können Wissensarbeiter, die bislang wenig technische Vorkenntnisse besitzen, durch den Einsatz von GenAI in der Lösung technischer Aufgaben unterstützt werden?

Die Augmentierung von Wissensarbeitern

Der Titel der Studie „GenAI as an Exoskeleton: Experimental Evidence on Knowledge Workers Using GenAI on New Skills“ deutet bereits an, dass die Rolle von KI hier nicht nur als Hilfsmittel, sondern als Erweiterung menschlicher Fähigkeiten betrachtet wird. Doch wie effektiv ist diese „Erweiterung“ wirklich, und welche Konsequenzen ergeben sich daraus für die Wissensarbeit? Die Studie gibt spannende Antworten.

Fast 500 Consultants erledigten je zwei von drei Aufgabenstellungen

Die Studie umfasste insgesamt 487 Consultants und Associates der Boston Consulting Group (BCG), die in zwei Gruppen aufgeteilt wurden. Eine dritte Kontrollgruppe bestand aus 44 BCG-Data Scientists, die zur Referenz für die Leistung herangezogen wurden. Von den Consultants und Associates erhielten 260 Personen jeweils ein 15- bis 20-minütiges spezifisches Training im Umgang mit ChatGPT, speziell abgestimmt auf die zu lösende Aufgabe.

Die anderen 227 Personen wurden im Einsatz von Google und häufig genutzten Webseiten wie Stack Overflow und der Khan Academy geschult, um mithilfe dieser Tools die Fragestellungen zu lösen.

Randnotiz: Bemerkenswert ist, dass 40% der BCG-Berater angaben, ChatGPT bereits täglich zu nutzen. Von den 487 Teilnehmern verfügten nur 40% über gar keine vorherige Programmiererfahrung, wobei es sich um Consultant mit einer nicht-technischen Ausbildung handelte.

Die Studie wurde zwischen März und April 2024 durchgeführt. Alle Teilnehmer mussten vor und nach den gestellten Aufgaben an Online-Umfragen teilnehmen, um den Wissensstand sowie mögliche Veränderungen zu dokumentieren. Um die Auswirkungen von GenAI auf die Leistung zu messen, wurden drei anspruchsvolle Aufgaben gestellt, die typischen Herausforderungen von Data Scientists und von Beratern entsprechen:

• eine Programmieraufgabe zur Datenbereinigung mit Python,
• eine statistische Analyse
• sowie eine Prognoseaufgabe zur Modellierung und Vorhersage.

Jede dieser Aufgaben war so konzipiert, dass sie nicht durch ChatGPT allein gelöst werden konnte, sondern die Interaktion und Schritt für Schritt Inputs der Teilnehmer erforderte.

Die Aufgaben wurden in Zusammenarbeit von BCG mit dem OpenAI Economic Impacts Research Center entwickelt und spiegelten typische Data Science Aufgaben wider, die jedoch kein vollständiges End-to-End-Data-Science-Projekt darstellten. Der Fokus lag auf der Frage, inwieweit Berater ohne technische Ausbildung durch GenAI in der Lage sind, Aufgaben zu bewältigen, die normalerweise tiefere technische Kenntnisse erfordern und deshalb vermutlich außerhalb ihres Kompetenzbereichs liegen.

Die Ergebnisse der drei gestellten Aufgaben im Überblick:

• Python-Coding-Aufgabe zur Datenbereinigung: Consultants und Associates, die ChatGPT verwenden durften, erzielten fast die gleiche Leistung wie die Data Scientists und übertrafen die Gruppe, die nur Google und Stack Overflow nutzte, bei weitem.
• Statistisches Wissen: Auch bei der statistischen Wissensaufgabe schnitten die Consultants mit Unterstützung von ChatGPT sehr gut ab und näherten sich stark der Referenzgruppe der Data Scientists an. Aber auch die Berater, die ausschließlich Google und Stack Overflow verwendeten, lieferten solide Ergebnisse.
• Prognoseaufgabe: Diese Aufgabe erforderte tiefere Kenntnisse in der Datenwissenschaft, insbesondere in der Modellierung, Anpassung und Bewertung von Modellen. Hier übertrafen die Data Scientists die Berater und Associates, die ChatGPT oder Google nutzten, deutlich. Dennoch schnitten die Berater mit ChatGPT signifikant besser ab als die Gruppe, die Google verwendete.
• Gesamtbetrachtung aller Aufgaben: Consultants, die bereits über Programmiererfahrung verfügten, erzielten in den Coding- und Statistikaufgaben fast so gute Ergebnisse wie die Data Scientists. Dies zeigt, dass grundlegende Programmierkenntnisse weiterhin von großem Wert sind – und vielleicht sogar noch wichtiger in der Ära der KI.

Zusammenfassung der Ergebnisse und Ableitungen

Vom imperative zum deklarativen Arbeiten

KI und insbesondere GenAI kann die Produktivität von Menschen steigern, selbst wenn die Aufgaben außerhalb ihrer üblichen Kompetenzbereiche liegen. Ein wesentlicher Aspekt dabei ist, dass KI es ermöglicht, Aufgaben beschreibend (deskriptiv) zu lösen. Anstatt jeden Schritt eines Prozesses im Detail einzeln zu beherrschen (imperativ), müssen die Nutzer nur das gewünschte Ergebnis definieren, während die KI die detaillierten Handlungsschritte übernimmt. In Zukunft wird es immer wichtiger werden, zu unterscheiden, ob eine Person eine Aufgabe aufgrund ihres eigenen Wissens eigenständig lösen kann oder ob sie auf die KI angewiesen ist, um das Ergebnis zu beschreiben und zu steuern.

Dauerhafte Wissensaneignung – eher nicht!

Die Autoren weisen jedoch darauf hin, dass Teilnehmer, die ChatGPT verwendeten, bei nachfolgenden Wissenstests schlechtere Ergebnisse erzielten als jene, die Google und Stack Overflow nutzten. Sobald die KI nicht mehr verfügbar ist, scheinen die Fähigkeiten der Nutzer zu schwinden. Dieser Effekt wird mit einem Exoskelett verglichen: Es ermöglicht, schwere Gegenstände zu heben, doch ohne Unterstützung fehlt die nötige Kraft. Teilnehmer, die sich die Lösungen eigenständig erarbeiteten oder Vorkenntnisse im Programmieren hatten, waren im Anschluss besser in der Lage, Testfragen zu beantworten. Ohne die Hilfe der KI konnten die Nutzer von ChatGPT seltener fachliche Fragen zu Wahrscheinlichkeiten, maschinellem Lernen oder Programmierung beantworten.

Je weniger technisches Know-how, desto mehr wird KI überschätzt!

Das Experiment zeigt außerdem, dass Berater, die ChatGPT verwenden, dessen Fähigkeiten oft im Anschluss überschätzen. Dies ist nicht das erste Mal, dass eine Studie zu dem Schluss kommt, dass je mehr ein Mensch mit GenAI-Tools arbeiten, desto übermäßiger ist sein Vertrauen in die Fähigkeiten dieser Werkzeuge und desto weniger kritisch hinterfragt er Ergebnisse. Langfristig führt dies zu einem Rückgang der Überprüfung der Genauigkeit der Ergebnisse, da das Vertrauen in die KI zu groß wird. In Zukunft wird es jedoch entscheidend sein, dass die menschliche Beteiligung in der Bewertung der KI-Ergebnisse erhalten bleibt, da viele Unternehmen den „Human-in-the-loop“-Ansatz verfolgen.

Learn, Practice & Repeat is still valuable

Die Ergebnisse verdeutlichen einmal mehr, dass Wissen langfristig nur erworben wird, wenn Fähigkeiten erlernt, geübt und wiederholt werden. Menschen benötigen daher eine solide Ausbildungsbasis, um nicht ausschließlich auf KI zu vertrauen, sondern weiterhin kritisch mit den Ergebnissen umzugehen. Auch deuten die Ergebnisse laut der Autoren darauf hin, dass je technischer ein Berufsprofil heutzutage ist, desto höher ist die Wahrscheinlichkeit, dass KI einen Einfluss auf diesen Beruf haben wird (vgl. Softwareentwicklung und anderen aktuellen Studien). Das bedeutet, dass Menschen in diesen Bereichen ein hohes Maß an Flexibilität und die Bereitschaft zur schnellen und kontinuierlichen Weiterentwicklung aufweisen müssen, um Schritt zu halten.

Meine Einschätzung zur Studie und zu den Ergebnissen

Dieses Experiment des Henderson Institute und seines Teams ist äußerst gelungen. Schon die letztjährige Studie „Navigating the Jagged Technological Frontier“, die den Einfluss von KI auf die Lösung kreativer Aufgaben im Consulting untersuchte, war spannend. Doch diese neue Studie geht noch weiter. Beide Studien zeigen, dass Wissensarbeit durch KI grundlegend transformiert wird – von der Analyse und Synthese bis hin zur Entwicklung kreativer Vorschläge und damit wesentliche Bestandteilen der Wertschöpfungskette im Consulting beeinflussen wird (McKinsey Lilli lässt grüßen).

Künstliche Intelligenz ist nicht nur ein Instrument zur Automatisierung von Aufgaben, sondern eine echte Erweiterung der Fähigkeiten. Jeder Mitarbeiter erhält quasi einen zusätzlichen „X%-IQ-Add-On“, der es ihm ermöglicht, Aufgaben schneller und effizienter zu lösen. Dies kann auch bedeuten, dass mehr Menschen in der Lage sind, durch den Einsatz von KI Aufgaben zu bewältigen, die ihnen vorher nicht zugänglich waren. Die Augmentierung der Wissensarbeit wird zentral für wissensintensive Dienstleistungsunternehmen.

Das Lernen von Grund auf bleibt von entscheidender Bedeutung, um nicht nur die Ergebnisse der KI kritisch hinterfragen zu können, sondern auch, um überhaupt in der Lage zu sein, die Resultate sinnvoll zu bewerten. Wie wir dies – etwa in Schulen oder in Karrierelaufbahnen – organisieren, wird eine große Herausforderung darstellen. Denn viele Mitarbeiter könnten durch den Einsatz von KI ein übermäßiges Selbstvertrauen entwickeln.

Auch im Zeitalter der KI bleibt der Ansatz „Lernen, Üben und Wiederholen“ wertvoll. Natürlich profitieren insbesondere ungeschulte oder nicht-technische Arbeitskräfte von KI, allerdings nur dann, wenn die Ergebnisse korrekt sind. Es bleibt jedoch entscheidend, dass man die Resultate selbst beurteilen und verstehen kann.

Die Autoren der Studie argumentieren, dass die Fähigkeiten der Teilnehmer ohne den Einsatz von KI anders sind. Ich bin mir jedoch nicht sicher, ob das Experiment in seiner Gestaltung diese Schlussfolgerung zulässt, da die Berater nur kurz mit der KI interagierten und danach Fragen beantworten mussten (20 Minuten Training und 90 Minuten für die Aufgaben). Andere Experimente, wie etwa GenAI im Callcenter-Bereich, zeigen, dass durch wiederholte Anwendung das Wissen dauerhaft verankert werden kann. Die entscheidende Frage ist hier wohl, wie groß die Wissenslücke ist, die durch die KI überbrückt wird.

Alles in allem zeigt die Studie, wie hoch die Relevanz von KI für wissensintensive White Collar Business Work ist und sein wird. Wenn auch Sie diese Transformation strategisch angehen möchten, sprechen Sie mich gerne an.

Quelle: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4944588