Zum Inhalt springen
Strategie & Management

KI-ROI durch Schulung: Was Pakistans Justiz beweist

Ein Feldexperiment mit 1.559 Richtern zeigt, warum KI ohne gezieltes Training kaum wirkt.

Lukas GörögLukas Görög3 Min. Lesezeit
KI-ROI durch Schulung: Was Pakistans Justiz beweist
KI-ROI durch Schulung: Was Pakistans Justiz beweist

Der KI-ROIReturn on Investment, das Verhältnis von Ertrag zu eingesetztem Kapital. Ein ROI von 38 bedeutet 38 Dollar Rückfluss pro investiertem Dollar. einer Schulung lässt sich selten so sauber beziffern wie hier: In einem Feldexperiment mit 1.559 pakistanischen Richtern brachte der KI-Assistent JudgeGPT bis zu 38,50 Dollar Ertrag pro investiertem Dollar, aber nur bei den Richtern, die man vorher gezielt geschult hatte. Ohne Training verpuffte der Effekt weitgehend. Die Fallerledigungsrate stieg insgesamt um 6,3 Prozent.

Das ist die eigentliche Nachricht. Nicht die Technik, sondern das Training.

Die Zahlen stammen aus einer Untersuchung, über die The Decoder berichtete, unter Beteiligung des ETH-Ökonomen Elliott Ash. Die pakistanische Tageszeitung Dawn beschrieb den Einsatz generativer KI in den Trial Courts des Landes bereits zuvor.

Was hat das Experiment in Pakistans Justiz gemessen?

Gemessen wurde, ob ein KI-Assistent Richter schneller macht. 1.559 Richter erhielten Zugang zu JudgeGPT, einem Tool zur Unterstützung bei der Fallbearbeitung. Das Ergebnis: Die Rate abgeschlossener Fälle stieg um 6,3 Prozent. Entscheidend war jedoch, wer das Tool zu nutzen wusste, nicht, wer es hatte.

Pakistans Gerichte sind chronisch überlastet, mit Rückständen in Millionenhöhe. Dort zählt jeder Prozentpunkt mehr Durchsatz messbar. Genau das macht den Fall so brauchbar für eine Frage, die im DACH-Raum jeden Vorstand beschäftigt: Rechnet sich KI, und wenn ja, wodurch?

Die Antwort der Studie ist unbequem klar. Das Tool war notwendig, aber nicht hinreichend. Erst Zugang und Schulung zusammen erzeugten den Ertrag.

Warum wirkt KI ohne gezielte Schulung kaum?

Weil ein SprachmodellEin KI-System, das auf großen Textmengen trainiert wurde und Sprache verarbeitet und erzeugt, etwa als Chatbot oder Assistent. kein Knopf ist, den man drückt. Sein Nutzen hängt davon ab, wie gut jemand fragt, prüft und einordnet. Die pakistanischen Richter ohne Training hatten dasselbe Tool wie ihre geschulten Kollegen, doch der Produktivitätsgewinn blieb bei ihnen weitgehend aus.

Das deckt sich mit dem, was ich in Projekten regelmäßig sehe. Firmen kaufen Lizenzen, verteilen Zugänge und wundern sich, dass nach drei Monaten wenig passiert ist. Die Technik lag bereit, die Kompetenz nicht.

Ein paar Muster wiederholen sich dabei:

  • Mitarbeiter probieren das Tool zwei Wochen aus, stoßen auf eine schlechte Antwort und kehren zur alten Routine zurück.

  • Niemand zeigt, wie ein guter PromptDie Eingabe oder Anweisung, mit der ein Nutzer ein KI-Sprachmodell steuert. Wie präzise der Prompt formuliert ist, entscheidet stark über die Qualität der Antwort. aussieht oder wie man Fehler des Modells erkennt.

  • Es fehlt ein konkreter Anwendungsfall, an dem sich der Nutzen sofort zeigt.

  • Die Führung nutzt KI selbst nicht und signalisiert damit, dass sie Beiwerk ist.

Der Befund aus Pakistan liefert dafür eine Zahl. Der Unterschied zwischen geschulten und ungeschulten Nutzern war so groß, dass sich der ROI fast vollständig aus dem Training speiste.

Wie lässt sich der KI-ROI einer Schulung berechnen?

Indem man die Trainingskosten gegen den gemessenen Produktivitätsgewinn stellt, nicht gegen ein Bauchgefühl. Die Forscher rechneten die Kosten für JudgeGPT und Schulung gegen den Zeitgewinn der Richter und kamen auf bis zu 38,50 Dollar pro investiertem Dollar. Diese Rechnung ist übertragbar, wenn man drei Dinge ehrlich benennt.

Erstens: Was kostet die Schulung wirklich, samt Arbeitszeit der Teilnehmer? Zweitens: Welcher Prozess wird schneller, und um wie viel? Drittens: Hält der Effekt an, oder verschwindet er nach dem Neuheitseffekt?

Wer diese Kette aufbaut, für den lohnt sich ein strukturierter Einstieg in Grundlagen und Werkzeuge, etwa der praxisnahe eintägige KI-Basiskurs, der Teams ohne technische Vorkenntnisse an den produktiven Einsatz heranführt. Sinnvoll ist er dort, wo Lizenzen schon vorhanden sind, aber der Durchsatz stockt. Für rein strategische Fragen auf Vorstandsebene ist er zu operativ angelegt.

Eine saubere Messmethode zählt mehr als jede runde PR-Zahl. Wie sich der Nutzen belastbar erfassen lässt, zeigt auch die Scorecard-Logik, die wir am Beispiel von OpenAIs Finanzchef aufgeschlüsselt haben.

Was heißt das für Unternehmen im DACH-Raum?

Dass die teuerste Position im KI-Budget oft die billigste bleibt: das Training. Firmen geben viel für Lizenzen und Infrastruktur aus, sparen aber an der Kompetenz der Nutzer, obwohl genau dort der Ertrag entsteht. Das Feldexperiment dreht die übliche Prioritätenreihung um.

Führungskräfte sollten sich fragen, wo im eigenen Haus KI-Zugänge liegen, die kaum jemand nutzt. Diese Lücke ist selten ein Tool-Problem. Für die strategische Seite – die Auswahl der Anwendungsfälle und die Steuerung der Einführung – gibt es dichtere Formate wie die zweitägige KI-Ausbildung für Führungskräfte, die von Strategie bis Umsetzung reicht. Für Sachbearbeiter, die einfach schneller arbeiten sollen, ist das überdimensioniert.

Der pakistanische Fall spielt in einem Justizsystem mit ganz eigenen Rahmenbedingungen. Übertragbar ist nicht die Zahl 38,50, sondern das Prinzip dahinter. Wer nur Zugänge verteilt, misst am Ende Frust. Wer schult, misst Durchsatz.

KI scheitert selten an der Technik.

Ein konkreter erster Schritt: Nehmen Sie einen Prozess, der heute Zeit frisst, schulen Sie ein kleines Team gezielt darauf und messen Sie den Unterschied vorher und nachher über acht Wochen. Diese eine Zahl sagt Ihnen mehr über Ihren KI-ROI als jede Anbieterpräsentation.

Woran hakt es bei KI in Ihrem Unternehmen am meisten?

Ergebnisse sehen Sie nach Ihrer Stimme.

Häufige Fragen

Was bedeuten die 38,50 Dollar Ertrag pro investiertem Dollar konkret?

Der Wert zeigt den Ertrag pro Dollar, den man in JudgeGPT plus Schulung steckte. 1 Dollar Investment brachte demnach bis zu 38,50 Dollar zurück – allerdings nur bei den vorher geschulten Richtern. Ohne Training verpuffte der Effekt weitgehend. Die Zahl stammt aus dem Feldexperiment, über das The Decoder berichtete.

Lässt sich das Ergebnis auf Unternehmen im DACH-Raum übertragen?

Der Kern ist übertragbar, die Zahlen nicht eins zu eins. Pakistans Gerichte waren chronisch überlastet, deshalb schlug jeder Prozentpunkt mehr Durchsatz sofort durch. In anderen Branchen fallen die Effekte anders aus. Die Lehre bleibt: Ein KI-Tool allein reicht nicht, erst Zugang und Schulung zusammen erzeugten den messbaren Ertrag.

Warum reicht der bloße Zugang zu einem KI-Tool nicht aus?

Ein Sprachmodell ist kein Knopf, den man einfach drückt. Sein Nutzen hängt davon ab, wie gut jemand fragt, prüft und die Antworten einordnet. Die pakistanischen Richter ohne Training holten kaum etwas heraus. Erst die Schulung machte aus dem Zugang einen Ertrag. Das Tool war notwendig, aber nicht hinreichend.

Um wie viel stieg die Produktivität tatsächlich?

Die Rate abgeschlossener Fälle stieg insgesamt um 6,3 Prozent. Das klingt moderat, wiegt aber bei Millionen Rückständen schwer. Wichtig ist die Verteilung: Der Zuwachs entstand vor allem bei den geschulten Richtern, nicht gleichmäßig über alle 1.559 Teilnehmer. Weitere Auswertungen lagen bis Redaktionsschluss nicht vor.

Wie sollte eine sinnvolle KI-Schulung aussehen?

Sie sollte nicht bei der Bedienung stehen bleiben, sondern zeigen, wie man präzise fragt, Ergebnisse prüft und Grenzen erkennt. Genau dieser Umgang trennte im Experiment die erfolgreichen von den erfolglosen Nutzern. Ein Basiskurs vermittelt die Grundlagen, Führungskräfte brauchen zusätzlich ein Bild davon, wo sich der Einsatz überhaupt rechnet.

Wer steht hinter der Untersuchung?

An der Studie war der ETH-Ökonom Elliott Ash beteiligt. The Decoder berichtete über die Zahlen, die pakistanische Tageszeitung Dawn beschrieb den Einsatz generativer KI in den Trial Courts des Landes bereits zuvor. Neue Auswertungen oder offizielle Stellungnahmen lagen bis zum Redaktionsschluss nicht vor.

Teilen