KI-ROI messen: die Scorecard von OpenAIs CFO

Wer den KI-ROI messen will, sollte nicht auf den Tokenpreis schauen, sondern auf die Kosten eines fertigen, brauchbaren Ergebnisses. Genau das schlägt Sarah Friar, Finanzchefin von OpenAI, mit ihrer „AI Scorecard“ vor. Die zentrale Kennzahl heißt „Kosten pro erfolgreicher Aufgabe“: die Gesamtkosten eines Workflows, geteilt durch die Zahl der Aufgaben, die eine vorher definierte Qualitätslatte erreichen.

Der Ansatz ist keine Produktankündigung, sondern ein Wechsel der Blickrichtung. Weg von „Wie billig ist ein API-Call?“, hin zu „Was kostet ein Ergebnis, das gut genug ist?“. Das klingt selbstverständlich, wird in der Praxis aber oft ignoriert. Denn die Tokenpreise stehen auf der Rechnung, die Nacharbeit nicht.

Was steckt hinter OpenAIs AI Scorecard?

Die Scorecard ist ein Bewertungsrahmen, den Friar unter dem Leitbegriff „nützliche Intelligenz pro Dollar“ zusammenfasst. Der Wert von KI entstehe durch erledigte Arbeit, nicht durch gekaufte Lizenzen oder billige Token^?Kleinste Verarbeitungseinheit eines Sprachmodells, meist ein Wortteil. Abrechnung und Preise erfolgen pro verarbeitete Tokens., so die Kernaussage laut der Darstellung von OpenAI. Vier Fragen bilden das Gerüst.

• Erledigt die KI Arbeit, die zählt? Gemessen wird der Abschluss geschäftsrelevanter Aufgaben, nicht die bloße Nutzung.
• Was kostet jede erfolgreiche Aufgabe? Alle Kosten eines Workflows fließen ein, geteilt durch die Zahl brauchbarer Ergebnisse.
• Kann man sich auf das Ergebnis verlassen? Hier geht es um Dependability^?Verlässlichkeit eines KI-Ergebnisses: Wie stabil die Qualität ohne übermäßigen Prüf- und Korrekturaufwand erreicht wird., also darum, wie stabil die Qualitätsgrenze ohne übermäßige Prüfung hält.
• Kauft jeder Dollar mehr Wert, wenn die Nutzung wächst? Der Einsatz rechnet sich, wenn die Kosten pro erfolgreicher Aufgabe sinken.

Diese vier Fragen greifen die deutschsprachigen Analysen bei Clauding.de und ChatOpenAI.de übereinstimmend auf. Neu ist nicht die Idee, Ergebnisse zu bewerten. Neu ist, dass ein KI-Anbieter selbst den Fokus von der reinen Nutzung weglenkt.

Wie berechnen Sie die Kosten pro erfolgreicher Aufgabe?

Die Rechenlogik ist einfach, schwierig ist die Ehrlichkeit bei den Eingaben. Sie erfassen die vollen Kosten eines definierten Workflows und teilen sie durch die Zahl der Aufgaben, die Ihre Qualitätslatte tatsächlich erreichen. Es zählen nicht angefangene, sondern abgeschlossene und abgenommene Ergebnisse.

In die Gesamtkosten gehört laut den Analysen von Clauding.de und ChatOpenAI.de mehr als nur die Modellgebühr:

1. Modellgebühren beziehungsweise API-Tokenkosten
2. Zeit und Kosten der beteiligten Mitarbeitenden
3. Review-Aufwand und erneute Durchläufe (Retries^?Erneute Durchläufe eines Workflows, wenn das erste Ergebnis nicht brauchbar war. Sie verursachen zusätzliche Kosten.)
4. Nacharbeit und manuelle Korrekturen

Die Formel: Kosten pro erfolgreicher Aufgabe gleich Gesamtkosten des Workflows geteilt durch die Zahl erfolgreich abgeschlossener Aufgaben. Entscheidend ist die Beobachtung über Wochen und Monate. Steigt die Zahl erfolgreicher Aufgaben schneller als die Gesamtkosten, deutet das auf einen produktiven Einsatz hin.

Aus meiner Beratungspraxis: Die meisten Fehleinschätzungen entstehen, weil die Mitarbeiterzeit für Prüfung und Korrektur unter den Tisch fällt. Ein Textentwurf für 0,03 Dollar Tokenkosten ist teuer, wenn eine Fachkraft zwanzig Minuten braucht, um ihn brauchbar zu machen. Wenn Sie gerade prüfen, welche Werkzeuge für welchen Zweck taugen, hilft ein strukturierter Vergleich der wichtigsten KI-Tools für Führungskräfte, der die Auswahl an konkreten Aufgaben statt an Feature-Listen ausrichtet. Das lohnt sich vor allem, wenn Sie mehrere Modelle parallel testen.

Wann lohnt sich ein KI-Einsatz nach der Scorecard?

Ein Einsatz gilt als wirtschaftlich sinnvoll, wenn die Kosten pro erfolgreicher Aufgabe sinken, während Qualität, Sicherheit und Geschwindigkeit mindestens konstant bleiben. Diese Entscheidungsregel leiten die Fachbeiträge zu Friars Ansatz klar ab. Der Umkehrschluss ist ebenso wichtig.

Erzeugt ein KI-Workflow mehr Prüfaufwand, als er einspart, werten ihn diese Analysen ausdrücklich nicht als produktiven Use Case^?Ein konkreter Anwendungsfall, in dem KI eine abgegrenzte Aufgabe im Betrieb übernimmt.. Das trifft viele Pilotprojekte härter, als es die anfängliche Begeisterung vermuten lässt. Ein Modell, das in vier von fünf Fällen überzeugt und im fünften still danebenliegt, zwingt Sie, jedes Ergebnis zu kontrollieren. Damit kippt die Rechnung.

Die Scorecard passt zu einer nüchternen Bewertung von KI-Agenten. Viele davon sind, wie wir an anderer Stelle beschrieben haben, im Kern eher Chatbots als verlässliche Prozessautomaten. Genau dort trennt die Kennzahl Marketing von Substanz: Ein Agent, der ohne menschliche Nachkontrolle die Qualitätsgrenze hält, senkt die Kosten pro Aufgabe. Einer, den man ständig überwachen muss, nicht.

Warum machen die schwankenden Modellpreise die Kennzahl wichtig?

Weil der Preis pro Token fast nichts über den Preis pro Ergebnis aussagt. Die Preise für OpenAI-Modelle unterscheiden sich laut ArtificialAnalysis.ai um bis zum 486-Fachen, von 0,05 US-Dollar je Million Tokens bei GPT-5 nano bis 26 US-Dollar bei o3-pro. Nur ein arbeitsbezogenes Kennzahlensystem erlaubt einen Vergleich über diese Spanne hinweg.

Ein Beispiel aus aktuellen Benchmarks zeigt, warum das teuerste Modell nicht das teuerste Ergebnis liefern muss. Für GPT-5.6 Sol nennt kiweekly.de 5,00 US-Dollar je Million Input-Tokens und 30,00 US-Dollar für Output. Trotzdem kostet das Modell bei einer Beispielaufgabe laut the-decoder.de pro Aufgabe 1,04 US-Dollar, etwa ein Drittel des Vergleichsmodells Fable 5. Ein hoher Tokenpreis bei weniger Durchläufen kann günstiger sein als ein billiger Token bei vielen Fehlversuchen.

Was sollten Unternehmen jetzt konkret tun?

Beginnen Sie mit einem einzigen, klar abgegrenzten Workflow und definieren Sie zuerst die Qualitätslatte, bevor Sie rechnen. Ohne Abnahmekriterium lässt sich „erfolgreich“ nicht zählen, und die Kennzahl wird beliebig. Danach messen Sie über mehrere Wochen, statt nach einer guten Woche zu urteilen.

• Wählen Sie einen wiederkehrenden Prozess mit messbarem Output, etwa Angebotsentwürfe oder Support-Antworten.
• Legen Sie fest, was ein „gut genug“-Ergebnis ausmacht, samt Compliance- und Kundenkriterien.
• Erfassen Sie alle Kosten, auch Mitarbeiterzeit und Nacharbeit, nicht nur die API-Rechnung.
• Vergleichen Sie zwei bis drei Modelle an derselben Aufgabe, nicht an Papierwerten.
• Behalten Sie die Kurve im Blick: Sinken die Kosten pro Ergebnis, während die Qualität hält?

Mein Eindruck als Berater: Der Wert dieser Scorecard liegt weniger in der Formel als in der Disziplin, die sie erzwingt. Sie stammt von einem Anbieter, der ein Interesse daran hat, dass KI genutzt wird, und bleibt deshalb ein nützlicher Rahmen, kein neutrales Gütesiegel. Wer Führungskräfte im Haus für solche Bewertungen fit machen will, findet in der kompakten KI-Ausbildung für Führungskräfte mit Fokus auf Strategie und Umsetzung einen Einstieg. Weniger passend, wenn Sie bereits ein eingespieltes KI-Controlling betreiben.

Zurück zur Ausgangsfrage: Den KI-ROI messen Sie am ehrlichsten am fertigen Ergebnis, nicht am Preisschild des Modells. Die Scorecard liefert dafür eine brauchbare Sprache. Ob sich ein Einsatz lohnt, entscheidet nur eine Zahl, die Ihre eigenen Daten füllen müssen.