Research Value Calculator: Lohnt sich Ihre Studie?

Bevor Sie fragen "Wie viele Teilnehmende?" oder "Welche Methode?", fragen Sie: "Lohnt sich diese Studie überhaupt?" Dieser Rechner beantwortet diese Frage mit Value-of-Information-Theorie, einem Framework aus der Entscheidungswissenschaft, das seit Jahrzehnten in der Gesundheitsökonomie eingesetzt wird, aber nie in ein praktisches Tool für Produkt- und UX-Teams übersetzt wurde.

Der Rest dieses Artikels erklärt die Theorie hinter jeder Berechnungsstufe.

Die falsche erste Frage

Die meisten Research-Planungen beginnen mit "Wie viele Teilnehmende brauche ich?" oder "Welche Methode soll ich verwenden?" Beide Fragen sind verfrüht. Die erste Frage sollte lauten: "Was ist diese Entscheidung wert, und wie viel würde es kosten, sie falsch zu treffen?" Die Antwort bestimmt, ob Forschung wirtschaftlich überhaupt Sinn ergibt, und wenn ja, wie viel Sie investieren sollten.

Eine €50M-Produktlaunch-Entscheidung? Selbst eine €100K-Studie ist ein Rundungsfehler. Ein €20K-Feature-Tweak? Fünf Usability-Tests sind möglicherweise schon überdimensioniert. Der Entscheidungswert bestimmt die Investitionsobergrenze, nicht die statistische Formel.

Das ist die Kernaussage hinter der Value-of-Information-Theorie (VOI). Sie sagt Ihnen nicht, wie Sie eine Studie durchführen. Sie sagt Ihnen, ob die Durchführung wirtschaftlich Sinn ergibt, und was sie wert sein kann.

Wie der Rechner funktioniert

Der Rechner verwendet eine vereinfachte Version der VOI-Analyse und schreitet in drei Stufen voran. Jede Stufe erhöht die Präzision der Schätzung.

Stufe 1: Die Obergrenze (EVPI)

Der Expected Value of Perfect Information (EVPI) ist der maximale Betrag, den irgendeine Information für eine gegebene Entscheidung jemals wert sein kann. Die Formel ist einfach:

Wenn Sie zu 70% von Ihrer aktuellen besten Option überzeugt sind, besteht eine 30%ige Chance, dass Sie falsch liegen. Wenn eine Fehlentscheidung €200.000 kostet, beträgt der maximale Wert perfekter Information €60.000. Keine Studie, egal wie rigoros, ist mehr wert als dieser Betrag.

Das ist die Obergrenze. Sie gibt Ihnen die obere Schranke dessen an, was Forschung wert sein kann, bevor Sie überhaupt an Methoden oder Stichprobengrößen denken.

Stufe 2: Was Ihre Studie tatsächlich wert ist (EVSI)

Perfekte Information existiert nicht. Reale Studien reduzieren Unsicherheit teilweise, nicht vollständig. Der Expected Value of Sample Information (EVSI) schätzt, wie viel Unsicherheitsreduktion ein bestimmter Studientyp liefert.

Verschiedene Forschungsansätze reduzieren Unsicherheit in unterschiedlichem Maße:

• Discovery Research (Interviews, Contextual Inquiry) verschiebt Ihr Verständnis des Problemraums, löst aber selten eine konkrete Entscheidung. Unsicherheitsreduktionsfaktor: 0,15–0,30.
• Evaluative Research (Usability Testing, heuristische Evaluation) identifiziert Probleme in einer konkreten Lösung. Faktor: 0,30–0,50.
• Decision Research (MaxDiff, Conjoint, Concept Testing) zielt direkt auf eine spezifische Entscheidung. Faktor: 0,50–0,70.
• Measurement hängt davon ab, was Sie messen: Task-Level-Metriken (SEQ, Task Success) reduzieren spezifische Unsicherheit stärker als breite Zufriedenheitswerte (NPS).

Diese Faktoren sind Heuristiken, keine präzisen Messungen. Die Bandbreiten spiegeln die inhärente Variabilität wider, wie viel eine gegebene Studie tatsächlich auflöst. Der Rechner verwendet den Mittelwert als vernünftigen Standard und zeigt Ihnen die Bandbreite, damit Sie selbst urteilen können.

Stufe 3: Die wahren Kosten (Nettowert)

Der Wert einer Studie ist nicht einfach ihr Informationswert minus ihr Preis. Zeit spielt eine Rolle.

Forschung braucht Zeit. Wenn die Verzögerung einer Entscheidung Geld kostet (entgangener Umsatz, Leerlauf im Entwicklerteam, Wettbewerbsrisiko), reduzieren diese Verzögerungskosten den Nettowert der Studie. Das ist der am meisten unterschätzte Faktor in der Research-Planung. Eine vierwöchige Studie, die ein Produkt verzögert, das €10.000/Woche Umsatz generiert, hat Verzögerungskosten von €40.000, die vom Informationswert der Studie abgezogen werden müssen.

Wenn der Nettowert positiv ist, ist die Studie eine wirtschaftlich fundierte Investition. Wenn er negativ ist, sind Sie besser dran, mit dem zu entscheiden, was Sie haben, oder einen schnelleren, günstigeren Forschungsansatz zu finden.

Die vier Empfehlungskategorien

Der Rechner gibt Ihnen nicht eine einzelne Zahl und überlässt Ihnen die Interpretation. Er ordnet Ihr Ergebnis einer von vier Kategorien zu:

"Forschung lohnt sich eindeutig": Der Nettowert übersteigt das 3-fache der Studienkosten. Selbst bei erheblichen Schätzfehlern amortisiert sich die Studie. Legen Sie zuversichtlich los.

"Forschung lohnt sich wahrscheinlich": Der Nettowert ist positiv und übersteigt die Studienkosten. Ihre Annahmen sind entscheidend. Überprüfen Sie Ihre Schätzungen zu Entscheidungswert und Fehlentscheidungskosten. Wenn die stimmen, fahren Sie fort.

"Grenzfall": Der Nettowert deckt die Kosten gerade so. Erwägen Sie ein günstigeres oder schnelleres Studiendesign. Konzentrieren Sie sich auf die einzelne Frage mit der höchsten Unsicherheit statt auf eine umfassende Studie.

"Studie überspringen": Der Informationswert rechtfertigt die Kosten nicht. Das ist kein Scheitern. Es ist eine gute Entscheidung. Entweder steht zu wenig auf dem Spiel, Sie sind bereits sicher genug, oder die Studie ist für das, was sie liefern kann, zu teuer.

Warum diese Zahlen nützlich sind, selbst wenn sie falsch sind

Jede Eingabe in diesen Rechner ist eine Schätzung. Ihr Konfidenzniveau könnte schlecht kalibriert sein. Ihre Kosten-der-Fehlentscheidung-Zahl könnte um 50% daneben liegen. Die Unsicherheitsreduktionsfaktoren sind Heuristiken, keine empirischen Messungen.

Warum also der Aufwand? Drei Gründe.

Die Struktur ist wichtiger als die Präzision. Sich selbst zu zwingen, "Was steht auf dem Spiel?", "Wie sicher bin ich?" und "Was passiert, wenn ich falsch liege?" zu artikulieren, führt zu besseren Entscheidungen als diese Fragen nicht zu stellen, unabhängig davon, ob Ihre spezifischen Zahlen akkurat sind.

VOI-Berechnungen reagieren am empfindlichsten auf Entscheidungswerte und am wenigsten empfindlich auf Wahrscheinlichkeitsschätzungen. Die Größenordnung bei den Einsätzen richtig zu treffen (€50K vs €500K vs €5M) ist weitaus wichtiger als ob Ihre Konfidenz 65% oder 75% beträgt. Und Menschen sind generell besser darin, Kosten zu schätzen als Wahrscheinlichkeiten.

Die Empfehlungsschwellen sind bewusst konservativ. "Lohnt sich eindeutig" erfordert eine 3-fache Kostendeckung: ein erheblicher Puffer gegen Schätzfehler. Wenn der Rechner "lohnt sich eindeutig" sagt und Ihre Schätzungen auch nur ungefähr in der richtigen Größenordnung liegen, amortisiert sich die Studie fast sicher.

Douglas Hubbard, dessen Applied-Information-Economics-Framework diesem Rechner zugrunde liegt, formuliert es einfach: Selbst grobe Quantifizierung übertrifft konsistent nicht unterstütztes Expertenurteil. Die Alternative zu einer imperfekten Berechnung ist nicht eine perfekte. Es ist gar keine Berechnung.

Für den breiteren Business-Case-Kontext, den Wertberechnungen unterstützen, siehe Der Business Case für UX Research.

Verbindung zu unseren anderen Tools

Dieser Rechner ist Teil eines Drei-Tool-Ökosystems für Research-Planung:

1. Research Value Calculator (dieses Tool): "Lohnt sich diese Studie?" Bestimmt, ob Forschung wirtschaftlich sinnvoll ist.
2. Research Method Explorer: "Welche Methode passt?" Führt Sie zum richtigen Ansatz basierend auf Ihrem Forschungsziel und Ihren Rahmenbedingungen. Die Methodenkategorien im Value Calculator entsprechen direkt den vier Intentionen des Method Explorers.
3. Stichprobenrechner: "Wie viele Teilnehmende?" Berechnet die richtige Stichprobengröße, sobald Sie sich für eine Methode entschieden haben.

Der natürliche Ablauf ist: Value Calculator → Method Explorer → Stichprobenrechner. In der Praxis können Sie aber an jedem Punkt einsteigen und zwischen ihnen wechseln.

Theoretischer Hintergrund

Die Mathematik hinter diesem Rechner schöpft aus drei Traditionen:

Decision Theory (Raiffa & Schlaifer, 1961). Das formale Fundament. Expected Value of Perfect Information (EVPI) und Expected Value of Sample Information (EVSI) wurden als Teil der Bayesschen Entscheidungsanalyse definiert, dem Framework für optimale Entscheidungen unter Unsicherheit.

Applied Information Economics (Hubbard, 2007/2014). Douglas Hubbard übersetzte akademische VOI in die Geschäftspraxis. Sein Beitrag ist eine pragmatische Operationalisierung von VOI für Geschäftskontexte: kalibrierte Wahrscheinlichkeitseinschätzung, Monte-Carlo-Simulation von Entscheidungen und die Expected-Opportunity-Loss-Kurzformel (EOL = P(falsch) × Kosten der Fehlentscheidung), ein klassisches entscheidungstheoretisches Konzept, das er für Praktiker aufbereitete, ohne vollständige Bayessche Modellierung zu erfordern. Seine Erkenntnis, dass Organisationen routinemäßig die falschen Variablen messen (in Metriken mit niedrigem Informationswert investieren und solche mit hohem Wert ignorieren), ist die Motivation für dieses Tool.

Health Economics (Claxton, 1999; Heath et al., 2024). Gesundheitsökonomen haben VOI gründlicher operationalisiert als jede andere Disziplin und rechnerische Methoden entwickelt, um zu bestimmen, ob klinische Studien ihre Finanzierung wert sind. Die Gaußsche Approximation (Jalal et al., 2018) und die ISPOR VOI Task Force Reports (Fenwick et al., 2020) liefern das methodische Fundament für vereinfachte EVSI-Berechnungen.

Cost of Delay (Eckermann & Willan, 2008; Reinertsen, 2009). Die Erkenntnis, dass Information nicht nur finanzielle Kosten hat, sondern auch Zeitkosten, stammt sowohl aus dem Health Technology Assessment als auch aus der Lean Product Development. Eckermann zeigte, dass Verzögerungskosten häufig die Research-Value-Gleichung dominieren und schnelle-aber-imperfekte Studien wertvoller machen als langsame-aber-rigorose.

Für die vollständige ROI-Berechnungsmethodik, siehe Berechnung des ROI von UX Research: Die Kosteneinsparungsformel.

Für die breitere Research-Technologie-Landschaft, die Wertbewertung einschließt, siehe Research Tools und die ResTech-Landschaft.

Für ein Framework zur Bewertung, ob KI-Tools echten Forschungswert liefern, siehe KI-Research-Tools bewerten: Ein beständiges Framework.

Referenzen

• Claxton, K. (1999). The irrelevance of inference: a decision-making approach to the stochastic evaluation of health care technologies. Journal of Health Economics, 18(3), 341–364.
• Eckermann, S. & Willan, A.R. (2008). Time and expected value of sample information wait for no patient. Value in Health, 11(3), 522–526.
• Fenwick, E., Steuten, L., Knies, S., et al. (2020). Value of information analysis for research decisions: an introduction. Value in Health, 23(2), 139–150.
• Heath, A., Kunst, N. & Jackson, C. (Eds.). (2024). Value of Information for Healthcare Decision-Making. CRC Press.
• Hubbard, D.W. (2014). How to Measure Anything: Finding the Value of Intangibles in Business (3rd ed.). Wiley.
• Jalal, H. & Alarid-Escudero, F. (2018). A Gaussian approximation approach for value of information analysis. Medical Decision Making, 38(2), 174–188.
• Raiffa, H. & Schlaifer, R. (1961). Applied Statistical Decision Theory. Harvard University Press.
• Reinertsen, D.G. (2009). The Principles of Product Development Flow (2nd ed.). Celeritas Publishing.
• Runge, M.C., et al. (2023). A simplified method for value of information using constructed scales. Decision Analysis, INFORMS.
• Wilson, E.C.F. (2015). A practical guide to value of information analysis. PharmacoEconomics, 33, 105–121.