Ob eine Forschungsmethode misst, was sie zu messen beansprucht. Es geht um Genauigkeit, nicht um Präzision. Eine Methode kann reliabel (konsistent) sein, aber nicht valide (genau), wenn sie konsistent das Falsche misst.
Definition: Ob eine Forschungsmethode misst, was sie zu messen beansprucht. Es geht um Genauigkeit, nicht um Präzision. Eine Methode kann reliabel (konsistent) sein, aber nicht valide (genau), wenn sie konsistent das Falsche misst.
Validität bezeichnet, ob eine Forschungsmethode misst, was sie zu messen beansprucht. Es geht um Genauigkeit: Sind Ihre Ergebnisse eine wahre Abbildung des zugrunde liegenden Phänomens, das Sie verstehen möchten?
Validität ist keine einzelne Eigenschaft. Es ist eine Familie verwandter Konzepte, die jeweils eine andere Art adressieren, wie Ihre Forschung schiefgehen kann. Sie lassen sich in zwei Kategorien einteilen: Validität des Studiendesigns und Validität der Messung.
Interne Validität: Ob Ihre Ursache-Wirkungs-Schlüsse innerhalb der Studie standhalten. Wenn Sie behaupten, X habe Y verursacht — sind Sie sicher, dass es keine konfundierende Variable, kein saisonaler Effekt oder etwas anderes war?
Externe Validität: Ob Ihre Ergebnisse über die Studie hinaus generalisierbar sind. Können Sie Schlussfolgerungen aus Ihrer spezifischen Stichprobe, Ihrem Setting und Zeitpunkt auf die breitere Population anwenden?
Ökologische Validität: Ob Ihre Studienbedingungen die reale Nutzung widerspiegeln. Ein Labortest mit einer Facilitatorin, die zuschaut, entspricht nicht der Nutzung Ihres Produkts in einer vollen Straßenbahn mit einer Hand. Eine spezifische Form der externen Validität.
Statistische Schlussvalidität: Ob die gefundenen statistischen Zusammenhänge real sind — oder Artefakte niedriger Power, verletzter Annahmen oder multipler Testung.
Konstruktvalidität: Ob Sie das theoretische Konzept messen, das Sie zu messen beabsichtigen. Die tiefste Form der Messvalidität, die sowohl theoretische Klarheit als auch empirische Evidenz erfordert.
Konvergente und diskriminante Validität: Die zwei Seiten der Konstruktvalidität in der Praxis. Ihr Maß sollte mit anderen Maßen desselben Konstrukts korrelieren (konvergent) und nicht zu hoch mit Maßen anderer Konstrukte korrelieren (diskriminant).
Inhaltsvalidität: Ob Ihr Messinstrument den gesamten Umfang des Konstrukts abdeckt. Wird durch Expertenreview etabliert, nicht durch Statistik.
Kriteriumsvalidität: Ob Ihr Maß reale Ergebnisse vorhersagt oder damit korreliert. Kommt als prognostische Validität (zukünftige Ergebnisse) und Übereinstimmungsvalidität (aktuelle Kriterien).
Augenscheinvalidität: Ob das Maß auf den ersten Blick so aussieht, als würde es messen, was es zu messen beansprucht. Die schwächste Form — wichtig für die Akzeptanz bei Teilnehmenden, beweist aber nichts über die tatsächliche Messqualität.
Eine Methode kann reliabel sein, ohne valide zu sein — konsistent, aber konsistent falsch. Jedoch kann eine Methode nicht valide sein, ohne reliabel zu sein. Reliabilität ist notwendig, aber nicht hinreichend für Validität.
Für eine detaillierte Aufschlüsselung jedes Typs mit praktischen UX-Beispielen, siehe Validitätsarten in UX und Marktforschung.
Die Konsistenz einer Forschungsmethode: ob sie bei Wiederholung unter denselben Bedingungen ähnliche Ergebnisse liefert. Betrifft Präzision, nicht Genauigkeit. Eine Methode kann reliabel sein, ohne valide zu sein.
Das Ausmaß, in dem Forschungsergebnisse unabhängig davon sind, wer die Studie durchführt. Wenn zwei Forschende demselben Protokoll folgen und unterschiedliche Ergebnisse erhalten, liegt ein Objektivitätsproblem vor.
Eine konsistente, vorhersagbare Verzerrung, die Ergebnisse in eine bekannte Richtung verschiebt. Handhabbar, weil Sie sie in der Interpretation berücksichtigen können, und damit weit besser als zufällige, unsystematische Fehler.
Systematische Abweichung vom wahren Wert in Forschungsergebnissen. Kann nicht eliminiert, nur durch Standardisierung und Bewusstsein kontrolliert werden. Das Ziel ist systematischer Bias (beherrschbar) statt unsystematischer Bias (Chaos).
Die Wissenschaft der Messung psychologischer Konstrukte wie Einstellungen, Fähigkeiten und Persönlichkeitseigenschaften durch standardisierte Instrumente. Die Disziplin hinter jedem validierten Fragebogen in der UX-Forschung.
Dieser Begriff wird in den folgenden Artikeln referenziert:
Standardisierte Messinstrumente liefern Benchmarks und Vergleichbarkeit. Aber sie effektiv einzusetzen erfordert ein Verständnis davon, was jedes einzelne tatsächlich misst und was nicht.
Sie werden immer Bias in Ihre Forschung einbringen, das ist unvermeidlich. Das Ziel ist nicht die Eliminierung, sondern das Management. Der Unterschied zwischen systematischem und unsystematischem Fehler entscheidet darüber, ob Ergebnisse vertrauenswürdig sind.
Gute Forschung passiert nicht zufällig. Der Forschungsplan ist das wichtigste Werkzeug, um unfokussierte, wirkungslose Forschung zu vermeiden und sicherzustellen, dass Ihre Arbeit echte Entscheidungen vorantreibt.
Eine UI zu übersetzen ist einfach; eine Experience zu übersetzen ist schwer. Wie Sie Rückübersetzung und lokale Partner*innen nutzen, um kulturelle blinde Flecken zu vermeiden.