Unser Ansatz für Datenqualität

Die meisten Panels optimieren auf Geschwindigkeit und Volumen. Das Ergebnis: Fake-Profile, desinteressierte Befragte und Daten, denen Sie nicht vertrauen können. In der B2B-Forschung sind Incentives so niedrig und Survey-Spam so hoch, dass es unwahrscheinlich ist, dass echte CEOs und Entscheidungsträger*innen ihre Abende damit verbringen, Surveys für ein paar Euro auszufüllen. Das Problem ist nicht, dass Teilnehmende faul sind, sondern dass das System ihnen keinen Grund gibt, sich Mühe zu geben.

Unser Ansatz adressiert die strukturellen Ursachen schlechter Daten durch vier Säulen: verifizierte Personen, Teilnehmererfahrung, Studien-Qualitätskontrolle und kontinuierliches Qualitätsmonitoring.

Verifizierte Personen

Wir verifizieren, wer unsere Teilnehmer*innen sind, nicht nur, dass sie existieren.

Jede teilnehmende Person durchläuft eine mehrstufige Identitätsverifikation, bevor sie zu einer Studie eingeladen wird:

• E-Mail-Verifikation: erforderlich vor jeder Incentive-Auszahlung
• Banküberweisung mit IBAN-Namensabgleich: der Name auf dem Bankkonto muss mit dem Profil übereinstimmen, als Plausibilitätssignal und nicht als formale Identitätsprüfung im rechtlichen Sinne. Ausnahmen werden manuell mit dokumentierter Begründung behandelt
• Telefon-Verifikation: wenn als Kontaktmethode gewählt
• Externes Profilreview: LinkedIn, Steam oder andere externe Profile werden verknüpft und durch mehrstufiges Screening verifiziert
• Video-Verifikation: die höchste Stufe, erreicht durch Teilnahme an einer qualitativen Studie mit direkter Forscher*innen-Interaktion

Identitätsstufen

Jede teilnehmende Person trägt einen Identitätsstatus, der für Kund*innen beim Aufbau ihrer Stichprobe sichtbar ist.

Diese Stufen sind kumulativ. Eine "Bekannte" Person hat jeden vorherigen Verifikationsschritt durchlaufen.

Für den Rekrutierungsprozess, von dem die Teilnehmendenverifizierung abhängt, siehe Recruiting von Teilnehmer*innen: Die richtigen Personen finden.

Teilnehmererfahrung

Qualitätsdaten kommen von Menschen, die gut behandelt werden. Das ist der kausale Kern unseres Ansatzes: Teilnehmende, die respektiert werden, antworten ehrlich und engagiert. Teilnehmende, die genervt sind, klicken sich gedankenlos durch.

Wir strukturieren die gesamte Teilnehmererfahrung nach diesem Prinzip:

Faire, über dem Branchenstandard liegende Incentives. Incentives sind nach Teilnehmerrang standardisiert. B2B-Entscheidungsträger*innen erhalten deutlich mehr als B2C-Konsument*innen, weil echte Entscheidungsträger*innen keine Surveys für ein paar Euro ausfüllen. Das ist keine Großzügigkeit, sondern der einzige Weg, die Fachkräfte anzuziehen, deren Antworten wirklich zählen. Für eine detaillierte Behandlung von Incentive-Budgetierung und Zahlungsmethoden siehe Research Incentives: Budgetierung und Compliance.

Teilnehmergesteuerte Frequenz. Teilnehmende wählen beim Onboarding, wie oft sie eingeladen werden möchten. Wir setzen eine Obergrenze: nicht öfter als einmal im Monat für Consumer-Studien, einmal im Quartal für professionelle Studien. Aber viele Teilnehmende setzen ihre eigenen Präferenzen unter dieser Grenze. Jede Einladung ist handverlesen für das Profil der jeweiligen Person.

Studiendauer-Limits. Zeitfenster sind so gesetzt, dass Studien Teilnehmende nicht überfordern.

Expert-Panel-Positionierung. Teilnehmende melden sich bei Busch Labs an, weil sie als Expert*innen behandelt werden, nicht als Datenpunkte. Sie erhalten selektive, gezielte Einladungen statt Spam.

Studien-Qualitätskontrolle

Wir prüfen jede Studie, bevor auch nur eine Person eingeladen wird.

Jede Studie wird von unserem Research-Team qualitätsgeprüft: Diskussionsleitfaden, Incentive-Stufe, Dauer, Methodik. Studien, die unsere Standards nicht erfüllen, werden abgelehnt. Das ist schon passiert, und es wird wieder passieren.

Kund*innen erhalten Feedback und Verbesserungsvorschläge, nicht nur ein "Nein." Das Ziel ist, die Studie auf einen Standard zu bringen, bei dem Teilnehmende sie ernst nehmen und nützliche Daten produzieren.

Die Teilnehmererfahrung wird geschützt, selbst wenn das bedeutet, ein Projekt abzulehnen. Eine Studie, die die Zeit der Teilnehmenden verschwendet, beschädigt die Beziehung, die zukünftige Daten erst möglich macht. Wir behandeln diese Beziehung als langfristiges Asset.

Für die übergeordneten Prinzipien der Forschungsqualität, die Datenqualitätsbemühungen untermauern, siehe Forschungsqualität und Umgang mit Bias.

Kontinuierliches Qualitätsmonitoring

Wir überwachen die Antwortqualität, ohne die Teilnehmererfahrung zu stören.

• Open-End-Qualitätsbewertung: Bewertung von Antwortlänge, Relevanz und Plausibilität
• Bearbeitungszeit-Analyse: Markierung von zu schnellen (Speedster) oder zu langsamen (Multitasker) Antworten
• Plausibilitätsprüfungen: stichprobenartig oder vollständig, je nach Studie
• Umgebungs-Konsistenzprüfung: Vergleich technischer Snapshots (Gerät, Standortregion, Zeitzone) über Registrierungen und Studienteilnahmen hinweg zur Anomalieerkennung

Wir verwenden keine klassischen Fangfragen. Sie verärgern Teilnehmende und beschädigen die Erfahrung, die wir aufgebaut haben. Die Kosten einer Fangfrage sind höher als die Kosten der Qualitätsüberwachung durch andere Mittel.

Für langfristiges Panel-Gesundheitsmonitoring als Erweiterung der Qualitätssicherung, siehe Ein Teilnehmer*innen-Panel aufbauen: Das Asset, das Ihnen gehört.

Das Fazit

Wir sagen Ihnen lieber, dass wir Ihre Stichprobe nicht liefern können, als schlechte Daten zu liefern. Wenn die Teilnehmenden, die Sie brauchen, nicht auf dem von Ihrer Studie erforderten Verifikationsniveau in unserem Panel sind, sagen wir das. Das ist eine nützlichere Antwort als ein Datensatz voller professioneller Survey-Ausfüller*innen.