Free Tool
A/B Test Statistical Significance
Calculator
Planen Sie einen A/B test? Ermitteln Sie die Signifikanz Ihrer Ergebnisse mit unserem bayesianischen Rechner – entwickelt für datengetriebenes Experimentieren, Conversion-Optimierung und UX-Verbesserung.
P-Value
(Bereich von 0-1)0.334
Bedeutung
Nein
Peek inside Wingify's testing brain
Demo anfordernSignifikanz automatisieren & verlässliche Tests durchführen
Erweiterte Parameter wie ROPE, MDR und FPR entdecken
Deep Dive: Sequential Testing, Bonferroni-Korrektur & Fixed Horizon Test
Was bedeutet statistische Signifikanz?
Statistische Signifikanz zeigt, ob ein Ergebnis auf Zufall oder auf einen echten Effekt zurückzuführen ist. Mit unserem Rechner bewerten Sie Ihre Ergebnisse sicher, treffen datenbasierte Entscheidungen und optimieren Ihre Tests gezielt.
Different approaches to calculate statistical
significance
Die beiden am häufigsten verwendeten Ansätze sind der frequentistische und der Bayessche, die jeweils unterschiedliche Teststatistik-Rechner nutzen. Hier finden Sie eine kurze Übersicht.
Frequentistisch
Die frequentistische Statistik betrachtet, wie oft ein Ereignis eintritt. Sie analysiert die Häufigkeit, mit der etwas in einer bestimmten Situation passiert.
Bayessch
Bayesian statistics is all about changing your opinion. It starts with an initial belief called the prior, which comes from domain expertise. Then, you gather evidence to support or challenge that belief. After examining the evidence, your opinion should be updated based on the new information you’ve acquired.
Wie berechnen wir die statistische Signifikanz?
So können Sie die statistische Signifikanz mit den frequentistischen und Bayes’schen Ansatz berechnen.
Frequentistischer Ansatz
The Frequentist approach to statistical significance is based on the p-value. To determine the p-value using the Frequentist approach, you will need the following key pieces of information:
- Die mittlere Differenz zwischen den beiden Hypothesen
- Die Standardabweichung der Differenz zwischen den beiden Hypothesen
- Die Stichprobengröße jeder Hypothese
Once you have gathered this necessary data, you can easily compute the p-value using a significance testing tool or significance level calculator. If the p-value you get is 0.05, the probability of the variation is 5%.
Bayes’scher Ansatz
Hier erfolgt die Berechnung der statistischen Signifikanz über die Posterior-Wahrscheinlichkeit. Diese berücksichtigt die verfügbaren Daten und beschreibt die Wahrscheinlichkeit, dass Hypothese A oder B zutrifft. Der Ansatz bezieht sowohl frühere Annahmen (Prior) als auch die beobachteten Daten ein.
To calculate the posterior probability, Bayes' theorem is employed. Bayes' theorem is a mathematical formula that combines the prior probability of a hypothesis with the likelihood of the data to derive the updated or posterior probability.
A posterior probability of greater than 95% is considered to be strong evidence in favor of the hypothesis.
Know more about our Bayesian approach in the article series we created on Bayesian A/B testing at Wingify.
Warum setzen wir auf Bayes’sche Statistik?
Intuitive Testberichte
At Wingify, we recognize that non-statistical users often misinterpret the frequentist p-value as a Bayesian posterior probability, which leads to incorrect conclusions about the superiority of one variation over another. To address this issue, we developed the industry's first Bayesian statistical engine.
Unsere Bayes’sche Statistik-Engine liefert leicht verständliche Ergebnisse und minimiert das Risiko von Fehlern bei A/B-Tests, die auf Umsatz oder andere wichtige KPIs abzielen. Mit diesem intuitiveren Ansatz stellen wir sicher, dass unsere User verlässliche Insights aus unserem A/B-Test-Signifikanzrechner gewinnen.
Mit unserer Lösung können Sie der statistischen Signifikanz Ihrer Ergebnisse vertrauen und fundierte Entscheidungen treffen, um Tests, Umsatz und das gesamte User Experience zu optimieren. Verabschieden Sie sich von Fehlinterpretationen – und nutzen Sie die Vorteile des Bayes’schen A/B-Test-Rechners für zuverlässige, umsetzbare Ergebnisse.
Klare Vergleiche mit dem Basiswert
Erkennen Sie mit unserer fortschrittlichen Statistik-Engine, ob Varianten besser, gleichwertig oder schlechter als der Basiswert abschneiden. Ergebnisse werden bei einer Wahrscheinlichkeit von 95 % angezeigt. Detaillierte Diagramme liefern klare Insights für schnelle, fundierte Entscheidungen.
Kommen Sie schneller an umsetzbare Resultate
Wingify offers two testing objectives, "Better" and "Better or Equivalent," both built on ROPE (Region of Practical Equivalence), which offers asymmetric power in tests.
Das Ziel „Besser“ hilft Ihnen, leistungsschwächere Varianten schnell zu erkennen. So können Sie erfolgreiche Änderungen schneller umsetzen.
Das Ziel „Besser oder Gleichwertig“ liefert schnellere Ergebnisse, wenn Sie eine Verbesserung oder eine gleichbleibende Performance im Vergleich zum Basiswert nachweisen möchten.
Show your shoppers what they came for.
Häufig gestellte Fragen
Das fragen Teams normalerweise, bevor sie loslegen
Die Nullhypothese gibt an, dass zwischen der Kontrolle und der Variation kein Unterschied besteht. Das bedeutet im Prinzip, dass die Konversionsrate der Variation ähnlich sein wird wie die Konversionsrate der Kontrolle.
Der P-Wert ist definiert als die Wahrscheinlichkeit, ein mindestens so extremes Ergebnis wie die beobachteten zu erhalten, vorausgesetzt, die Nullhypothese ist korrekt, wobei die Variante und Kontrolle bei der Nullhypothese beim A/B-Testing gleich sind.
Die statistische Signifikanz misst, ob ein erhaltenes Ergebnis aufgrund einer Möglichkeit oder einer interessanten Tatsache wahrscheinlich ist. Wenn ein Ergebnis signifikant ist, bedeutet das im Prinzip, dass man darauf vertrauen kann, dass eine Differenz real ist (und man nicht einfach nur Glück oder Pech bei der Auswahl des Beispiels hatte).
Die statistische Trennschärfe ist die Wahrscheinlichkeit, eine Folge zu finden, wenn die Folge real ist. Eine statistische Trennschärfe von 80 % bedeutet also, dass bei 100 Tests mit unterschiedlichen Variationen 20 Tests zu dem Schluss kommen werden, dass die Variationen gleich sind und keine Folge existiert.
