{"id":112422,"date":"2022-01-19T13:37:38","date_gmt":"2022-01-19T13:37:38","guid":{"rendered":"https:\/\/staging.wingify.com\/blog\/statistische-signifikanz-a-b-tests\/"},"modified":"2022-01-19T13:37:38","modified_gmt":"2022-01-19T13:37:38","slug":"statistische-signifikanz-a-b-tests","status":"publish","type":"post","link":"https:\/\/wingify.com\/blog\/de\/statistische-signifikanz-a-b-tests\/","title":{"rendered":"Die Rolle von statistischer Signifikanz bei A\/B-Tests"},"content":{"rendered":"

Statistische Signifikanz ist ein leistungsf\u00e4higes digitales Marketingtool, das aber oft unzureichend genutzt wird.\u00a0<\/b><\/p>\n

Als gleicherma\u00dfen theoretisches und praktisches Konzept k\u00f6nnen Sie statistische Signifikanzmodelle zur Optimierung zahlreicher zentraler Marketingaktivit\u00e4ten (einschlie\u00dflich A\/B-Tests) verwenden.<\/span><\/p>\n

A\/B-Tests sind ein wesentlicher Bestandteil, um die User Experience (UX) eines f\u00fcr den Kunden sichtbaren Touchpoints (Landingpage, Zahlungsprozess, mobile App usw.) zu verbessern, die Performance zu steigern und die Conversions zu f\u00f6rdern.<\/span><\/p>\n

Durch die Erstellung zweier Versionen eines bestimmten Marketing-Assets \u2013 beide mit leicht unterschiedlichen Funktionen oder Elementen \u2013 und der Analyse ihrer Performance, k\u00f6nnen eine optimierte Landingpage, E-Mails, Web-Apps usw. entwickelt werden, die die besten Ergebnisse erzielen. Diese Methodik wird auch als Hypothesentest mit zwei Stichproben bezeichnet.<\/span><\/p>\n

Wenn es um A\/B-Tests und ihren Erfolg geht, spielt statistische Signifikanz eine wichtige Rolle. In diesem Artikel werden wir dieses Konzept im Detail erl\u00e4utern und erkl\u00e4ren, wie statistische Signifikanz den Prozess des A\/B-Testing verbessern kann. Zuvor wollen wir jedoch auf die Bedeutung von statistischer Signifikanz eingehen.\u00a0<\/span><\/p>\n

[toc]<\/span><\/p>\n

\u00a0<\/span><\/p>\n

Was ist statistische Signifikanz und warum ist sie wichtig?<\/b><\/h2>\n

Investopedia<\/span><\/a> definiert statistische Signifikanz wie folgt:<\/span><\/p>\n

\u201eDie Behauptung, dass ein Ergebnis aus Daten, die durch Tests oder Experimente generiert wurden, wahrscheinlich nicht durch Zufall auftritt, sondern auf eine bestimmte Ursache zur\u00fcckzuf\u00fchren ist.\u201c<\/span><\/p>\n

So gesehen bietet Ihnen die statistische Signifikanz die M\u00f6glichkeit, einer bestimmten Ursache auf den Grund zu gehen und dadurch fundierte Entscheidungen zu treffen, aus denen Ihr Unternehmen Nutzen zieht. Im Grunde genommen ist statistische Signifikanz das Gegenteil von \u201eim Dunkeln tappen\u201c.<\/span><\/p>\n

\"Statistische<\/p>\n

Mit Tests und Experimenten fundierte Entscheidungen treffen<\/span><\/p>\n

\u00a0<\/span><\/p>\n

Berechnung der statistischen Signifikanz<\/b><\/h2>\n

Um die statistische Signifikanz exakt zu berechnen, kommen am h\u00e4ufigsten der Chi-Quadrat-Test bzw. die Chi Quadrat-Verteilung nach Pearson zum Einsatz.<\/span><\/p>\n

Bei dem von <\/span>Karl Pearson<\/span><\/a> entwickelten Chi-Quadrat-Test (Chi ist der Buchstabe \u201ax\u2018 im Griechischen) quadrieren NutzerInnen ihre Daten, um m\u00f6gliche Variablen hervorzuheben.<\/span><\/p>\n

Diese Methodik basiert auf ganzen Zahlen. Zum Beispiel wird das Chi-Quadrat h\u00e4ufig verwendet, um im Marketing die Conversion Rate zu testen \u2013 ein eindeutiges Szenario, bei dem UserInnen entweder die gew\u00fcnschte Aktion ausf\u00fchren oder nicht.<\/span><\/p>\n

Im digitalen Marketing wird die Chi-Quadrat-Methode von Pearson nach folgender Formel angewendet:<\/span><\/p>\n

Statistische Signifikanz = Wahrscheinlichkeit (p) < Schwellenwert (\u0251)<\/span><\/i><\/p>\n

\u00a0<\/span><\/p>\n

Vor diesem Hintergrund wird ein Test oder Experiment als statistisch signifikant betrachtet, wenn die Wahrscheinlichkeit (p) kleiner ist als der festgelegte Schwellenwert (a), welcher auch als Alpha bezeichnet wird. Klarer ausgedr\u00fcckt: Ein Test erweist sich als statistisch signifikant, wenn die Wahrscheinlichkeit gering ist, dass ein Ergebnis dem Zufall zu verdanken ist.<\/span><\/p>\n

Statistische Signifikanz ist wichtig, denn die Anwendung dieser im Marketing gibt Ihnen die Sicherheit, dass sich Ihre Anpassungen einer Kampagne, einer Website oder einer App auf das Engagement, die Conversion Rates und andere zentrale Kennzahlen positiv auswirken.<\/span><\/p>\n

Im Wesentlichen beruhen statistische Signifikanzergebnisse nicht auf Zufall, sondern h\u00e4ngen vorrangig von zwei Variablen ab: <\/span>Stichprobengr\u00f6\u00dfe<\/span><\/a> und <\/span>Effektst\u00e4rke<\/span><\/a>.<\/span><\/p>\n

\u00a0<\/span><\/p>\n

Statistische Signifikanz und digitales Marketing<\/b><\/h2>\n

An dieser Stelle haben Sie wahrscheinlich eine Vorstellung davon, welche Rolle statistische Signifikanz im digitalen Marketing spielt.<\/span><\/p>\n

Wenn Sie Ihre Daten nicht validieren oder Ihren Erkenntnissen keine Glaubw\u00fcrdigkeit verleihen, m\u00fcssen Sie wahrscheinlich zu Werbeaktionen greifen, die nur einen sehr geringen Wert oder Return on Investment (ROI) bieten, vor allem wenn es um A\/B-Tests geht.<\/span><\/p>\n

Trotz der F\u00fclle an Daten in unserem digitalen Zeitalter treffen viele Marketingexperten immer noch Entscheidungen <\/span>aus dem Bauch heraus<\/span><\/a>.<\/span><\/p>\n

Im Dunkeln zu tappen mag zwar gelegentlich positive Ergebnisse hervorbringen, aber um Kampagnen oder Assets zu erstellen, die bei Ihrer Zielgruppe auf deutliche Resonanz sto\u00dfen, sind intelligente Entscheidungen auf Grundlage wasserdichter Erkenntnisse von zentraler Bedeutung. <\/span><\/p>\n

Bei der Durchf\u00fchrung von Tests oder Experimenten, die sich auf Schl\u00fcsselelemente Ihrer digitalen Marketingaktivit\u00e4ten st\u00fctzen, sollten Sie methodisch vorgehen, um sicherzustellen, dass jeder Schritt, den Sie unternehmen, einen wirklichen Mehrwert bietet. Und die statistische Signifikanz hilft Ihnen dabei.<\/span><\/p>\n

\u00a0<\/span><\/p>\n

Statistische Signifikanz f\u00fcr A\/B-Tests verwenden<\/b><\/h2>\n

Jetzt zu den A\/B-Tests oder genauer gesagt, zu der Frage, wie Sie Ihre A\/B-Test mit statistischer Signifikanz verbessern k\u00f6nnen.<\/span><\/p>\n

Einsatzm\u00f6glichkeiten f\u00fcr Tests<\/strong><\/h3>\n

Bevor wir uns mit der Praxis befassen, sollten wir uns fragen, welche A\/B-Tests mit statistischer Signifikanz durchgef\u00fchrt werden k\u00f6nnen:<\/span><\/p>\n

    \n
  • E-Mail Klicks, \u00d6ffnungsraten und Engagement<\/span><\/li>\n
  • Conversion Rates auf Landingpage<\/span><\/li>\n
  • Antworten auf Benachrichtigungen<\/span><\/li>\n
  • Conversions nach Push Notifications<\/span><\/li>\n
  • KundInnenreaktionen und Browsing-Verhalten<\/span><\/li>\n
  • Reaktionen auf Produkteinf\u00fchrungen<\/span><\/li>\n
  • Calls to Action (CTAs) auf Websites<\/span><\/li>\n<\/ul>\n

    \u00a0<\/span><\/p>\n

    Die statistischen Schritte<\/b><\/h2>\n

    Um A\/B-Tests mit statistischer Signifikanz (Chi-Quadrat-Test) erfolgreich durchzuf\u00fchren, sollten Sie folgende Schritte befolgen:<\/span><\/p>\n

    \u00a0<\/span><\/p>\n

      \n
    1. Stellen Sie eine Nullhypothese auf<\/b><\/li>\n<\/ol>\n

      Hinter der Nullhypothese steckt der Gedanke, dass Sie hier keine signifikanten Ergebnisse erhalten werden. Eine Nullhypothese k\u00f6nnte beispielsweise lauten, dass es keine ausdr\u00fccklichen Beweise daf\u00fcr gibt, dass Ihre Zielgruppe Ihren neuen Zahlungsprozess dem urspr\u00fcnglichen Zahlungsprozess vorzieht. Solche Hypothesen oder Behauptungen werden als Benchmark verwendet.<\/span><\/p>\n

      \u00a0<\/span><\/p>\n

        \n
      1. Erstellen Sie eine alternative Theorie oder Hypothese<\/b><\/li>\n<\/ol>\n

        Nach der Nullhypothese sollten Sie eine alternative Theorie aufstellen, mit dem Ziel, sie endg\u00fcltig beweisen zu k\u00f6nnen. In diesem Zusammenhang k\u00f6nnte die alternative Behauptung lauten: Unsere Zielgruppe bevorzugt unseren neuen Zahlungsprozess.<\/span><\/p>\n

        \u00a0<\/span><\/p>\n

          \n
        1. Legen Sie Ihren Schwellenwert fest<\/b><\/li>\n<\/ol>\n

          Nachdem Sie Ihre Hypothesen aufgestellt haben, sollten Sie einen Schwellenwert in Prozenten ((a) oder Alpha) festlegen, der die G\u00fcltigkeit Ihrer Theorie bestimmt. Je niedriger der Schwellenwert \u2013 oder (a) \u2013, desto strenger der Test. Wenn Ihr Test auf einem umfangreicheren Asset wie z. B. einer vollst\u00e4ndigen Landingpage basiert, k\u00f6nnen Sie einen h\u00f6heren Schwellenwert festlegen als f\u00fcr die Analyse einer ganz bestimmten Kennzahl oder eines bestimmten Elements wie beispielsweise eines CTA-Buttons.<\/span><\/p>\n

          F\u00fcr beweiskr\u00e4ftige Ergebnisse m\u00fcssen Sie den Schwellenwert unbedingt vor einem A\/B-Test oder Experiment festlegen.<\/span><\/p>\n

          \u00a0<\/span><\/p>\n

            \n
          1. F\u00fchren Sie Ihren A\/B Test durch<\/b><\/li>\n<\/ol>\n

            Sobald Sie Ihre Theorien und Schwellenwerte festgelegt haben, ist es an der Zeit, den A\/B-Test durchzuf\u00fchren. In diesem Beispiel AB-testen Sie zwei Versionen (A und B) Ihres Zahlungsprozesses und dokumentieren die Ergebnisse.<\/span><\/p>\n

            Hier k\u00f6nnen Sie die Abbruch- sowie die Conversion Rate vergleichen, um festzustellen, welche Version besser abgeschnitten hat. Wenn der Zahlungsprozess B (die neuere Version) bessere Ergebnisse als das Original (Version A) liefert, dann hat sich Ihre alternative Theorie oder Hypothese best\u00e4tigt.<\/span><\/p>\n

            \u00a0<\/span><\/p>\n

              \n
            1. Wenden Sie die Chi-Quadrat-Methode an<\/b><\/li>\n<\/ol>\n

              Mit Ihren Erkenntnissen k\u00f6nnen Sie den Chi-Quadrat-Test anwenden und feststellen, ob die tats\u00e4chlichen Ergebnisse von den erwarteten Ergebnissen abweichen.<\/span><\/p>\n

              Um Ihnen zu helfen, Chi-Quadrat-Berechnungen auf Ihre A\/B-Test-Ergebnisse anzuwenden, finden Sie hier ein Video-Tutorial:<\/span><\/p>\n