• Haupt
  • >
  • Marketing
  • >
  • Leitfaden für Vermarkter zum Verständnis der statistischen Signifikanz

Leitfaden für Vermarkter zum Verständnis der statistischen Signifikanz

Haben Sie jemals Ergebnisse einer Marketingkampagne präsentiert und gefragt, ob diese Ergebnisse statistisch signifikant sind ? Wenn Sie sich snarky fühlten, haben Sie möglicherweise geantwortet: „Nun, die Ergebnisse unterscheiden sich von denen, die wir zuvor gesehen haben. Ist das nicht wichtig? "

Alle Scherze beiseite, als datengetriebene Vermarkter, werden wir nicht nur gebeten, die Ergebnisse unserer Marketingkampagnen zu messen, sondern auch die Gültigkeit der Daten zu demonstrieren.

Erst kürzlich hatte ich einen Anruf bei einem Kunden, der genau das fragte. Die beiden Vermarkter hatten jeweils eine Version einer Zielseite erstellt und die A / B-Testfunktionen von SeoAnnuaire verwendet, um die Ergebnisse zu sammeln. Sie hatten eine freundliche Wette, um die man gewinnen würde. Nach ein paar Tagen hatten sie die Ergebnisse; eine hatte eine etwas höhere Konversionsrate, aber sie fragten sich, ob die Ergebnisse statistisch signifikant waren. (Ich gehe davon aus, dass es die Person mit der niedrigeren Konversionsrate war, die diese Frage gestellt hat.) Ich liebe einen kleinen, freundlichen Wettbewerb - meine Familie erzählt immer noch die Geschichte, wie ich meinen Bruder gerade zu einem Apfelschälwettbewerb herausgefordert habe um "Dinge interessant zu machen" ein Thanksgiving. Unnötig zu erwähnen, dass ich glücklich war, diese Wette zu regeln.

Zwar gibt es eine Reihe kostenloser Tools, mit denen Sie die statistische Signifikanz berechnen können (SeoAnnuaire hat sogar eines hier). Um jedoch wirklich zu verstehen, was diese Tools Ihnen sagen, ist es hilfreich zu verstehen, was sie berechnen und was sie bedeuten. Wir werden die Zahlen anhand eines speziellen Beispiels untersuchen, um Ihnen das Verständnis der statistischen Signifikanz zu erleichtern.

So berechnen Sie die statistische Signifikanz

1. Bestimmen Sie, was Sie testen möchten

Entscheiden Sie zuerst, was Sie testen möchten. Dies kann ein Vergleich der Conversion-Raten auf zwei Zielseiten mit unterschiedlichen Bildern, der Klickraten bei E-Mails mit unterschiedlichen Betreffzeilen oder der Conversion-Raten bei unterschiedlichen Handlungsaufforderungen am Ende eines Blog-Posts sein. Die Auswahlmöglichkeiten sind endlos. Mein Rat wäre, es einfach zu halten; Wählen Sie einen Inhalt aus, für den Sie zwei verschiedene Variationen erstellen möchten, und entscheiden Sie, welches Ziel Sie verfolgen möchten - eine bessere Conversion-Rate oder mehr Aufrufe sind ein guter Ausgangspunkt.

Sie können sicherlich weitere Variationen testen oder sogar einen multivariaten Test erstellen. In diesem Beispiel bleiben wir jedoch bei zwei Variationen einer Zielseite mit dem Ziel, die Conversion-Raten zu erhöhen. Wenn Sie mehr über A / B-Tests und multivariate Tests erfahren möchten, lesen Sie "Der kritische Unterschied zwischen A / B- und multivariaten Tests".

2. Sammeln Sie Ihre Daten

Nachdem Sie festgelegt haben, was Sie testen möchten, ist es Zeit, mit der Erfassung Ihrer Daten zu beginnen. Da Sie diesen Test wahrscheinlich ausführen, um festzustellen, welcher Inhalt in Zukunft am besten zu verwenden ist, sollten Sie eine Stichprobengröße ermitteln. Bei einer Zielseite kann dies bedeuten, dass Sie eine festgelegte Zeitspanne für die Ausführung Ihres Tests festlegen (z. B., dass Ihre Seite 3 Tage lang aktiv ist). Für etwas wie eine E-Mail können Sie eine zufällige Stichprobe aus Ihrer Liste auswählen, um Variationen Ihrer E-Mails nach dem Zufallsprinzip an zu senden. Die Bestimmung der richtigen Stichprobengröße kann schwierig sein, und die richtige Stichprobengröße variiert zwischen den einzelnen Tests. Als allgemeine Faustregel möchten Sie, dass der erwartete Wert für jede Variation größer als 5 ist. (Wir werden die erwarteten Werte weiter unten behandeln.)

3. Berechnen Sie die Chi-Quadrat-Ergebnisse

Es gibt verschiedene statistische Tests, mit denen Sie die Signifikanz anhand Ihrer Daten messen können. Welche Methode am besten geeignet ist, hängt davon ab, was Sie testen möchten und welche Art von Daten Sie erfassen. In den meisten Fällen verwenden Sie einen Chi-Quadrat-Test, da die Daten diskret sind. Diskret kann man nur sagen, dass es eine endliche Anzahl von Ergebnissen gibt, die produziert werden können. Beispielsweise wird ein Besucher entweder konvertieren oder nicht konvertieren. Es gibt keine unterschiedlichen Konversionsgrade für einen einzelnen Besucher.

Bevor ich mit der Datenerfassung beginne, finde ich es hilfreich, meine Hypothese zu Beginn des Tests anzugeben und den Grad des Vertrauens zu bestimmen, den ich testen möchte. Da ich eine Zielseite teste und prüfen möchte, ob eine bessere Leistung erzielt wird, gehe ich davon aus, dass ein Zusammenhang zwischen der Zielseite, die die Besucher erhalten, und ihrer Conversion-Rate besteht . Sie können anhand verschiedener Vertrauensgrade testen (manchmal auch als Alpha des Tests bezeichnet). Wenn Sie möchten, dass die statistische Signifikanz umso höher ist, desto niedriger ist Ihr Alpha. Möglicherweise wurde statistische Signifikanz in Bezug auf das Vertrauen angegeben. Zum Beispiel: "Die Ergebnisse sind mit 95% iger Sicherheit statistisch signifikant." In diesem Szenario war das Alpha .05 (die Konfidenz wird als 1 minus Alpha berechnet), was bedeutet, dass es eine von 20 Chancen gibt, einen Fehler in der angegebenen Beziehung zu machen.

Nachdem ich die Daten gesammelt habe, füge ich sie in ein Diagramm ein, um die Organisation zu vereinfachen. Da ich 2 verschiedene Varianten (A und B) ausprobiere und es 2 mögliche Ergebnisse gibt (konvertiert, nicht konvertiert), habe ich ein 2x2-Diagramm. Ich zähle jede Spalte und Zeile zusammen, damit ich die Ergebnisse zusammen leicht sehen kann.

Nun berechne ich die erwarteten Werte. Wenn im obigen Beispiel keine Beziehung zwischen den angezeigten Zielseitenbesuchern und ihrer Conversion-Rate besteht, ist zu erwarten, dass sowohl Version A als auch Version B dieselben Conversion-Raten aufweisen. Aus den Gesamtsummen geht hervor, dass 1.945 Personen konvertiert haben von den 4.935 Besuchern insgesamt oder rund 39% der Besucher. Um die erwarteten Häufigkeiten für jede Version der Zielseite zu berechnen, sofern kein Unterschied besteht, können Sie die Zeilensumme für diese Zelle mit der Spaltensumme für diese Zelle multiplizieren und durch die Gesamtzahl der Besucher dividieren. In diesem Beispiel würde ich die folgende Gleichung verwenden, um den erwarteten Konvertierungswert für Version A zu ermitteln: (1945 * 2401) / 4935 = 946

Um das Chi-Quadrat zu berechnen, vergleiche ich die beobachteten Frequenzen mit den erwarteten Frequenzen. Dieser Vergleich erfolgt durch Subtrahieren des Beobachteten vom Erwarteten, Quadrieren des Ergebnisses und anschließendes Dividieren durch den Wert der erwarteten Häufigkeit. Im Wesentlichen versuche ich zu sehen, wie unterschiedlich meine tatsächlichen Ergebnisse von den erwarteten sind. Durch Quadrieren der Differenz werden die Auswirkungen der Differenz verstärkt, und durch Teilen durch die erwarteten Ergebnisse werden die Ergebnisse normalisiert. Die Gleichung sieht so aus: (erwartet - beobachtet) ^ 2) / erwartet

Ich summiere dann die vier Ergebnisse, um meine Chi-Quadrat-Nummer zu erhalten. In diesem Fall ist es 0, 95. Um festzustellen, ob die Conversion-Raten für meine Zielseiten von statistischer Bedeutung sind oder nicht, vergleiche ich diese mit dem Wert aus einer Chi-Quadrat-Verteilungstabelle basierend auf meinem Alpha (in diesem Fall 0, 05) und den Freiheitsgraden. Freiheitsgrade basieren auf der Anzahl der Variablen, die Sie haben. Bei einer 2x2-Tabelle wie in diesem Beispiel beträgt der Freiheitsgrad 1.

In diesem Fall müsste der Chi-Quadrat-Wert 3, 84 betragen oder überschreiten, damit die Ergebnisse statistisch signifikant sind. Da 0, 95 weniger als 3, 84 ist, unterscheiden sich meine Ergebnisse statistisch nicht . Dies bedeutet, dass kein Zusammenhang zwischen der Version der Zielseite, die ein Besucher erhält, und der Conversion-Rate mit statistischer Signifikanz besteht.

Warum statistische Signifikanz von Bedeutung ist

Möglicherweise fragen Sie sich, warum dies wichtig ist, wenn Sie nur ein kostenloses Tool zum Ausführen der Berechnung verwenden können. Wenn Sie wissen, wie die statistische Signifikanz berechnet wird, können Sie anhand Ihrer eigenen Experimente feststellen, wie Sie die besten Testergebnisse erzielen. Viele Tools verwenden eine Konfidenzrate von 95%. Für Ihre Experimente kann es jedoch sinnvoll sein, eine niedrigere Konfidenzrate zu verwenden, wenn der Test nicht so streng sein muss. Wenn Sie die zugrunde liegenden Berechnungen verstehen, können Sie auch erklären, warum Ihre Ergebnisse für Personen von Bedeutung sein können, die mit Statistiken noch nicht vertraut sind.

Wenn Sie die in diesem Beispiel verwendete Tabelle herunterladen möchten, damit Sie die Berechnungen selbst anzeigen können, klicken Sie hier.

Bildnachweis: Caitlinator

Vorherige Artikel «
Nächster Artikel