I test A/B fuorvianti sono semplici

di Rostyslav Mykhajliw Fondatore di TrueSocialMetrics.com ~ 4 min

Classico

Il classico test A/B è una distribuzione tra diversi stati. Partiamo da un campione generale che tutti usano. Abbiamo un sito con un pulsante di registrazione, attualmente è blu, ma vogliamo testare un nuovo colore rosso.

A/B testing

Quindi assegniamo lì un po 'di traffico e ne aspettiamo un po'. C'è un semplice calcolatore per statistical significance.

Opzione A: 50k visite - 500 iscrizioni Opzioni B: 50.000 visitatori - 570 iscrizioni - vincitore

B è un vincitore, è chiaro. Più iscrizioni, significatività statistica.

Un nuovo classico dalle mele alle arance

Aspettare un po! Stiamo rilasciando qualcosa di nuovo. Ad esempio, stiamo aggiungendo un pulsante "demo" per una panoramica della guida passo passo attraverso il prodotto. A/B testing a new feature

Se seguiamo una semplice logica di test A/B, non funziona! Perché non possiamo paragonare le mele alle arance. Non possiamo paragonare niente a qualcosa! È totalmente errato. Se non è presente un pulsante demo, gli utenti potrebbero avere un'esperienza peggiore rispetto a coloro che hanno questa opzione. Ma questa opzione può aiutare solo gli utenti che sono già interessati al prodotto o che hanno già dichiarato di utilizzare il prodotto di recente. Anche se hai milioni di traffico non puoi dire come funziona in poche ore/giorni perché i risultati possono essere posticipati nel tempo.

Per una nuova funzionalità dovrebbe essere rilasciato lineare come processo di rilascio enterale. Solo allora, dopo qualche tempo, potremmo esaminarlo e capire se ha avuto o meno un impatto sull'esperienza del cliente, ma monitorando le metriche aziendali. I test A/B NON sono applicabili per una nuova funzionalità.

AA/BB mette alla prova la fiducia

Torna al primo campione con il pulsante di registrazione. Se la nostra ipotesi è corretta, possiamo aggiungere più opzioni A e più opzioni B e nulla è cambiato, perché B può ancora vincere la battaglia.

AA/BB testing

Quindi guarda i risultati:

A1: 50k visite - 500 iscrizioni A2: 50.000 visitatori - 580 iscrizioni - vincitore B1: 50.000 visitatori - 570 iscritti - vincitore B2: 50k visitatori - 500 iscrizioni

CHE COSA! CHE COSA! CHE COSA! Puoi dire che è impossibile, ma questa situazione mostra la differenza se l'allocazione dei visitatori ha effetto sui risultati dei test. E questi risultati mostrano una significatività statistica stabile del 95% ma confidenza bassa.

Test adattivi

Se torniamo all'inizio dell'articolo noteremo un enorme traffico di 50.000 visitatori e 500 transizioni necessarie per ricevere risultati significativi. Tuttavia non tutte le pagine hanno questa possibilità. Non tutte le startup sono abbastanza buone per generare un tale traffico, o potrebbe trattarsi di pagine a basso traffico come impostazioni/fatturazioni, ecc. o giù di lì. Il prossimo svantaggio dell'approccio generale è che almeno 50.000 visitatori (dai 100.000 assegnati al test) peggiorano l'esperienza del cliente. Quindi stiamo aspettando da molto tempo e perdendo clienti a causa dell'assegnazione a un test "perdente". Ha senso? In ambito sanitario i medici incrociavano i casi, ma in un tavolo c'era la vita delle persone. Se facciamo un test durante la strega, il 50% delle pazienti sta morendo a causa di "cure non ancora testate". Ed è fottutamente pazzesco. Ecco un ragazzo Marvin Zelen che ha avuto l'idea di Adaptive test, chiamato ora Zelen’s design.

In parole povere

Immaginiamo di avere 2 possibilità: palline rosse e blu, quindi statisticamente è il 50% di probabilità.

Adaptive test initial state

Ad esempio, assegniamo in modo casuale il visitatore a "blu" e "blu" è un'esperienza migliore perché abbiamo ottenuto l'acquisto. In questo caso "blu" sta vincendo, ecco perché aggiungiamo una pallina "blu" in più al pool.

Adaptive test added blue ball

Quando la probabilità del risultato è cambiata "rosso" - 33% e "blu" - 67%

Suona bene! Ma il prossimo visitatore con "blu" non fa nulla. Quindi "blu" sta perdendo, ecco perché dobbiamo rimuovere una pallina "blu" dal pool e abbiamo ottenuto il nostro stato precedente.

Adaptive test final state

Vantaggi: + funziona per una piccola quantità di traffico + fornisce in modo adattivo una migliore assistenza agli utenti Svantaggi: - richiede che gli sviluppatori lavorino per capire i test vincenti/perdenti nel processo di test

Commozioni cerebrali

  • Il test A/B classico non funziona per una nuova funzionalità perché non puoi testare nulla con qualcosa
  • Di solito i test A/B NON sono rappresentativi anche se la tua analisi dice che lo sono
  • L'approccio AA/BB aiuta a controllare i risultati dei test A/B
  • Il test adattivo è estremamente utile per il traffico ridotto, ma richiede un lavoro manuale per raggiungere gli obiettivi


Quando sei pronto a scuotere le tue analisi sui social media

prova TrueSocialMetrics!


Inizia la prova
Nessuna carta di credito richiesta.






Continua a leggere




Pagine di destinazione bloccate: la strada verso il nulla
Ultimamente, le pagine di destinazione lock-in sono diventate più popolari perché si dice che aumentino il tasso di conversione. L'idea generale di tale pagina è rimuovere tutte le distruzioni, parti non importanti di una pagina, per aiutare le persone a raggiungere l'obiettivo


DoubleTree Hotels su Facebook: benchmark dei marchi Fellow
Un enorme vantaggio sleale dei grandi marchi con filiali regionali e marchi gemelli è la capacità di creare il proprio standard interno per confrontare e confrontare le tattiche di contenuto efficaci dei marchi simili. Studiamo il caso della presenza su Facebook di alcune famose catene alberghiere, come DoubleTree Hotel by Hilton in Europa.


Pianifica i tweet con TrueSocialMetrics
La pianificazione dei tweet è ora disponibile su True. Woohoo! Siamo entusiasti di annunciare che ora puoi pubblicare e programmare i tweet direttamente dal tuo account TrueSocialMetrics. Non c'è bisogno di passare da uno strumento all'altro ora: pubblica i tweet e analizzali in un unico posto.


30 giorni di consigli per migliorare la tua presenza sui social media
Se stai cercando modi per aumentare le tue statistiche sui social media, il modo migliore per farlo è continuare a sperimentare e provare cose nuove. Ho raccolto 30 piccoli e semplici esperimenti e trucchi per la crescita che puoi provare questo mese per vedere cosa funziona per te. Sono tutti a basso costo e facili da implementare, ma anche le più piccole modifiche possono portare a grandi miglioramenti.