Το A/B testing συγκρίνει δύο εκδοχές μιας εμπειρίας σε ομάδες χρηστών που κατανέμονται τυχαία. Μπορεί να σας βοηθήσει να ελέγξετε μια υπόθεση για σελίδα, μήνυμα ή ροή αγοράς. Η προσωποποίηση είναι διαφορετική απόφαση: συγκεκριμένα τμήματα κοινού βλέπουν διαφορετική εμπειρία με βάση επιτρεπτά δεδομένα ή κανόνες. Μπορείτε να χρησιμοποιήσετε A/B tests για να ελέγξετε αν μια ιδέα προσωποποίησης πράγματι βοηθά το αντίστοιχο κοινό.
Από το πρόβλημα σε μια ελέγξιμη υπόθεση
Ξεκινήστε από παρατηρούμενη δυσκολία. Αν στο checkout πολλοί σταματούν όταν εμφανίζονται μεταφορικά, η υπόθεση μπορεί να είναι: «Η έγκαιρη εμφάνιση συνολικού κόστους θα αυξήσει τις ολοκληρωμένες παραγγελίες». Η αλλαγή έχει σαφή μηχανισμό και πρωτεύον μέτρο. Το χρώμα ενός κουμπιού χωρίς σχέση με την τριβή του χρήστη είναι συνήθως πιο αδύναμη υπόθεση.
Ορίστε πριν την έναρξη ποιοι χρήστες μπαίνουν στο πείραμα, ποια είναι η εκδοχή A, ποια η B, ποια είναι η κύρια μέτρηση και ποια guardrails θα ελέγξετε, όπως σφάλματα, ακυρώσεις ή αξία παραγγελίας. Βεβαιωθείτε ότι τα events λειτουργούν και ότι ο ίδιος χρήστης βλέπει σταθερά την ίδια εκδοχή. Η τυχαία κατανομή βοηθά να διακρίνετε την επίδραση της αλλαγής από άλλες διαφορές ανάμεσα σε ομάδες.
Σχεδιάστε μέγεθος δείγματος και διάρκεια
Η απαιτούμενη κίνηση εξαρτάται από το αρχικό conversion rate, το μέγεθος αλλαγής που αξίζει να ανιχνεύσετε και τη μέθοδο ανάλυσης. Το Optimizely εξηγεί ότι κάθε υπολογισμός δείγματος έχει παραδοχές. Σε κλασικό fixed-horizon test, ορίστε δείγμα και κανόνα λήξης πριν δείτε τα αποτελέσματα· η συχνή πρόωρη διακοπή μπορεί να αυξήσει τα ψευδώς θετικά συμπεράσματα. Διαφορετικές στατιστικές μέθοδοι έχουν διαφορετικούς κανόνες, άρα ακολουθήστε εκείνον του εργαλείου σας.
Μην θεωρείτε τις «δύο εβδομάδες» καθολικό κανόνα. Χρειάζεται επαρκές δείγμα και κάλυψη της κανονικής εβδομαδιαίας συμπεριφοράς, με προσοχή σε εκπτώσεις, αργίες και τεχνικές αλλαγές. Αν η κίνηση είναι μικρή, προτιμήστε μεγαλύτερες, τεκμηριωμένες βελτιώσεις και ποιοτική έρευνα πριν ένα τεστ που δεν μπορεί να δώσει χρήσιμο συμπέρασμα.
Πώς διαβάζετε το αποτέλεσμα
Συγκρίνετε την κύρια μέτρηση και το εύρος αβεβαιότητας, μαζί με τα guardrails. Μια αύξηση clicks στο CTA δεν αρκεί αν οι αγορές δεν βελτιώνονται ή αν αυξάνονται οι ακυρώσεις. Ελέγξτε αν η κατανομή επισκεπτών ήταν σωστή, αν τα ίδια άτομα μετρήθηκαν όπως σχεδιάστηκε και αν συνέβη τεχνικό πρόβλημα. Ένα μη καθαρό αποτέλεσμα δεν αποδεικνύει ότι A και B είναι ισοδύναμα· μπορεί το τεστ να μην είχε αρκετή ισχύ για τη διαφορά που σας ενδιαφέρει.
Πώς συνδυάζεται με προσωποποίηση
Η προσωποποίηση αρχίζει από μια συγκεκριμένη, εξηγήσιμη διαφορά ανάγκης, όχι από το γεγονός ότι διαθέτετε πολλά δεδομένα. Για παράδειγμα, ένα ξενοδοχείο μπορεί να έχει διαφορετική σελίδα για επαγγελματική διαμονή και για οικογενειακές διακοπές, επειδή οι επισκέπτες αναζητούν διαφορετικές παροχές. Αυτό είναι μια στοχευμένη εμπειρία με γνωστό κανόνα. Για να αξιολογήσετε αν βοηθά, κρατήστε μέσα στο σχετικό segment μια ομάδα ελέγχου που βλέπει τη γενική σελίδα και συγκρίνετε με ομάδα που βλέπει την ειδική. Μετρήστε κράτηση ή ποιοτικό αίτημα, όχι μόνο το click σε μια παροχή.
Μπορείτε επίσης να δοκιμάσετε δύο παραλλαγές μέσα σε κάθε segment, όταν κάθε ομάδα έχει αρκετή κίνηση. Έτσι αποφεύγετε το λάθος να δείξετε μια διαφορετική σελίδα σε κάθε κοινό και να αποδώσετε τη διαφορά αποτελέσματος στη σελίδα, ενώ τα κοινά εξαρχής είχαν διαφορετική πρόθεση. Οι έρευνες της Microsoft για online πειράματα υπογραμμίζουν τη σημασία σωστής τυχαιοποίησης και αξιόπιστης ανάλυσης.
Προσδιορίστε εκ των προτέρων ποια δεδομένα επιτρέπεται να χρησιμοποιηθούν, πώς εξηγείται η εμπειρία στον χρήστη και ποιος μπορεί να δει ή να αλλάξει τους κανόνες. Σε αυτοματοποιημένη προσωποποίηση, κρατήστε ελεγχόμενες παραλλαγές, log του τι είδε κάθε ομάδα και σταθερή ομάδα ελέγχου. Αν δεν μπορείτε να αποδώσετε αξιόπιστα το αποτέλεσμα σε συγκεκριμένη απόφαση, το «έξυπνο» σύστημα δεν σας δίνει χρήσιμη μάθηση.
Παράδειγμα από e-shop
Ένα e-shop θέλει περισσότερες προσθήκες στο καλάθι. Αντί να αλλάξει ταυτόχρονα χρώμα, κείμενο και θέση του κουμπιού, ελέγχει αν η σαφέστερη πληροφορία διαθεσιμότητας δίπλα στο «Προσθήκη στο καλάθι» βοηθά. Καθορίζει κύρια μέτρηση τις ολοκληρωμένες παραγγελίες και δευτερεύουσα τις προσθήκες. Αν η δοκιμή δείξει βελτίωση μόνο σε μια προαποφασισμένη κατηγορία προϊόντων, ελέγχει αν το εύρημα επαναλαμβάνεται πριν μετατρέψει την κατηγορία σε μόνιμο κανόνα προσωποποίησης.
Κάθε τεστ πρέπει να αφήνει μια σαφή απόφαση: υιοθέτηση, επανάληψη με καλύτερα δεδομένα ή απόρριψη της υπόθεσης. Η μάθηση έχει αξία ακόμη κι όταν δεν προκύπτει «νικήτρια» παραλλαγή.
Συνήθη λάθη που χαλούν ένα καλό πείραμα
Μην αλλάζετε την εκδοχή B στη μέση της δοκιμής επειδή τα πρώτα clicks φαίνονται χαμηλά. Μην τρέχετε ταυτόχρονα καμπάνια που στέλνει πολύ διαφορετικό κοινό μόνο στη μία παραλλαγή. Μην επιλέγετε εκ των υστέρων όποιο metric εμφανίζεται θετικό, ενώ ο βασικός στόχος δεν άλλαξε. Κρατήστε ημερολόγιο για release, προβλήματα tracking και προωθητικές ενέργειες ώστε να μπορείτε να ερμηνεύσετε τα δεδομένα.
Στην προσωποποίηση προσθέστε έναν ακόμη έλεγχο: ελέγξτε αν ο κανόνας segment εφαρμόζεται όπως συμφωνήθηκε και αν υπάρχει ικανοποιητική κάλυψη σε κάθε ομάδα. Μια σελίδα για «επιστρέφοντες πελάτες» δεν μπορεί να κριθεί από ανώνυμους νέους επισκέπτες που μπήκαν κατά λάθος στο segment. Αν η ιδέα απαιτεί προσωπικά δεδομένα που δεν είναι διαθέσιμα ή δεν επιτρέπεται να χρησιμοποιηθούν, ξανασχεδιάστε τη με λιγότερα δεδομένα ή αφήστε την. Η δυνατότητα τεχνικής στόχευσης δεν σημαίνει ότι η στόχευση είναι χρήσιμη.
Πού εφαρμόζεται εκτός website
Σε email μπορείτε να συγκρίνετε δύο θέματα ή δύο εκδοχές περιεχομένου, κρατώντας ίδιο το κοινό και την περίοδο αποστολής όσο γίνεται. Μην κρίνετε μόνο το άνοιγμα αν ο στόχος είναι εγγραφή ή πώληση. Σε ένα προϊόν μπορείτε να δοκιμάσετε διαφορετική ροή onboarding και να μετρήσετε ολοκλήρωση της χρήσιμης πρώτης ενέργειας. Σε διαφήμιση μπορείτε να συγκρίνετε μηνύματα με ίδια βασική στόχευση και landing εμπειρία, έχοντας υπόψη ότι οι πλατφόρμες μπορεί να κατανέμουν την προβολή με δικούς τους κανόνες. Καταγράψτε αυτούς τους κανόνες πριν ερμηνεύσετε αποτέλεσμα σαν αυστηρά τυχαιοποιημένο A/B.
Σε κάθε περιβάλλον ισχύει η ίδια πειθαρχία: μία σαφής υπόθεση, σταθερός ορισμός πληθυσμού, πρωτεύουσα μέτρηση και καταγραφή των αλλαγών. Η προσωποποίηση προσθέτει την ερώτηση «για ποιο συγκεκριμένο segment έχει νόημα η αλλαγή;» και απαιτεί ομάδα σύγκρισης μέσα σε αυτό το segment.
Αρχικό άρθρο που ενσωματώθηκε: Φιλαλίθη Ευτυχία.
