11 najczęstszych błędów CRO

O ile prawie każdy może osiągnąć jednorazowy wzrost współczynnika konwersji, o tyle konsekwentne wygrywanie jest już zupełnie innym wyzwaniem. Co więcej, wielu praktyków CRO odkrywa, że nawet jeśli osiągają pożądane rezultaty, ich zwycięskie warianty nie sprawdzają się w przypadku 100% ruchu na stronie.

Na szczęście, prawie wszystkie trudności związane z CRO można przypisać do kilku podstawowych błędów. Oto one:

1. Testy są zbyt małe
   Choć ważne jest, aby nie poświęcać całego czasu na wielkie eksperymenty, nie należy również poświęcać całego czasu na testowanie drobnych poprawek.

Eksperymentowanie daje szansę na wypróbowanie najśmielszych i najbardziej błyskotliwych pomysłów - pomysłów, które mają potencjał, aby całkowicie zrewolucjonizować sposób funkcjonowania firmy a jeśli wszystkie Twoje eksperymenty skupiają się na drobnych poprawkach, tracisz jedną z największych możliwości, jakie oferuje CRO: podejmowanie ryzyka z kaftanem bezpieczeństwa

Idealnie byłoby, gdyby Twój program był połączeniem małych testów o niskim ryzyku i wysokim prawdopodobieństwie wygranej oraz testów o wyższym ryzyku, które mogą zakończyć się horrendalną porażką lub spektakularnym sukcesem.

1. Pogoń za zwycięzcami
   Wzrost konwersji jest na pewno ważny, ale jeśli CRO jest prowadzone właściwie, powinno również polegać na zbieraniu informacji o klientach i wypróbowywaniu śmiałych, innowacyjnych pomysłów z ułamkiem zwykłego ryzyka.

Dlatego, jeśli wygrywamy zbyt wiele eksperymentów, powinniśmy się zastanowić, czy jesteśmy wystarczająco odważni.

Wysoki wskaźnik wygranych może wyglądać dobrze na papierze, ale musisz postrzegać to go jako oznakę, że podchodzisz do tematu zbyt ostrożnie, wprowadzając w życie pomysły, co do których mamy już uzasadnione powody, by sądzić, że się sprawdzą.

Największą wartość z CRO czerpiemy wtedy, gdy uczymy się rzeczy, których wcześniej nie wiedzieliśmy - to pozwala nam zacząć osiągać większe, bardziej zaskakujące zwycięstwa, które później możemy wykorzystać nie tylko do kształtowania mapy drogowej eksperymentów, ale także strategii produktowych, cenowych i biznesowych.

1. Brak hipotez
   Wiele osób zajmujących się dziś CRO po prostu przeprowadza swoje testy, analizuje wyniki, sprawdza, czy dana zmiana wygrała czy przegrała, a następnie przechodzi do kolejnego eksperymentu.

Z jednej strony należy pochwalić te osoby za to, że przeprowadzają eksperymenty i opierają swoje decyzje na dowodach empirycznych. Z drugiej jednak strony, każdy test powinien być zaprojektowany tak, aby sprawdzał hipotezę.

W ten sposób, nawet jeśli test zakończy się porażką, przynajmniej czegoś się nauczysz, tzn. że Twoja hipoteza była błędna. Tę wiedzę można wykorzystać w przyszłych eksperymentach, które mają większe szanse powodzenia.

1. Błędy statystyczne
   Błędy statystyczne dotyczącymi testowania ab są przyczyną wielu trudności związanych z CRO.

Na przykład, wiele osób kończy swoje testy, gdy tylko osiągną one 90 lub 95% istotności.

Mats Einarsen pokazał, dlaczego jest to zły pomysł.

Przeprowadził symulację 1000 testów A/A (w których kontrola i wariacja są identyczne) i odkrył, że 531 z nich przynajmniej raz osiągnęło 95% istotności statystycznej!

Pokazuje to, że jeśli przerwiesz eksperyment, gdy tylko osiągnie on pewien poziom istotności - nawet jeśli poziom ten jest ustalony na 95 lub 99% - istnieje duże prawdopodobieństwo, że wynik będzie efektem ślepego trafu.

Aby uniknąć tego błędu, należy określić wymaganą liczebność próby jeszcze przed rozpoczęciem badania - i należy się jej trzymać.

1. Brak badań
   Kolejnym wyzwaniem jest podjęcie decyzji, co testować.

Czy powinieneś zmienić obrazek bohatera? Czy powinieneś sprawić, by nagłówki miały bardziej emocjonalny wydźwięk? Jak zdecydować, który z tych pomysłów przetestować? Co więcej, jak określić, czy któryś z nich jest warty przetestowania?

Aby odpowiedzieć na te pytania, musisz przeprowadzić badania.

Badania mogą przybierać różne formy - audyty analityczne, scrollmapy, heatmapy, ankiety, testy z użytkownikami, testy biometryczne itp. - Dzięki nim dowiesz się, gdzie i dlaczego odwiedzający Twoją stronę internetową nie dokonują konwersji. Dzięki tym informacjom musisz mieć dobry pomysł na to, które hipotezy warto przetestować, a które powinny zostać przesunięte na dalszy plan na liście priorytetów.

1. Efekt FOOC
   Zdarza się, że podczas przeprowadzania testów a/b w przeglądarce pojawi się oryginalna wersja strony, zanim wariant zostanie ostatecznie "odpalony" na swoje miejsce. Zjawisko to znane jest jako efekt migotania (lub flash of original content (FOOC)) i może wywołać spustoszenie w Twoich eksperymentach.

Nie tylko psuje ono wrażenia użytkownika, ale pokazując użytkownikom obie wersje strony - kontrolną i zmienioną - wpływa na sposób, w jaki reagują oni na eksperyment, unieważniając wyniki.

1. Zbytnie poleganie na najlepszych praktykach, zbyt małe poleganie na testach
   Optymalizacja współczynnika konwersji, jeśli jest przeprowadzana prawidłowo, polega na testowaniu hipotez i podejmowaniu decyzji w oparciu o najlepsze dostępne dowody. Niestety, wiele osób zajmujących się dziś CRO po prostu stosuje pewne "najlepsze praktyki" (np. CTA powinny być w kolorze czerwonym) na swoich stronach internetowych, nigdy nie testując, czy te najlepsze praktyki są dla nich właściwe.

To, że coś działa dobrze w przypadku niektórych stron, nie oznacza, że będzie działać równie dobrze - lub w ogóle - w przypadku innych.

Poleganie wyłącznie na najlepszych praktykach jest receptą na rozczarowanie.

Jeśli poważnie myślisz o optymalizacji swojej witryny, musisz testować swoje hipotezy.

1. Brak analizy segmentów
   Czasami, z wielu różnych powodów, jeden wariant będzie dobrze działał w jednym segmencie, a w innym nie.

Wariant testowy osiągnie, powiedzmy, 2% wzrost konwersji, ale kiedy zagłębimy się w dane, okaże się, że w rzeczywistości wzrost na urządzeniach mobilnych wyniósł +12%, a na komputerach stacjonarnych -10%.

Tego typu odkrycia mają realne, wymierne implikacje.

Na przykład, dlaczego użytkownicy urządzeń mobilnych tak pozytywnie zareagowali na tę zmianę? A dlaczego użytkownicy komputerów stacjonarnych zareagowali tak słabo? Czy możemy stworzyć nowe eksperymenty, aby wykorzystać te wyniki? Czy powinniśmy wyświetlać tę nową wersję strony użytkownikom mobilnym, ale pozostawić kontrolę dla użytkowników komputerów stacjonarnych? Czy takie postępowanie nie wpłynie negatywnie na spójność doświadczeń użytkowników?

Są to ważne pytania, na które należy odpowiedzieć, ale jeśli nie analizujesz danych dotyczących wyników i nie przyglądasz się różnym segmentom, możesz je całkowicie przeoczyć.

Niewielkie zapewnienie jakości lub jego brak
Bez względu na to, jak dokładne są badania i jak dobrze zaprojektowany eksperyment, jeśli strony internetowe nie wyświetlają się tak, jak powinny - lub jeśli wyświetlają się inaczej na różnych urządzeniach, w różnych przeglądarkach, w różnych rozdzielczościach itp. - to wyniki mogą być przekłamane.

Szum powodowany przez obecnych klientów
Zdarza się, że przeprowadzisz mnóstwo badań i zbudujesz wariant strony, co do którego jesteś przekonany/a, że wygra, tylko po to, by stwierdzić, że kiedy przyjdzie do testowania, współczynnik konwersji prawie się nie zmienił, a wynik nie osiągnął istotności statystycznej.

Co się stało?

Cóż, czasami tak właśnie jest. Bez względu na to, jak wiele badań przeprowadzisz, nie ma gwarancji, że zmiany, które wprowadzisz, przyniosą zamierzony efekt. Dlatego właśnie testowanie jest tak ważne.

Czasami jednak istnieje inne wytłumaczenie:

Załóżmy, że 90% osób odwiedzających Twoją witrynę to dotychczasowi klienci. Zostali oni już przekonani o wartości Twojego produktu, więc kiedy odwiedzają Twoją stronę, chcą po prostu złożyć zamówienie.

Dla tych osób zmiany, które wprowadzisz, raczej nie będą miały większego wpływu na ich zachowanie - kupią produkt niezależnie od tego, czy dodasz nowe zdjęcia, zmienisz nagłówek itp.

W takich sytuacjach wiele osób popełnia błąd, przeprowadzając testy na dotychczasowych klientach i nowych użytkownikach jednocześnie. Jeśli dotychczasowi klienci stanowią znaczną część całego ruchu na stronie, może to spowodować zamulenie wyników i utrudnić uzyskanie ostatecznych rezultatów.

Zamiast tego często trzeba znaleźć sposób na wyodrębnienie nowych użytkowników, aby mieć pewność, że tylko oni są objęci testem.

Jednym ze sposobów jest włączenie do próby tylko nowych użytkowników (nie zawsze jest to możliwe). Innym sposobem jest wybranie głównej metryki, która jest związana wyłącznie z aktywnością nowych użytkowników - na przykład tworzenie kont.

1. Przeprojektowanie całej witryny

Wszyscy znamy główny powód zmiany strony internetowej w firmach -> "Bo jest stara. Wypadałoby ją zmienić"

Następnie wydają kupę kasy, na piękny layout, tylko nie zmieniło to nic we współczynniku konwersji, a czasami go pogarsza.

Dlaczego? Bo nie każdy element strony był zły. A podejście "zaorać i postawić nową" nie działa.
Niech Twoja strona żyje cały czas i wprowadzaj zmiany iteracyjnie.