Przewodnik dla początkujących użytkowników testowania A/B: konwertujące kampanie e-mailowe

Sierpień 16, 2012 Analityka Internetowa

Kampanie e-mailowe i newslettery mogą być świetnym sposobem na powtarzalność biznesu, jak i na nowych klientów. Jeśli pracujemy już z jakąś przedwstępną bazą, to osoby, które do niej należą chętnie  otrzymują od nas informacje. Wiele z nich prawdopodobnie współpracowało już z nami. W końcu, łatwiej i taniej jest utrzymać klientów, niż zdobyć nowych.

Podjęcie decyzji, co będzie testowane

Pierwszym krokiem w tworzeniu skutecznego testu A/B jest zadecydowanie, co chcemy testować. Ważne jest, aby była to tylko jedna rzecz. Dzięki temu, możliwe będzie uzyskanie dokładnych wyników. W kontekście testowania, warto jest rozważyć następujące elementy:

  • Wezwanie do działania (np: „Kup teraz” vs. „Zobacz plany i cennik”)
  • Wiersz tematu (np: „Produkt X na sprzedaż” vs. „Zniżki na produkt X”)
  • Załączenie referencji (czy też zupełne ich wyłączenie)
  • Personalizacja (np: „Pani Kowalska” vs. „Anna”)
  • Tekst główny
  • Nagłówek
  • Tekst zamykający
  • Obrazy
  • Konkretna oferta (np: „Zaoszczędź 20%” vs. „Otrzymaj bezpłatną wysyłkę”)

Każdy z tych elementów może mieć wpływ na różne części procesu konwersji. Na przykład, call-to-action ma bezpośredni wpływ na to, ile ludzi kupuje nasz produkt czy też klika na stronę landingową. Wiersz tematu bezpośrednio wpływa na liczbę osób, które w pierwszej kolejności otwierają nasze wiadomości e-mail.

W momencie podejmowania decyzji, powinniśmy ustalić, które rzeczy powinny być testowane w pierwszej kolejności. Jeśli niewiele osób otwiera nasze e-maile, to prawdopodobnie będziemy chcieli zacząć od sprawdzenia tematu. Zazwyczaj chcemy testować najpierw te ważniejsze rzeczy. Nagłówek i wezwanie do działania mają bardziej znaczący wpływ na konwersję, niż zdjęcia czy układ tekstu, których używamy. Warto przyjąć zasadę testowania, od najważniejszego do najmniej ważnego.

Testowanie całej listy vs. część listy

W ogromnej większości przypadków, będziemy chcieli testować całą listę. Będzie nam zależało na uzyskaniu dokładnego obrazu tego, jak nasz e-mail reaguje na nową kampanię i najlepszym sposobem, aby tego dokonać jest sprawdzenie całej listy. Jest kilka przypadków, w których możemy nie chcieć przetestować całości:

  • Jeśli mamy bardzo rozległą listę, a usługa, której używamy do testowania A/B pobiera opłaty poprzez adres e-mail. W tym przypadku, nie bardzo możemy sobie pozwolić na testowanie największej próby. Powinniśmy upewnić się, że nazwy zostały wybrane losowo, co dostarczy nam dokładnych wyników.
  • Jeśli próbujemy czegoś naprawdę ekstremalnego, to może zależeć nam na ograniczeniu osób, które to zobaczą. W takim przypadku, wciąż dobrym pomysłem jest, aby co najmniej kilkaset osób zobaczyło każdą z wersji, którą testujemy. A jeśli możemy przetestować kilka tysięcy osób, to jeszcze lepiej.
  • Jeśli uruchomiliśmy ofertę ograniczoną w czasie i chcemy zdobyć jak najwięcej konwersji, to warto zacząć od małej serii próbnej (kilkaset odbiorców), a następnie wysłać zwycięską wersję do całej listy.

Im większa jest próba, tym bardziej dokładne będą wyniki. Powinniśmy upewnić się, że podział odbywa się losowo. Ręczne wybieranie odbiorców czy nawet korzystanie z dwóch list z różnych źródeł służy tylko zafałszowanym wynikom. Natomiast, celem jest tu zebranie danych empirycznych, aby dowiedzieć się, która wersja materiału w testach A/B działa najlepiej.

Co oznacza sukces?

Zanim wyślemy nasze wersje e-maili, ważne jest, aby zdecydować, dlaczego chcemy przeprowadzić test A/B i co jest dla nas sukcesem. Po pierwsze, przyjrzyjmy się naszym poprzednim wynikom. Jeśli używaliśmy tego samego stylu kampanii e-mailowej przez miesiące lub lata, to posiadamy duży zasób danych, z których można skorzystać. Jeśli nasz współczynnik konwersji wynosił kiedyś 10%, to może chcielibyśmy teraz zwiększyć go do 15%.

Oczywiście, być może naszym celem przy początkowych testach A/B jest tylko zdobycie większej liczby osób, które będą otwierać nasze wiadomości e-mail. W takim przypadku, powinniśmy spojrzeć na początkowy współczynnik otwarcia, a następnie zadecydować, jaką poprawą jesteśmy zainteresowani. Jeśli nie zauważymy jej w pierwszym zestawie testów A/B, to warto uruchomić kolejny test w dwóch wersjach.

Narzędzia do testowania

Większość oprogramowania do kampanii e-mailowych ma wbudowane narzędzia do testowania A/B (np: Campaign Monitor, Active Campaign i MailChimp).

Jeśli nasze oprogramowanie nie posiada takich narzędzi, to można je skonfigurować ręcznie. Po prostu dzieli się swoją aktualną listę na dwie odrębne listy i wysyła jedną wersję kampanii e-mailowej do jednej listy, a drugą wersję do drugiej listy. Również wyniki trzeba porównywać ręcznie. Może w tym pomóc eksport danych do arkusza kalkulacyjnego.

Analiza wyników

Po uruchomieniu kampanii e-mailowej z dwoma różnymi wersjami e-maili, trzeba spojrzeć na otrzymane wyniki. Jest kilka różnych kategorii wyników, które trzeba przeanalizować:

  • Współczynnik otwarcia
  • Współczynnik klikalności
  • Współczynnik konwersji, gdy użytkownik znajduje się na naszej stronie

Przyczyny śledzenia dwóch pierwszych kategorii są oczywiste. Ale wiele osób może się zastanawiać, dlaczego chcielibyśmy śledzić współczynnik konwersji poza wiadomościami e-mail. Czy nie powinien być on poza kontrolą?

Tak i nie. Idealnie byłoby, gdyby wiadomość, którą wysyłamy nie miała nic wspólnego ze współczynnikiem konwersji, gdy użytkownik jest na naszej stronie internetowej. Jeśli jeden e-mail prowadzi do 10% współczynnika klikalności na naszej stronie, a kolejny daje 15%, to ten drugi powinien skutkować 50% większą konwersją niż pierwszy. Ale nie zawsze tak się dzieje.

Ważne jest, żeby wiadomość, którą przekazujemy w e-mailu była zgodna z komunikatem na naszej stronie internetowej. Jeśli obiecujemy odwiedzającym specjalną ofertę i nie jest ona dobrze widoczna na naszej stronie, to będziemy tracić klientów. To samo może się zdarzyć, jeśli e-mail nie będzie nawiązywał do wyglądu witryny. Odwiedzające osoby mogą poczuć się zmylone i zastanawiać się, czy znaleźli się na właściwej stronie.

Należy upewnić się, że śledzimy współczynnik konwersji w każdej wersji e-maili. Dzięki temu, nie stracimy sprzedaży. Ostatecznym celem jest konwersja, a nie tylko same kliknięcia. Może się okazać, że jeden e-mail otrzymuje więcej kliknięć niż inny, ale nie przyczynia się do wielu konwersji. W takiej sytuacji, najprawdopodobniej będziemy chcieli wykonać więcej testów, aby sprawdzić, czy można otrzymać wiadomość, która ma nie tylko wysokie wyniki klikalności, ale i konwersji.

Dobre praktyki

Oto kilka najlepszych praktyk, o których warto pamiętać podczas uruchamiania e-mailowych testów A/B:

  • Zawsze testuj jednocześnie, aby zmniejszyć szansę na zawyżenie wyników przez czynniki oparte na czasie.
  • Obejmij testem jak największą próbę, aby uzyskać dokładniejsze wyniki.
  • Słuchaj zebranych danych empirycznych, a nie instynktu.
  • Użyj dostępnych narzędzi do szybszego i łatwiejszego testowania A/B.
  • Testuj wcześnie i często dla uzyskania najlepszych wyników.
  • Testuj tylko jedną zmienną w czasie, aby osiągnąć najlepsze rezultaty (Jeśli chcemy testować więcej niż jedną zmienną, skorzystajmy z testowania wielowymiarowego, zamiast testowania A/B).

 

Zobacz cały przewodnik po testach A/B:

  1. Wprowadzenie w testowanie
  2. Wyjątkowa treść strony internetowej
  3. Sukcesywne kampanie e-mailowe
  4. Lepsze efekty w kampaniach PPC