Inkrementalność reklam – kiedy ROAS rośnie, a biznes stoi w miejscu 

Jakub Bendlewski:
Dzisiaj moim gościem jest Paweł Skibiński, który jest specjalistą od reklam w Meta Ads, ogólnie social ads, powiedzmy: reklamach w social mediach. Będziemy dzisiaj mówić o twoim casie, który trafił na główną stronę success story Meta Business Managera dla klienta Halo Collar z USA. I myślę, że to będzie bardzo ciekawy przypadek: jak rozwinąć duży e-commerce do jeszcze większych rozmiarów.

Paweł, witam cię i opowiedz może ciut więcej o sobie. Czym się zajmujesz? Jak trafiłeś do MTA i jak zaczęła się twoja współpraca z tym klientem?

Paweł Skibiński:
Cześć, mam na imię Paweł. Trafiłem do MTA 5 lat temu. Zajmuję się przede wszystkim paid social, ale też strategią. Bliskie są mi również tematy związane z mierzeniem incrementality, z różnego rodzaju atrybucjami, ostatnio też z marketing mix modeling.

Wywodzę się przede wszystkim z Facebooka. Tu mam największe doświadczenie. Po drugie TikTok. W dalszej kolejności, w ostatnich latach, zacząłem robić też X-a, Reddita, LinkedIna częściowo. Moją specjalnością są chyba e-commerce’y. Mam największe doświadczenie właśnie w tej kategorii. Pracowałem na bardzo różnych klientach. Zaczynałem od polskich e-commerce’ów, pracowałem trochę z europejskimi, opiekowałem się Weberem przez dwa lata, gdzie, jak wiesz, działamy na około 15 rynkach.

Halo Collar był moim trzecim albo czwartym klientem w Stanach. Aktualnie jest to mój drugi największy klient i rzeczywiście jest to dobra historia. Udało się ich całkiem rozwinąć z poziomu, gdzie tych błędów było bardzo dużo i nie było rozwoju z roku na rok, do poziomu, gdzie ten rozwój jest w okolicach 30–40% rok do roku.

Jakub Bendlewski:
Okej. Dla pełnego zrozumienia: kiedy mówimy o inkrementalności, jakbyś mógł ją wytłumaczyć sensownie na język polski? W angielskim istnieje dosłownie taki zwrot jak incrementality, ale jak to najrozsądniej przetłumaczyć?

Paweł Skibiński:
Inkrementalność oznacza po prostu związek przyczynowo-skutkowy. Czyli wyniki inkrementalne to są wyniki, które nie nastąpiłyby, gdyby nie dana przyczyna.

Przykładowo: jeżeli mamy 15 punktów styku w ścieżce użytkownika, to niektóre z nich są kluczowe, a niektóre nie. Jeżeli na przykład kluczowy jest Facebook, to pozostałe 14 bez Facebooka nie zakończyłoby się konwersją. Jesteśmy w stanie różnymi sposobami to mierzyć i dochodzić do tego, które kanały są inkrementalne, czyli które rzeczywiście wykazują związek przyczynowo-skutkowy między wyświetleniem reklamy czy kliknięciem w reklamę a konwersją, a które tego nie mają. Tam po prostu jest jakiś związek, bo user rzeczywiście wyświetlił reklamę, ale bez tego wyświetlenia prawdopodobnie i tak doszłoby do konwersji.

Oczywiście innym tematem jest to, że inkrementalność to nie wszystko. Oprócz tego można spojrzeć na reklamy w taki sposób, że jest jakiś kawałek tortu w każdej branży, na każdym kanale. I przykładowo: jeżeli Facebook miałby zero inkrementalności, to możemy dojść do wniosku, że dobrze, wycofajmy się z Facebooka w takim razie. No bo skoro to nie powoduje żadnego revenue, to dlaczego tam wydawać?

Ale wtedy tracimy po prostu ten kawałek tortu i w to miejsce wchodzi nasza konkurencja. Krótkofalowo to może nie mieć wpływu, mam na myśli pierwszy miesiąc, ale jeżeli myślimy na rok do przodu, na dwa lata do przodu, to miałoby to duży wpływ.

Jakub Bendlewski:
Dobra, czyli case dotyczy stricte inkrementalności i jej wzrostu w kontekście Mety, Facebooka. To powiedz plus minus chociaż na wstęp: Halo Collar – czym oni się zajmują, co sprzedają i jaki był stan, kiedy przejmowaliście ten projekt? Jakie były ich bolączki, z czym się mierzyli? Oczywiście rynek amerykański jest prawdopodobnie ciut inny niż polski, ale nadal dla kontekstu: jaki był punkt startowy?

Paweł Skibiński:
Jasne. Jeśli chodzi o Halo Collar, to w momencie, gdy ich przejmowaliśmy, kampanie na Facebooku wyglądały źle. Po prostu źle. Odświeżałem sobie dzisiaj ten temat specjalnie przed tym spotkaniem. To było 2,5 roku temu, prawie 3 lata temu, ale kampanie wyglądały po prostu źle.

Jednym z podstawowych problemów było niepilnowanie procentowej ilości budżetu, którą wydajemy na retargeting. To jest częste zagranie. Jeżeli agencja nie ma czystych zamiarów, a chce po prostu zaraportować wysoki ROAS i dobry CAC, to może wydawać nawet 50% na retargeting. Wtedy ROAS będzie większy, ale znowu ta inkrementalność będzie niewielka. Wyświetlenia będą gdzieś tam na ścieżce użytkowników, ale nie będą miały większego wpływu na ich ostateczne decyzje.

Jakub Bendlewski:
Dla jasności też: CAC to koszt pozyskania klienta.

Paweł Skibiński:
Tak, koszt pozyskania.

Jakub Bendlewski:
I czy można mówić, że to jest tylko zagrywka nieczysta niektórych agencji? Czy drugą opcją jest po prostu nieświadomość, że to tak może działać?

Paweł Skibiński:
No tak, ale trudno mi uwierzyć, że na tak dużym koncie była agencja, która byłaby nieświadoma. Może się tak zdarzyć – na pewno, kiedy zatrudniamy nowe osoby, one na początku mogą być nieświadome, bo po prostu się uczą. No ale trudno wyjaśnić, dlaczego takie osoby miałyby obsługiwać konto, które wydaje nawet 200–300 tysięcy dolarów miesięcznie. Trudno mi w to uwierzyć.

Aczkolwiek mogło tak być. Jest jeszcze trzecia możliwość: czasami może to być, w bardzo wyjątkowych sytuacjach, element strategii biznesowej. Firmy, myśląc o strategii, opierają część revenue na istniejących klientach, część na nowych klientach. Zdarzało nam się widzieć firmy, które funkcjonują w taki sposób, że mają 80% revenue oparte o starych klientów. Długofalowo to nie jest zdrowe – przynajmniej nie mogę sobie wyobrazić sytuacji, w której byłoby zdrowe. Na poziomie całego konta reklamowego, nie na poziomie biznesowym.

Jakub Bendlewski:
Na całym?

Paweł Skibiński:
Tak. Są takie firmy. Wszystkie firmy, które ja widziałem i które tak robiły, i u których to był świadomy zabieg, po prostu się zwijały. Może nie dosłownie i może ten proces trwał wiele lat, ale one się zwijały. No bo siłą rzeczy: jeżeli 80% budżetu wydajemy na istniejących klientów, to nie ma tam za dużo przestrzeni na rozwój, na optymalizację, na szukanie ścieżek pozyskania nowego usera. Po prostu nie ma na to pieniędzy, bo wszystko wydaje się na starych klientów. Ale tak – to jest trzecia możliwość, że w bardzo rzadkich przypadkach to może być strategia.

Jakub Bendlewski:
Dobra. I w kontekście tego klienta taka strategia nie była. Czyli co oni chcieli osiągnąć?

Paweł Skibiński:
Trudno powiedzieć. Generalnie to, co się działo na koncie reklamowym i w ogóle też w biznesie, to było to, że promocje były co tydzień – z reguły od piątku do niedzieli, czasami od piątku do poniedziałku.

Jakub Bendlewski:
Czyli polityka stricte e-commerce’owa była taka, żeby to tak wyglądało?

Paweł Skibiński:
Tak. Ale jeśli chodzi o konto reklamowe, były wyłączane reklamy promocyjne, kiedy promocja się skończyła, i były włączane reklamy business as usual, które z kolei później były wyłączane w kolejny piątek, kiedy zaczynała się kolejna promocja. To miało całą masę złych skutków. Jednym z tych złych skutków było to, że było bardzo dużo zwrotów.

Od początku, kiedy zaczęliśmy analizować to konto – bo na początku poproszono nas po prostu o głęboką analizę i spojrzenie na biznes z dystansu, żeby zdiagnozować, w czym problem – zauważyliśmy, że procent zwrotów był zaskakująco wysoki. I czasami tak bywa. Czasami produkty mogą nie być dobrej jakości, może się dużo rzeczy zdarzyć, może być milion powodów, dlaczego tak jest. Ale w tym wypadku nasze główne podejrzenie było takie, że userzy, którzy kupili w poniedziałek lub wtorek, a w kolejny piątek docierała do nich reklama, że jest promocja minus 200 dolarów, po prostu zwracali produkt i zamawiali go jeszcze raz. No bo to jest 200 dolarów, które mogli utrzymać.

Jakub Bendlewski:
A mówiąc już o cenie: co to właściwie jest za produkt?

Paweł Skibiński:
Halo Collar produkuje obroże dla psów. Są to obroże, które łączą się z aplikacją. Mając taką obrożę, jesteś w stanie stworzyć wirtualne ogrodzenie. Czyli możesz być pewien, że twój pies poza to ogrodzenie nie wyjdzie.

To jest super przydatne, jeżeli masz psa, a podróżujesz, albo jeżeli po prostu mieszkasz gdzieś za miastem, albo spędzasz czas z psem i nie masz ogrodzenia.

Jakub Bendlewski:
To już tak ładnie marketingowo ująłeś, aż chce się kupić. Ale rozumiem, że pieskom nie szkodzi to w jakikolwiek sposób?

Paweł Skibiński:
Nie, nie szkodzi w jakikolwiek sposób. Te produkty są testowane. Halo Collar pomaga też w szkoleniach psów. Czyli nie jest tak, że kupujesz obrożę i zostajesz sam z aplikacją, tylko jesteś w procesie, w którym oni pomagają ci trenować twojego psa, korzystając z tej obroży. W żaden sposób to psom nie szkodzi.

Jakub Bendlewski:
Okej, to mógłbyś już powoli pracować tam w Halo Collar, widzę, z takim przekazem ładnie marketingowym, reklamowym.

Paweł Skibiński:
Myślę, że tak. Spędzając prawie trzy lata, pracując z jakimś klientem, siłą rzeczy trzeba go dogłębnie rozumieć.

Jakub Bendlewski:
Czyli już trzy lata łącznie trwa?

Paweł Skibiński:
Prawie trzy lata, tak.

Jakub Bendlewski:
Okej. I w kontekście rozpoczęcia tej współpracy – oprócz Mety robiliście jeszcze kilka innych aktywności, kanałów marketingowych, tak? Jakie to były, jeśli pamiętasz, i jaka była ich rola w kontekście Mety? Czy Meta była tutaj ważnym kanałem już od samego startu, może najważniejszym, czy raczej była jednym z wielu w tym miksie?

Paweł Skibiński:
Meta była wtedy na poziomie około 30% wydatków. Większość pieniędzy szła w Google Ads. Był też YouTube, był Bing Ads. Wydaje mi się, że to były wszystkie kanały na samym początku.

Jakub Bendlewski:
I dobra. W kontekście teraz: przyjmujecie to konto – co musicie osiągnąć? Jaki był główny cel? To była obniżka kosztów czy po prostu było kilka celów, na przykład jeszcze przy okazji zwiększyć przychód? Jak to wyglądało?

Paweł Skibiński:
To zależy, na jakim poziomie na to spojrzeć. Cele biznesowe – od początku był wzrost rok do roku powyżej 20%.

Jeśli chodzi o cele na koncie reklamowym, pamiętam, że bardzo trudno było mi estymować, co można osiągnąć na koncie, które jest prowadzone w bardzo zły sposób. Czyli jeżeli co trzy dni są wyłączane jedne reklamy, włączane inne, potem po trzech dniach powtarza się ten proces; jeżeli audience, które są wgrane na Metę, nie są aktualne, często są oparte – tak jak było na tym koncie – tylko o piksel Facebooka, nie są oparte o żadne zewnętrzne źródło: CRM, Klaviyo, cokolwiek; jeżeli struktura kampanii jest nie taka – to bardzo trudno powiedzieć, co właściwie estymować i na ile można poprawić to konto. Po prostu startujemy z perspektywy, gdzie praktycznie wszystko jest źle.

Na początku musimy się skupić na tym, żeby doprowadzić to konto do stanu używalności, do stanu, który wygląda sensownie. I z tego miejsca jesteśmy w stanie estymować, więc pamiętam, że zajęło to około trzech miesięcy, zanim udało się wszystko ogarnąć.

Mieliśmy jeszcze taką nieprzyjemną sytuację, że kiedy przyjmowaliśmy konto, okazało się, że zdarzenie zakupu, którego używaliśmy na Mece, było stworzone w Business Managerze poprzedniej agencji i było tylko udostępnione do Halo. W momencie, kiedy oni odpięli to zdarzenie, nie mieliśmy tego eventu. Więc Facebook wystartował dwa tygodnie później niż cała reszta kampanii, bo musieliśmy zainstalować nowy event.

Z tego miejsca zbudowaliśmy nową strukturę kampanii. Zrobiliśmy jasny podział między prospectingiem a retargetingiem, skupiając się mocno na prospectingu. Jeśli chodzi o Halo Collar, to jeszcze jedna rzecz na temat tego klienta jest taka, że to nie jest typowy e-commerce, bo właściwie jest jeden produkt. To nie jest w 100% prawda, bo mamy Halo 4, Halo 3, Halo 2 Plus, mamy Halo 3 używane, które też są sprzedawane. Są też akcesoria do obroży, więc teoretycznie w sklepie jest załóżmy 15 produktów, ale skupiamy się tak naprawdę na jednym – na sprzedaży najnowszego modelu obroży.

Siłą rzeczy, przy tego rodzaju klientach, remarketing – jeżeli traktujemy remarketing jako targetowanie userów, którzy już dokonali zakupu – musi być limitowany. Ci ludzie są w grupach, które dostają SMS-y, maile, są w kontakcie z supportem, mają obrożę, korzystają z aplikacji, dostają powiadomienia i informacje w aplikacji. Nie ma potrzeby, żeby targetować ich na płatnych kanałach takich jak Meta czy Google. Więc jest to limitowane i to była jedna z pierwszych rzeczy, jakie zrobiliśmy. Limitowaliśmy to, ułożyliśmy w miarę prawidłowo – tak, jak mogliśmy estymować na początku – relacje między prospectingiem a userami, którzy już weszli w jakąś styczność z marką, ale nie dokonali zakupu. Mniej więcej staraliśmy się 80% budżetu wydawać na zupełnie nowych użytkowników. Podpięliśmy nowy event, ułożyliśmy strukturę kampanii i zaczęliśmy pracę nad kreacjami i nad całą resztą.

Jakub Bendlewski:
Czyli to, jak to mówisz, wydaje się, że to są po prostu najprostsze, najlepsze praktyki na start. Czyli zakładałbyś, że w tym przypadku to, co robiliście na koncie, różni się jakoś znacząco od tego, co robilibyście dla przeciętnego innego e-commerce’u na Mece?

Paweł Skibiński:
Myślę, że nie różni się bardzo. I bardzo często, tak jak wiesz, my zaczynamy pracę od głębokiego audytu, gdzie rzeczywiście oceniamy biznes. Bardzo często te pierwsze rzeczy, które trzeba zrobić, przejmując klienta, to są po prostu zdroworozsądkowe zmiany. Bardzo wiele kont, które widziałem jeszcze nawet w minionych 12 miesiącach, nadal pracuje tak, jakbyśmy mieli 2019 rok – pracują na 15 kampaniach, z których każda ma po kilka ad setów. Struktura konta jest nadmiernie skomplikowana, nie ma żadnego podejścia do kreacji, do wyciągania wniosków z kreacji, do budowania kolejnych testów na bazie poprzednich testów i wiedzy z tych testów.

Więc bardzo często ten pierwszy krok to są po prostu takie zdroworozsądkowe zmiany i bardzo często to już poprawia sytuację. Wprowadza nas też w miejsce, w którym możemy w miarę estymować wzrost na przyszłość i to, co dalej.

Jakub Bendlewski:
Czyli można powiedzieć, że o ile groźnie brzmią kwoty, które są wydawane na takim koncie, to podejście z grubsza się nie różni.

Paweł Skibiński:
Tak, podejście z grubsza się nie różni. To, co na pewno różni większe konta od mniejszych, to to, że znacznie łatwiej jest testować, bo budżet na testy jest po prostu większy. Jestem zwolennikiem tezy, że ten budżet nie powinien przekraczać 20%. Czasami może nawet 10%, bo to są pieniądze, które są wydawane z niższą efektywnością niż kampanie business as usual, ale z nastawieniem, że dzięki temu, że wydamy te pieniądze w tym miejscu, wpłynie to na kolejne miesiące. Nauczymy się na tym czegoś, co sprawi, że ogólna efektywność kampanii wzrośnie. Nie można przeznaczyć na to 50%, bo to może położyć biznes w danym momencie.

Jakub Bendlewski:
Czyli po prostu znacznie lepszy czas reakcji i elastyczność w działaniu, idąc naprzód.

Paweł Skibiński:
Zdecydowanie tak.

Jakub Bendlewski:
Dobra. I teraz – wyprowadź mnie z błędu, jeśli tak nie jest – przejmując to konto, jeszcze nie było tych kampanii Advantage Plus?

Paweł Skibiński:
Jeszcze nie było.

Jakub Bendlewski:
Okej, czyli tu strategia się troszkę zmieniła w czasie. Zaczęliście wykorzystywać nowe rzeczy.

Paweł Skibiński:
Tak. Zaczynamy wykorzystywać nowe rzeczy średnio co drugi, trzeci miesiąc. Szybkość produkowania przez Facebooka nowych funkcjonalności, nowych opcji jest bardzo duża. Jedną z ostatnich nowych rzeczy jest na przykład Advantage Plus optymalizowana pod wartość zakupów, a nie pod ilość zakupów.

Jakub Bendlewski:
Okej, czyli coś, co Google prezentuje już od kilku lat. Meta postanowiła wdrożyć łaskawie w 2025 roku. Pozdrawiam, Paweł. Wiem, że uwielbiasz ekosystem Google’a.

Paweł Skibiński:
To prawda. Ale kolejną rzeczą jest na przykład coś, co Google przypuszczalnie wdroży w 2035, czyli optymalizacja pod kątem inkrementalnych zakupów. Na szczęście gdzieś to wszystko się wyrównuje.

Jakub Bendlewski:
Marketing nie znosi próżni. Dobrze. Czyli właśnie w kontekście tego case’u, do którego zmierzamy, który znalazł uznanie w oczach Facebooka również – on był później. To było już pewnie około dwa lata po rozpoczęciu współpracy.

Paweł Skibiński:
Tak, myślę, że to było mniej więcej rok temu. Drugi kwartał 2024 roku.

Jakub Bendlewski:
Okej. I rozumiem, że nie musisz mówić szczegółów, ale w kontekście ogólnej współpracy z klientem do tej pory – czy klient był zadowolony z tego, jak wyniki się układały z roku na rok? I ten case jest bardzo specyficzny, bo dotyka tej inkrementalności, czyli tego, jak ten Facebook faktycznie oddziałuje na biznes w kontekście przychodu. Czy to, że zaczęliście ten test, było spowodowane potrzebą klienta, żeby faktycznie to zmierzyć, czy raczej ciekawostką: sprawdźmy sobie, jak to wygląda?

Paweł Skibiński:
Bardzo dobre pytanie i bardzo dobra historia. Tutaj musimy się cofnąć jeszcze do 2023 roku, bo czasami wydaje mi się, że dobrze jest opowiadać też o problemach, na jakie się trafiało, i ta historia zaczyna się od dużego problemu.

Pracowaliśmy wtedy z zewnętrzną platformą, która pomagała mierzyć inkrementalność w taki sposób, że analizowała amerykańskie okręgi ekonomiczne, czyli DMA, i pozwalała znaleźć DMA, które można wykluczyć z kampanii, targetując równocześnie pozostałą część kraju. W taki sposób, że później zewnętrzna platforma była w stanie porównać grupę, która była targetowana, z grupą, która była wykluczona, i rzeczywiście określić tę różnicę, czyli wykazać inkrementalność kanału bądź brak tej inkrementalności.

Jakub Bendlewski:
Czyli tu stricte czynnik lokalizacyjny ma miejsce.

Paweł Skibiński:
Tak. Zewnętrzne softy, które pracują z inkrementalnością, muszą opierać się na czynniku lokalizacyjnym, bo platformy nie udostępniają innych danych. Teoretycznie mógłbyś się oprzeć na czymkolwiek – na zarobkach, na wieku, na płci – ale platformy po prostu tego nie udostępniają. RODO też tutaj wchodzi w grę.

Ten sposób wykluczania grup lokalizacji jest sensowny i wiemy, że działa. Jest masa firm, które pracują na tej bazie i które bardzo dynamicznie się rozwijają. W międzyczasie udało nam się też nawiązać sporo takich współprac i na różnych klientach pracujemy z tymi firmami, więc wiemy, że to praktycznie działa.

No ale pierwszy test, który robiliśmy na Mece, wykazał zero inkrementalności.

Jakub Bendlewski:
Dosłownie zero?

Paweł Skibiński:
Dosłownie zero. Oczywiście można uznać, że te testy nie są superprecyzyjne, ale z drugiej strony są bardzo precyzyjne jednak. Jakkolwiek możliwa jest jakaś pomyłka albo możliwe, że trafiłeś na bardzo specyficzny moment w cyklu sezonowości. Dodatkowo, przy tym konkretnym kliencie, ścieżka użytkownika trwała 5–6 tygodni, a test trwał cztery.

Musieliśmy się zastanowić, co z tym zrobić. Możliwości były różne, począwszy od zastanowienia się, czy test na pewno był dobrze przeprowadzony – choćby ze względu na ten czas podróży użytkownika w kontraście do czasu prowadzenia testu. Ale algorytmy, na których pracuje ta zewnętrzna firma robiąca test, sprawdzają się i są dość efektywne, więc trudno to było kwestionować.

Założyliśmy więc, że rzeczywiście albo tej inkrementalności jest zero, albo jest jej niewiele. Na tyle mało, że test tego nie był w stanie wykazać.

Zrobiliśmy więc to, że wycofaliśmy mniej więcej 20% budżetu z Facebooka.

Jakub Bendlewski:
Ale rozumiem, że klient miał wątpliwości? Uwierzył w te dane?

Paweł Skibiński:
Podejmowaliśmy te decyzje razem.

Jakub Bendlewski:
Czyli nie było agresywnej kontry, że nie działa i wstrzymujemy, tylko raczej: okej, to co teraz?

Paweł Skibiński:
Dokładnie. Reakcja klienta była raczej taka: dobrze, nie działa – to co teraz? Skupmy się na rozwiązaniu, co zrobić, żeby popchnąć to w odpowiednim kierunku.

Wymyśliliśmy odpowiedź. Zmniejszyliśmy budżety na Facebooku o 20% na kilka tygodni i w międzyczasie zrobiliśmy zupełną restrukturyzację konta. Dodaliśmy kampanię Advantage Plus między innymi, zmniejszyliśmy ilość kampanii jeszcze bardziej, chociaż już nie była duża. Popracowaliśmy mocno nad kreacjami.

Jakub Bendlewski:
A tak z ciekawości – ile obecnie jest działających kampanii na tym koncie?

Paweł Skibiński:
Cztery. I będziemy teraz zaczynać nowy test, który spowoduje, że będzie tych kampanii pięć – jedną wyłączymy, ale dojdą dwie nowe, które potrzebujemy, żeby porównać jedną rzecz do drugiej.

Jakub Bendlewski:
To tak z ciekawości, bo zakładam, że wiele osób faktycznie prowadzi więcej kampanii, a tu się okazuje, że nawet dla tak zaawansowanego konta to wcale nie jest wymóg czy must-have.

Paweł Skibiński:
Prowadzenie większej ilości kampanii to prawie zawsze jest błąd. To, w jaką stronę zmierza Facebook, świat i algorytmy, to jest automatyzacja. Jedna z nowszych aktualizacji na Mece to system Andromeda, wprowadzony – jeżeli dobrze pamiętam – w grudniu zeszłego roku. Ten system jeszcze bardziej premiuje automatyzację. Do tego stopnia, że creative enhancements, które do tej pory wszyscy wyłączali, wrzucając kreację na Metę – z tego względu, że czasami te reklamy wyglądały fatalnie – teraz będą priorytetyzowały twoją reklamę w aukcji.

Czyli w tym momencie okazuje się, że jeśli ktoś nie chce mieć tych automatyzacji, to staje przed wyborem: okej, mogę mieć wyniki o 10% lepsze, ale czasami pojawi się reklama, która wygląda fatalnie, versus mogę mieć 10% słabsze wyniki, ale będę kontrolował w 100% jak wyglądają moje reklamy.

Jakub Bendlewski:
No tak. Czyli to jest bardzo niewygodny wybór ze strony firm. Jeżeli ktoś ma bardzo duże potrzeby związane z brandingiem, żeby on był nieskazitelny, to mogą sobie nie pozwolić na taki test, na taki wybór przez jakiś czas.

Paweł Skibiński:
Tak, ale w pewnym momencie zaczną zauważać, że konkurencja im odjeżdża. Będą zadawać sobie pytanie, dlaczego, i będą musieli się zdecydować. Ja staram się nie patrzeć na te rzeczy w kategoriach wygodny i niewygodny, tylko raczej praktyka. Świat jest taki, jaki jest, i nie mamy wpływu na decyzje, jakie podejmuje Meta. Możemy stwierdzić, że nie chcemy się tam reklamować. Możemy przenieść budżety gdzie indziej. To jest w porządku. Ale w obecnej sytuacji rzadko kiedy to będzie prawidłowa odpowiedź.

Jakub Bendlewski:
No jasne. To było takim dużym nawiasem. I teraz kontynuując: znajdujemy się w momencie, gdzie był brak inkrementalności, restrukturyzacja konta. I co się dzieje dalej?

Paweł Skibiński:
Powtórzyliśmy test po tej restrukturyzacji. Tym razem inkrementalność pojawiła się gdzieś w okolicy 0,8 – między 0,8 a 1.

Jakub Bendlewski:
I to jest dobry wynik już?

Paweł Skibiński:
Czy to jest dobry wynik? Trudno wierzyć w jakieś uniwersalne benchmarki, ale widziałem trochę tych kont i wydaje mi się, że są pewne liczby, które przynajmniej mi wydają się sensowne. Jeżeli firma ma ROAS 4, to w tym ROAS-ie 4 jest wartość zakupu, która jest generowana rzeczywiście przez kampanie płatne, i jest wartość zakupu, która nie jest generowana przez kampanie płatne, która i tak by wpadła. Firma pokazuje się w telewizji, pokazuje się organicznie, ma jakąś siedzibę, ktoś zna już tę firmę, firma ma klientów, którzy też mogą polecić innemu klientowi.

Zakładam więc, że jeżeli mamy ROAS 4, to – nie chcę mówić, że to jest benchmark – ale często ten ROAS generowany przez kampanie płatne będzie w okolicach dwóch. Jeżeli mamy ROAS generowany przez kampanie płatne w okolicach dwóch i mamy załóżmy pięć kanałów płatnych, to jeżeli jeden z tych kanałów wbija ROAS 0,8, to to nie jest zły wynik. Trudno się benchmarkować do czegokolwiek, bo nie ma takich benchmarków, ale zdroworozsądkowo patrząc na te liczby, wydaje się, że to się spina. Zwłaszcza, że ROAS to nie jest metryka, którą można tutaj tak twardo brać pod uwagę.

Jakub Bendlewski:
Zakładam, że to jest case klienta, który liczy na lojalizację klienta też swojego.

Paweł Skibiński:
Tak, więc lifetime value tych userów jest znacznie większe i to jest cała druga noga biznesu.

Jakub Bendlewski:
Czyli wręcz opłaca się obniżyć ROAS, dopłacić do pozyskania klienta, żeby później spłacało się to przez kolejne lata.

Paweł Skibiński:
Do pewnego momentu tak, ale oczywiście to ma wpływ na cash flow i to może sprawić, że krótkofalowo coś się nie zepnie, więc nie idziemy w tym kierunku.

Jakub Bendlewski:
Choć myślę, że więksi gracze mogą sobie pozwolić na większą elastyczność w tym.

Paweł Skibiński:
Na pewno tak. Jeżeli mają subskrypcje i zarabiają miesiąc po miesiącu z subskrypcji, to tak. Model ma jeszcze duże znaczenie.

Jakub Bendlewski:
A wspominałeś wcześniej o poziomie zwrotów. To już taka dygresja, ale czy na przestrzeni lat współpracy i między innymi tej restrukturyzacji kampanii poziom zwrotów uległ zmianie na lepsze, czy jednak tutaj nie było związku?

Paweł Skibiński:
W każdym miesiącu to wygląda trochę inaczej, ale staramy się trzymać z poziomem zwrotu z inwestycji na poziomie 4–4,3.

Jakub Bendlewski:
Czyli już tak sumarycznie. Okej. Dobra, czyli wracamy do tematu. Restrukturyzacja miała miejsce i wykazało już pewną inkrementalność. I to jeszcze nie jest moment, który opisywany jest w case’ie.

Paweł Skibiński:
Jeszcze nie. Z tego punktu ja odetchnąłem z ulgą, ale siłą rzeczy zacząłem bardziej myśleć o tej inkrementalności. Zacząłem bardziej myśleć, jaki to może mieć wpływ na całokształt biznesu, na rezultaty, w jaki sposób to mierzyć, jak do tego podchodzić w kontekście sezonowości, okresów promocyjnych, jak na to patrzeć całościowo, jakie są wszystkie aspekty związane z inkrementalnością, które powinienem brać pod uwagę, i w jaki sposób to powinno wpływać na moje działania z dnia na dzień na koncie.

Pracujemy dosyć blisko z Facebookiem na amerykańskich kontach. Gdzieś w okolicach 100 tysięcy wydatków zaczynają się pojawiać reprezentanci Facebooka, którzy rzeczywiście mogą coś wnieść i mają więcej możliwości niż ten standardowy poziom supportu, który wszyscy znamy w Polsce.

Jakub Bendlewski:
Czyli to nie jest dosłownie taki standardowy support, tylko już dedykowany.

Paweł Skibiński:
To jest dedykowany support. Dodatkowo Halo Collar trafiło do pionu firm w ramach Facebooka, do pionu firm, które potencjalnie mogą rozwijać się bardzo szybko – ze względu na to, że jest wspierany przez venture capital i że wydatki osiągnęły taki poziom, że Facebook zaczął mocniej na to zwracać uwagę.

Dostaliśmy więc sporo różnego rodzaju wsparcia od Facebooka. Między innymi jednym z tych elementów wsparcia jest to, że dostajemy bety wcześniej niż inni, dostajemy dostęp do nowych funkcjonalności i w każdym kwartale dostajemy też oferty pomiędzy 10 a 50 tysięcy dolarów, które Facebook przelewa na nasze konto reklamowe w zamian za testowanie różnych rzeczy.

Jakub Bendlewski:
Okej.

Paweł Skibiński:
I jedną z tych ofert był właśnie Channel Lift, który był nowym rodzajem testu inkrementalności zaproponowanym przez Facebooka.

Ale jeszcze cofając się na chwilę: trzy lata temu, 2,5 roku temu Facebook udostępnił dla wszystkich testy Conversion Lift, gdzie można było mierzyć inkrementalność pod kątem dowolnych eventów – zakupów, dodań do koszyka, jakichkolwiek innych eventów. Zostało to udostępnione w taki sposób, że każde konto, które spełniało jakieś minimum wydatków miesięcznych, mogło po prostu włączyć to sobie u siebie. Można to było włączyć na poziomie całego konta, na poziomie grupy kampanii, można było porównywać grupy kampanii jedna z drugą, pojedyncze kampanie można było porównywać. Możliwości zrobiło się naprawdę dużo.

Wydaje mi się, że czas pokazał, że Facebook zrobił to dlatego, że bardzo poważnie podchodzi do tematu inkrementalności. Takie rzeczy jak optymalizacja pod kątem tylko inkrementalnych zdarzeń – to jest coś, co brzmi absolutnie fantastycznie, jeżeli szukasz nowych klientów. Oczywiście pytanie, jak oceniać wiarygodność tego, czy to rzeczywiście działa w taki sposób, jak powinno działać. Ale kierunek wydaje się zupełnie jasny.

Ten kierunek jest właśnie taki, że Facebook chce mieć te dane, chce dokładnie wiedzieć, co jest inkrementalne, a co nie. Dodatkowym kierunkiem, który pokazał się nieco później, jest to, że Facebook chce też wiedzieć, w jaki sposób wpływa na inne kanały. Czyli nie tylko inkrementalność Facebooka w kontekście sprzedaży na stronie internetowej albo w shopie na Facebooku, ale też inkrementalność Facebooka w kontekście wpływu na TikToka, wpływu na Google Branded Search, wpływu na Display, wpływu na YouTube’a, wpływu na wszystkie inne rzeczy.

Do tego stopnia, że parę miesięcy temu, możliwe że już z rok temu, Facebook wypuścił case study, w którym korzystając z zewnętrznego partnera, przeprowadzali testy związane z wpływem Facebooka na Amazona. Czyli nie tylko możesz zmierzyć inkrementalność Facebooka na stronę internetową, ale też na Amazona, co jest bardzo ciekawą możliwością. Myślę, że większość firm nadal nie zdaje sobie sprawy, że można takie rzeczy robić.

Jakub Bendlewski:
Ale to następuje przez integrację kont? Czy oni wyciągają dane po prostu z platformy i analizują ze swoimi?

Paweł Skibiński:
Tak, bo wyciągają po prostu dane co do lokalizacji użytkowników, którzy dokonali zakupu na Amazonie, i zestawiają to z testem inkrementalności, czyli z tymi dwiema grupami na Facebooku – grupą osób, która była targetowana, i grupą osób, która była wykluczona. Czyli jesteś w stanie to zestawić ze stroną internetową, tak samo jesteś w stanie to zestawić z Amazonem, co jest super ciekawym kawałkiem puzzla, o którym większość ludzi nadal nie ma pojęcia.

Jakub Bendlewski:
Okej. No dobra, kontynuując tę piękną drogę – to już był początek case’u niejako, bo zaczyna się Channel Lift. A w kontekście różnicy między Conversion Lift a Channel Lift – mówimy już o czym dokładnie?

Paweł Skibiński:
Conversion Lift jest testem, który mierzy inkrementalność Facebooka na stronę internetową. Można to zrobić w bardzo łatwy sposób: po prostu trzeba zestawić grupę osób, która rzeczywiście widziała reklamy, z grupą osób, która nie widziała. Te grupy muszą mieć te same cechy. Facebook nie musi tego robić na podstawie geolokalizacji, bo ma całą masę informacji o tych ludziach, więc profil tych osób może być bardzo dokładnie określony i te grupy mogą być dokładnie takie same, jeśli chodzi o parametry związane z ich zachowaniem w sieci przez ostatnie lata.

Channel Lift jest kolejnym krokiem na tej ścieżce. To test, który bierze pod uwagę wszystko to, o czym teraz mówiłem, i dodatkowo bierze pod uwagę konwersje związane z wejściem z last click z innego kanału i dokonaniem zakupu. Czyli przykładowo mamy customowe konwersje ustawione na Facebooku, które są określane regułą: użytkownik dokonał zakupu, ale last click zawierał TikTok.

Jakub Bendlewski:
Okej. Czyli gdzieś na ścieżce był Facebook wcześniej, ale faktyczny zakup był z innego kanału.

Paweł Skibiński:
Tak. Same te customowe konwersje pozwalają nam określić na poziomie każdej kampanii overlap pomiędzy Facebookiem a TikTokiem. Czyli widzimy, że kampania dowiozła 50 zakupów, z czego na przykład 7 miało last click – czyli przypuszczalnie Google Analytics wykazałby TikToka.

Mając te konwersje, jesteśmy w stanie – oczywiście pod warunkiem, że tych konwersji jest dostatecznie dużo; jeżeli mamy kanał, który jest bardzo mały i dowozi mikroilość konwersji w ciągu miesiąca, to przypuszczalnie to nie zadziała – ale jeśli mamy kanały, które dowożą co najmniej parę procent konwersji, to Facebook jest w stanie znajdować użytkowników, którzy w ramach użytkowników, którzy dokonali zakupu z tego UTM-a last click, który zawierał słowo – załóżmy – Google Display, są w stanie znaleźć użytkowników, którzy mogą zostać zatrybuowani do kampanii na Facebooku, bo widzieli tę kampanię na Facebooku.

Ale są też w stanie zebrać zdarzenia od użytkowników, którzy nigdy nie widzieli kampanii na Facebooku. Porównując te dwie grupy, jesteśmy w stanie określić inkrementalny wpływ Facebooka na zakupy, które są atrybuowane przez TikToka, ale też przez wszystkie inne kanały.

Jakub Bendlewski:
I zakładam, że tutaj dostajesz też informacje na temat inkrementalności w liczbie zakupów oraz przychodzie.

Paweł Skibiński:
Tak. Ale też w ROAS-ie. Czyli ROAS jest wtedy załóżmy 0,2. Jest bardzo niski z reguły, ale jest jakiś – i to jest jeszcze dodatkowy wpływ Facebooka.

Jakub Bendlewski:
Dobra. Czy w kontekście tego Channel Lift jakoś drastycznie musiała się zmienić struktura kampanii albo podejście do samych kampanii? Czy to jest po prostu test, który dzieje się równolegle i mierzy określone zachowania, które są w obrębie tych kampanii, które utworzyliście?

Paweł Skibiński:
Jest tak, jak mówisz. To jest test, który dzieje się równolegle i nie wpływa w żaden sposób na to, w jaki sposób my prowadzimy konto. Nie musieliśmy zmieniać struktury kampanii ani trochę.

Tutaj ciekawym pytaniem, które wiąże się z tym testem, jest to, co później zrobić z tymi wynikami. To brzmi jak bardzo wyrafinowany kawałek puzzla, który można sobie składać, myśląc o strategii, ale co później z tym zrobić? Musieliśmy też sobie zadać to pytanie, bo reprezentanci Facebooka troszeczkę naciskali, żeby – w związku z tym, że wyniki były bardzo dobre – przynajmniej według nich mocniej reagować.

Jakub Bendlewski:
Czyli ROAS inkrementalny był jaki?

Paweł Skibiński:
Nie pamiętam dokładnie w tym momencie, ale powiedzmy, że ROAS inkrementalny samego Facebooka był w okolicach 1. Ale też ROAS inkrementalny Facebooka versus na przykład Google Search był w okolicach 0,4.

Jakub Bendlewski:
Według Facebooka.

Paweł Skibiński:
Według Facebooka, ale ja uważam, że możemy ufać tym danym. Nie mam na to dowodów, nie jestem w stanie tego wykazać, ale jestem w tej grupie przypadków, które widziały testy inkrementalności, które wykazały zero według Facebooka. Więc wiem, że nie jest tak, że Facebook celowo pokazuje wszędzie wyniki dodatnie, bo po prostu nie – widziałem też wyniki, które były słabe, jeszcze na innych kontach, jeszcze przed Halo Collar. W ostatnim czasie też mi się to zdarzyło.

Jakub Bendlewski:
Okej. Ale czy już sama wartość osiągniętej inkrementalności wpływa tutaj na wasze decyzje? Czy na przykład w jakimś przedziale decyzja jest taka, że to nie jest ważne i możemy to zostawić, wyłączyć i tak dalej? W kontekście wiary w to, co raportuje Facebook, to ma znaczenie już, bo to nie jest tylko zero-jedynkowy przypadek działa lub nie działa, tylko to ma określone wartości zależnie od tego, czy liczba zakupów, ROAS i tak dalej. Czy tu istnieje w ogóle jakakolwiek możliwość zderzenia tego z czymś innym, z drugim, trzecim źródłem danych, które powie coś więcej na ten temat?

Paweł Skibiński:
Teoretycznie tak. W praktyce to rzadko kiedy będzie dobre rozwiązanie. Rozwiązanie, które my zaadaptowaliśmy, polegało po prostu na przekierowywaniu części budżetu – ewentualnie dodawaniu budżetu – w miejsca, które być może w atrybucji last click czy w atrybucji siedmiodniowej Facebooka nie były dowartościowane, czyli ich wpływ był umniejszony trochę ze względu na wszystkie minusy, jakie ma po prostu atrybucja w dzisiejszych czasach. I patrzenie, co się stanie na poziomie całego biznesu.

Jeżeli Facebook ma incremental ROAS 1, zakładamy, że całkowity incremental ROAS jest, nie wiem, 2,5, może 3, to zakładamy, że to 1 jest bardzo dobrym wynikiem. Ale to nie znaczy, że zaczniemy przenosić budżety z innych kanałów w jakimś mocnym stopniu. To znaczy na przykład, że zwiększymy 10%. I patrzymy wtedy, co się stanie.

Jest jeszcze jeden dodatkowy czynnik, który utrudnia działanie z testami inkrementalności: to jest najlepszy model oceny kampanii. Znacznie lepszy niż atrybucja i w większości przypadków znacznie lepszy niż marketing mix modeling, ale odnosi się tylko do wycinka czasu. Jeżeli biznes podlega jakiejś sezonowości, to mogłeś zrobić najbardziej precyzyjny test inkrementalności w marcu, ale to nic nie znaczy co do kwietnia.

Jakub Bendlewski:
Okej, ale ten test – umawiasz się z repem Facebooka na to, że on jest włączony i trwa określony czas? Czy on jest w takiej formie ogólnodostępny i po prostu non stop masz dostęp do tych danych? Jak to przebiega?

Paweł Skibiński:
On musi być włączony przez repa Facebooka. Facebook nie do końca wiedział, co nam zaproponować, jeśli chodzi o to, co pytasz, ale gdzieś w dyskusjach doszliśmy do tego, że najlepiej będzie, żeby był ciągle włączony. Działaliśmy w ten sposób, że przez trzy miesiące chodził jeden test, później zaczynał się kolejny. Traktowaliśmy to bardziej tak, że patrzyliśmy na zmiany z tygodnia na tydzień niż na całościowy wynik testu.

Jeżeli mamy ROAS 1 i zakładamy, że to jest raczej dobra wiadomość, ale nie jesteśmy jej na tyle pewni, żeby przekierowywać duże ilości budżetu na Facebooka, to jeżeli ten ROAS zacznie maleć, to coś znaczy. Jeżeli z tygodnia na tydzień spadnie ci na 0,8, to znaczy, że ten tydzień był dużo słabszy niż poprzednie tygodnie. Ale jeśli wzrośnie na 1,2, możesz nie zobaczyć tej różnicy w atrybuowanych wynikach ani w Google Analytics, ale wiesz, że być może coś się stało na innych kanałach i z jakiegoś powodu Facebook jest bardziej efektywny, jeśli chodzi o związki między wyświetleniem reklamy a zakupem, które mogą być określane mianem związku przyczynowo-skutkowego. Pracowaliśmy mniej więcej w ten sposób.

Jakub Bendlewski:
Okej. I teraz czas minął, okres testu się skończył – jak to wpłynęło na dalsze decyzje, na biznes i jakie macie plany w związku z tym? I w ogóle ciekawi mnie, jak do tego sam klient podchodzi. Czy tam była ekscytacja, czy nieufność? Jak to przebiegało?

Paweł Skibiński:
Była pewna doza nieufności. Wydaje mi się, że tego typu działania to jest po prostu wyrafinowana praca z liczbami, którą osoby na stanowiskach executive w dużych firmach niekoniecznie zawsze od razu dobrze czują. To może brzmieć podejrzanie. Ale ostatecznie klient podchodzi do tego bardzo pozytywnie. Testy, które nadal są prowadzone, utrwalają i zwiększają jego wiarę w Facebooka.

Jakub Bendlewski:
Czyli to trwa non stop? Jakiś czas testujecie po raz kolejny i coś tam, inne zmienne pewnie też macie?

Paweł Skibiński:
Tak, mamy inne zmienne. Facebook ma teraz nową propozycję, która nazywa się Search Lift i która – oprócz tego, że mierzy wpływ Facebooka na zakupy, które przychodzą z last clicka z innych kanałów – dodatkowo mierzy wpływ po prostu na odwiedziny z branded search na różnych wyszukiwarkach. Możemy to zmierzyć na Google’u i na Bingu, pod warunkiem oczywiście, że ustawimy odpowiednie UTM-y, które zostaną wychwycone przez Metę, przez piksel Facebooka.

Jakub Bendlewski:
Okej, ale to nie potrzebuje do tego mieć jakiegoś data warehouse’u, gdzie zgromadzą te dane surowe i później to mielą, analizują? Jak to przebiega?

Paweł Skibiński:
Nie do końca wiem. Nie umiem ci odpowiedzieć na to pytanie. Facebook inwestuje w coraz to nowe technologie i data warehouse’y Facebooka powstają coraz to nowe, ale nie wiem, czy akurat ten Search Lift wymaga tak dużo tego typu mocy obliczeniowej. Być może tak.

Jakub Bendlewski:
Okej. Rozumiem, że sukces odtrąbiony, Facebook faktycznie przygotował case na ten temat, twoja opinia tam jest, więc w razie czego legitna opinia i legitny case. Ale teraz, w kontekście właśnie takich rozwiązań, bo to jest duży temat i zakładam, że to działa trochę tak jak w tym memie: „Panie Areczku, to jest dla zarządu”. Czy podobne rzeczy można robić na mniejszych kontach? Nie mówię o mikrokontach, tylko o takich przeciętnych kontach. Jakie są możliwości wtedy?

A druga rzecz: Stany Zjednoczone to jednak dość specyficzny rynek, gdzie tych obszarów ekonomicznych i innych jest sporo. Jak to działa tutaj u nas? Polska, Europa – zakładam, że Europa może mieć podobne cechy, ale Polska na przykład: czy tutaj też istnieją takie możliwości?

Paweł Skibiński:
Tak. W Polsce możemy robić conversion lifty, pod warunkiem że mamy określony minimalny poziom wydatków, którego nie jestem w stanie powiedzieć, jaki dokładnie jest, ale wiem, że część naszych klientów się łapie do tego poziomu, więc robimy te testy.

To, co można zrobić, to można zrobić te customowe konwersje, o których mówiłem, i można określać overlap po prostu między Facebookiem a Googlem. To jest coś, co może być bardzo przydatne. Jeżeli mamy mały biznes, który zaczyna z reklamami na Facebooku, albo zaczyna z reklamami na Google’u i chce dodać Facebooka, albo zaczyna z Facebookiem i chce dodać Google’a, to początkowo pojawia się tradycyjny problem: jeżeli Facebook pokazuje, że zarobiłem 100 tysięcy, Google pokazuje, że zarobiłem 100 tysięcy, a tak naprawdę zarobiłem 120 tysięcy, to kto mnie okłamuje?

Stworzenie tych customowych konwersji – które jest zupełnie darmowe, po prostu trzeba mieć piksel Facebooka na stronie i dobrze ustawione UTM-y zarówno w Google’u, jak i na Facebooku – pozwala określić od początku ten overlap. Wtedy, jeżeli testujesz różne rzeczy na koncie, to do poziomu reklamy widzisz, jaki jest overlap, w jakim stopniu te konwersje się pokrywają.

Widzisz na przykład, że jedna kampania działa super efektywnie, dowozi znacznie wyższy ROAS niż druga, ale pokrywa się w 90% z Googlem. Czyli widzisz 50 zakupów, ale z tego 45 zakupów to są zakupy, które przyszły z UTM-a last clickowego Google’a. Nie masz dostatecznych budżetów, żeby zrobić sensowny test inkrementalności, ale widzisz, że jest duży overlap, więc możesz tym manipulować i w kolejnych miesiącach zmniejszyć wydatki na tę kampanię i zobaczyć, jak to wpłynie całościowo na biznes.

Tymczasem masz drugą kampanię, która dowozi mniej zakupów i gorszy koszt za zakup, ale widzisz, że tam na przykład jest zero zakupów, które przyszły z UTM-a last clickowego Google’a. Masz dodatkową informację, której nie miałbyś, pracując w najprostszy możliwy sposób, tylko bazując na eventach Facebookowych. Normalnie uznałbyś, że musisz zwiększyć wydatki na pierwszą kampanię, może wyłączyć drugą. Jeżeli ustawisz te UTM-y i customowe konwersje, to wiesz, że tak naprawdę ta pierwsza kampania jest problemem prawdopodobnie, a ta druga kampania znacznie lepiej działa, jeśli chodzi o nowych klientów, których potrzebujesz, bo jesteś małym biznesem.

Jakub Bendlewski:
Czyli te raporty są dość precyzyjne. Możesz zbadać te różnice na poziomie konkretnie kampanii, zestawów reklam również i reklam też?

Paweł Skibiński:
Tak, i reklam też. Są do tego stopnia precyzyjne, do momentu, w którym nie zgubisz UTM-ów. Czyli są mniej precyzyjne na iOS-ie niż na Androidzie.

Jakub Bendlewski:
Okej. A czy RODO w Europie nie powoduje, że te wyniki są mniej wiarygodne w porównaniu z tym, co robiliście na Stany? Mam na myśli kwestie prywatności użytkowników – czy to nie gra roli, że faktycznie one mogą być bardziej zakrzywione, mniej wiarygodne?

Paweł Skibiński:
Nie, bo w tym, o czym mówiłem przed chwilą, bazujemy po prostu na UTM-ach. Jedynie to, że jeżeli przeglądarka wycina UTM-y albo jeżeli masz adblocka, to może być mniej precyzyjne wtedy. Ale jeżeli chodzi o prywatność użytkowników, to nie powinno mieć to wpływu. Nie jest dla mnie zupełnie jasne, czy ma to wpływ na rzeczy typu Channel Lift, bo nigdy nie robiliśmy tego w Europie.

Rzeczywiście mogłoby, ale podejrzewam, że nie ma – że Facebook po prostu robi te operacje i tak na backendzie. Ale być może nie. Na pewno kwestia mierzenia inkrementalności na podstawie geolokalizacji jest związana właśnie z tym trendem większego dbania o prywatność, który z roku na rok rośnie.

W idealnym – z perspektywy marketingowca – świecie moglibyśmy wykluczać ludzi z grupy targetowanej po to, żeby zmierzyć inkrementalność na podstawie różnych cech tych userów. Czyli chcemy wykluczyć userów, którzy są w podobnym wieku jak grupa, którą targetujemy, mają podobny rozkład płci, mają podobny rozkład zainteresowań, w podobny sposób się zachowują, mają podobne możliwości finansowe. Tego nie jesteśmy w stanie zrobić właśnie ze względu na RODO.

Stąd wzrost firm, które tworzą tego typu testy na podstawie geolokalizacji. Nie łamiesz niczyjej prywatności, jeśli stwierdzisz, że na podstawie twoich danych województwo mazowieckie jest idealną reprezentacją wszystkich innych województw. Nie wiem, czy tak jest – strzelam – ale rozumiesz mój punkt. Jeżeli wykluczymy to województwo, będziemy targetować wszystkie inne, to będziemy w stanie dosyć dobrze ocenić rzeczywisty wpływ tych reklam w kategorii związków przyczynowo-skutkowych. Czyli wpływ po prostu na całość biznesu.

Jakub Bendlewski:
Ale oceniasz właśnie, że Polska – jako myślę dość dobry przykład takiego przeciętnego kraju – jest dobrym materiałem na podobne testy? Oczywiście można wyróżnić aglomerację warszawską jako taką wyróżniającą się ludnościowo i przychodowo, ale czy to jest dobry materiał na podobne testy? No bo Stany Zjednoczone to jest zupełnie inna para kaloszy. Tam aglomeracja Los Angeles ma tyle co nasz cały kraj prawdopodobnie. Tam faktycznie można się bawić w wykluczanie różnych takich okręgów. A tutaj co mamy? Wykluczać Warszawę?

Paweł Skibiński:
Na pewno tak. Da się to zrobić też w Polsce dość precyzyjnie. To jest tylko kwestia tego, żebyś podzielił kraj na dostatecznie małe okręgi, tak żeby algorytmy miały szansę zebrać te okręgi w dwie grupy, które będą mniej więcej jednolite pod względem rzeczy, na których ci zależy – przede wszystkim rzeczy związanych z zachowaniami zakupowymi użytkowników. Więc na pewno tak. Być może to nie będzie kwestia wykluczyć Warszawę, i pewnie na poziomie województw by się nie udało, ale być może na poziomie powiatów, być może jakoś inaczej trzeba będzie te linie podziału narysować.

Przyznam się, że po prostu nie pracuję z polskimi klientami, więc bardziej opieram się tutaj na twoim doświadczeniu, jak to widzisz. Generalnie to, jak te testy działają w najbardziej prostej formie, w jakiej można to wytłumaczyć – co myślę, że może się przydać części ludzi – to po prostu działa tak, że targetowałeś reklamami cały kraj, nagle wyłączasz 20% kraju. Jeżeli nic się nie zmieniło, czyli musisz spojrzeć też na wyniki wstecz, ale jeżeli 80% kraju, które targetowałeś, i 20% kraju, którego teraz już nie targetujesz, nic się nie zmieniło, to znaczy, że coś jest nie tak z twoimi reklamami.

Jakub Bendlewski:
No tak, prawdopodobnie tak. Czyli co by nie mówić, to i tak wymaga całkiem niezłej próbki danych na start. W sensie początkujące e-commerce’y albo takie, które zaczynają przygodę z reklamami na Mece, mogą sobie darować myślenie o tym pewnie przez spory czas. Czy to już można wdrażać praktycznie od samego startu?

Paweł Skibiński:
Myślę, że można to wdrażać od samego startu. Jeżeli nie robiłeś reklam nigdzie i nagle zaczniesz robić reklamy na 80% kraju, to nie ma nic złego w porównaniu tego z grupą, którą wykluczysz, i spojrzeniu: aha, tutaj też wpadło parę zakupów, pewnie może organicznie, może z jakiegoś innego powodu, może ktoś znajomy, ktoś usłyszał. Wydaje mi się, że można to robić od początku.

Jeżeli zrobisz to po pół roku, to prawdopodobnie będziesz miał więcej insightów z takiego testu, bo rzeczywiście będziesz mógł porównać, będziesz mógł dokonać tego wyłączenia reklam na części kraju, co sprawi, że zobaczysz w czasie, jak to się rozkłada. Ale myślę, że mniej więcej od początku albo prawie od początku istnienia firmy jak najbardziej można zaczynać z tymi testami.

Za każdym razem, kiedy wprowadzasz nowy kanał, testy inkrementalności są najlepszym sposobem, żeby zwalidować, czy ten kanał rzeczywiście ma rację bytu. Jeżeli masz kombinację kanałów – załóżmy dziesięć albo trzy, obojętnie – i chcesz dodać na przykład telewizję, to jak zmierzysz te reklamy, które są w telewizji? No właśnie w taki sposób, że dodajesz reklamy w telewizji na 80% kraju, na 20% nie, i patrzysz na różne zmiany. Oczywiście należy pamiętać o tym, że to powinien być jedyny czynnik, który będzie różnicował w czasie te dwa okresy. W 100% nie jesteś w stanie tego dopilnować, bo zmieni się sezonowość, coś się stanie, czego się nie spodziewałeś, ale minimalizować wpływ innych czynników – ograniczajmy liczbę rzeczy, które mogą wpłynąć na wyniki.

Jakub Bendlewski:
No dobra. W kontekście już kontynuacji projektu Halo Collar – czy coś w tym roku ciekawego się szykuje w Mece, co ty będziesz chciał wykorzystać i to już jest zaplanowane? Jakie macie plany teraz?

Paweł Skibiński:
Tak. Już jesteśmy w trakcie testowania optymalizacji pod kątem tylko inkrementalnych zdarzeń.

Jakub Bendlewski:
Okej.

Paweł Skibiński:
Ta kampania już działa. Na razie jeszcze nie mamy z niej insightów. Trudno powiedzieć, co z nią zrobić, bo w jaki sposób to porównywać? Oczekujesz od takiej kampanii, że będzie miała niższy atrybuowany ROAS niż pozostałe kampanie, ale że będzie miała większy wpływ na biznes w kategorii właśnie inkrementalności.

Jakub Bendlewski:
Czyli tak uczysz się zupełnie nowego rozumienia ROAS-u na dobrą sprawę.

Paweł Skibiński:
Zupełnie inaczej. To jest zupełnie odrębny cel. Docelowo, jeżeli w pewnym momencie osiągniemy 100% zaufania w tę optymalizację, to teoretycznie można by przełączyć całe konto albo większość konta – załóżmy 80% – na tego typu działania. Jeżeli twoim celem jest pozyskanie nowych userów, to co może być lepszego niż taka optymalizacja, pod warunkiem że ufasz tej optymalizacji i wierzysz, że rzeczywiście wszyscy ci userzy są inkrementalni.

Jakub Bendlewski:
Czy można zastosować odwrotność, wykluczyć inkrementalne konwersje?

Paweł Skibiński:
Nie, nic mi o tym nie wiadomo.

Jakub Bendlewski:
No bo to by było idealne dla struktury: prospecting już jest zadbany, to teraz zadbajmy o czysty remarketing.

Paweł Skibiński:
Nie, ale można to zrobić w inny sposób. Można po prostu targetować userów, którzy byli na stronie, a nie dokonali zakupu, albo userów, którzy weszli w interakcję w coś, co postowałeś na Facebooku czy Instagramie.

Jakub Bendlewski:
Racja, nie trzeba tutaj takich zawiłości robić.

I jeszcze chciałem cię spytać o to, czy oceniasz, że wraz z czasem – nie twierdzę, że to musi być już ten rok – AI i automatyzacje z tym związane nadchodzą ekspresowym tempem, ale jak oceniasz: czy Meta i całe środowisko reklamowe stanie się docelowo bardziej przyjazne dla wszystkich takich e-commerce’ów, które będą chciały coś podobnego wdrażać, czy raczej będzie następować kontynuacja trendu, że takie testy są ekskluzywne dla jakiegoś grona e-commerce’ów?

Zawsze oczywiście są te nowinki ekskluzywne, najwięcej danych i tak dalej, ale czy takie rzeczy staną się bardziej pospolite, że nawet przeciętny e-commerce będzie w stanie sobie takie rzeczy robić? Conversion Lift już mówisz, że jest. To pytanie, jak to będzie szło dalej.

Paweł Skibiński:
Myślę, że tak. Myślę, że te testy staną się bardziej dostępne. Zawsze to tak działało na Mece, że rzeczy zaczynają być dostępne jako beta, później albo przechodzą do powszechnego użytku, albo są wygaszane. Myślę, że tak też będzie z Channel Liftami i z każdą inną funkcjonalnością.

Jedyna trudność przy tych Channel Liftach jest taka, że przypuszczalnie rzeczywiście potrzeba wysokich wydatków reklamowych, żeby osiągnąć statystyczne znaczenie tych wyników, jeżeli masz kilka kanałów i chcesz zmierzyć wpływ Mety. Jeżeli te wydatki będą za niskie, Meta może ci udostępnić test, ale przy wyniku testu podać informację, że statystycznie to jest pewne tylko na 50%.

Jakub Bendlewski:
A właśnie: jedno, co chciałem wcześniej też zadać. Rozumiem, że wyniki testu mogą być po prostu mniej właściwe w ocenie, jeżeli nie dostarczysz odpowiedniej liczby kreacji. Tak czy nie?

Paweł Skibiński:
Nie ma takiej zero-jedynkowej relacji. Na pewno, jeśli będziesz miał za mało kreacji, to ogólnie źle się to odbije na koncie. Ale nie wydaje mi się, żeby była zero-jedynkowa relacja między ilością kreacji a inkrementalnością. Istnieje zero-jedynkowa relacja między ilością kreacji a po prostu wynikami samymi w sobie.

Jakub Bendlewski:
Tak, ale kwestia może być taka, że mała liczba kreacji i gorsze wyniki, czyli prawdopodobnie też niższa sprzedaż, spowodują, że tych danych będzie mniej, więc wyniki testu mogą być mniej prawdopodobne, mniej wiarygodne.

Paweł Skibiński:
Może nie – to bardziej będzie związane z wydatkami na koncie. Ilość kreacji tu nie ma znaczenia. Aczkolwiek oczywiście, jeżeli masz za mało kreacji względem jakiejś optymalnej ilości, która pewnie jest inna dla każdego konta, to po prostu twoje wyniki będą gorsze i ta inkrementalność będzie niższa.

Jakub Bendlewski:
Tak, bardziej myślę po prostu w kontekście mniejszych e-commerce’ów, gdzie nie zawsze jeszcze ten aspekt kreacyjny jest tak ważny. W sensie widzimy wiele kont, gdzie konto ma olbrzymi potencjał, ale nawet nie jest źle technicznie organizowane – tylko właśnie brakuje kreacji i regularnego odświeżania ich. Myślę, że jeszcze wiele firm ma z tym problem. Ale w kontekście konkretnie tych rozwiązań mówisz, że nie dotyczy – a przynajmniej nie bezpośrednio.

Paweł Skibiński:
Nie bezpośrednio. Ale jeżeli test inkrementalności wypadnie źle, wypadnie na zero albo nie na zero, ale gorzej niż się spodziewałeś, to kreacje są jednym z pierwszych miejsc, gdzie należałoby szukać poprawy, zanim się powtórzy test.

Jakub Bendlewski:
Jasne. No dobrze, Paweł, dziękuję ci za dzisiejszy odcinek. To jest temat, który myślę, że będzie wracał. Ja chętnie jeszcze nieraz wrócę do ciebie, może już niekoniecznie z perspektywy sukcesu na stronie Facebooka, choć życzę ci tego. Myślę, że jeszcze będziesz miał okazję do takich case’ów. Na pewno jeszcze będę rozmawiał z ludźmi może bardziej od strony kreatywnej, więc jestem ciekaw też, jakie oni mają spojrzenie na takie kwestie.

I co? Życzę sukcesów tobie, klientowi i być może do zobaczenia za kilka odcinków. Dziękuję wam za to, że byliście z nami, że wysłuchaliście nas i cóż – do zobaczenia do następnego odcinka.

Paweł Skibiński:
Dzięki, do zobaczenia. Cześć.