Branża marketingowa czy reklamowa jak wiele innych badaniami stoi. Cyferki, procenty, wykresy, trendy – to nas grzeje, wzbudza dyskusje, obala hipotezy, tworzy nowe założenia czy strategie. Problem niestety jest taki, że my, jako branża, w te cyferki za bardzo nie potrafimy. I to na wielu poziomach. Badania i raporty zamiast nas rozwijać, wskazywać drogę do jeszcze lepszej komunikacji marketingowej, finalnie pchają nas w czeluście bylejakości, błędnych insightów konsumenckich i fatalnych reklam oraz produktów.
Hipoteza to nie to samo co teza
Zacznijmy od absolutnej podstawy, czyli błędnego użycia słowa „teza”. Poniżej możesz obejrzeć krótki materiał wideo, który dokładnie wyjaśnia oba pojęcia. W skrócie tezy używamy gdy jesteśmy czegoś pewni i szukamy dowodów na jej prawdziwość. Hipotezę stawiamy gdy nie mamy pewności, że to co mówimy jest prawdą i jesteśmy gotowi na wysłuchanie argumentów za oraz przeciw. Problem w tym, że branżowi eksperci są tak diabelnie pewni siebie, że niemal zawsze stawiają tezy, a wierzcie mi, w większości przypadków powinny być to właśnie hipotezy. Wynika to z tego, że jako ekspert nie możesz mieć wątpliwości. To źle jest odbierane i podważa jego kompetencje.
Badania marketingowe przeprowadzane pod tezy, a nie hipotezy
Ogólnie w nauce raczej stawia się pewne hipotezy, bada zjawiska, a następnie wyciąga z nich wnioski. Jakiekolwiek by nie były to zawsze (niemal) liczy się prawda. W biznesie i marketingu zostało to wypaczone i prowadzi do absurdów:
– na rynku pojawia się nowa technologia i robimy badania, które mają ją uwiarygodnić
– agencja od influence marketingu przygotowuje raport, aby uzasadnić swoje istnienie i to, że współprace z influencerami są trendem
– media przekonują, że rzetelne dziennikarstwo jest w cenie i odbiorcy chcą za nie płacić
Podobne przykłady można mnożyć. Problem jest taki, że są w nich stawiane tezy pod biznes, a nie hipotezy. Może wcale nie chcemy płacić za jakościowe treści, korzystać z nowych technologii jako konsumenci czy współpracować z influencerami jako marketerzy? No, ale wtedy biznes nie ma uzasadnienia swojego istnienia.
Po wykonaniu „badań” (specjalnie w cudzysłowie ująłem) okazuje się, że nie wypadły po naszej myśli i musimy rzeźbić w przysłowiowym g….ie. Tak oto dochodzi do pierwszej grupy przekłamań w postaci świadomej selekcji danych pod tezę. Druga grupa przekłamań ma swoje źródło w niewiedzy. Agencje, biznesy, startupy często same przeprowadzają badania lub zlecają je mniejszym (czyt. tańszym) firmom, które delikatnie rzecz ujmując średnio znają się na swojej pracy. Więc struktura badań, dobór grupy celowej i przede wszystkim pytania są po prostu złe! Pod kątem zrozumienia, metodologii, często też sensu. Poniżej omawiam kilka przykładów, które zobrazują Ci w czym i gdzie tkwi problem.
Ale najpierw jeszcze odpowiedzmy sobie na pytanie…
Dlaczego tak ufamy raportom, badaniom, procentom i cyferkom?
Żyjemy w czasach content overloadu. Jako społeczeństwo produkujemy zdecydowanie więcej treści niż jesteśmy w stanie skonsumować. Świadomość tego faktu nie daje nam spać i chcemy pochłaniać jak najwięcej informacji. Najprostszą drogą, aby zwiększyć ten wolumen jest skrócenie czasu jaki na nie poświęcamy. Jako pierwsze do odcięcia idzie weryfikowanie źródeł. Nasz system poznawczy przyjmuje strategię uproszczonego wnioskowania i myślenia stereotypowego. Więc jeśli ktoś już zrobił badanie, to pewnie zrobił je dobrze i miał czyste intencje. Jeśli w telewizji ekspert powiedział, że dana technologia jest przyszłością to musi być prawda. Przecież do telewizji nie wzięliby osoby, która nie wie co mówi! Wszystko to doprawmy dowodem społecznej słuszności w stylu „skoro jego post na LinkedIn ma 2137 reakcji to znaczy, że inne osoby potwierdzają jego tezę/hipotezę”.
Ten mechanizm będzie narastał ponieważ wymaga od nas krytycznego myślenie, którego zaczyna być deficyt w społeczeństwie z powodu korzystania ze sztucznej inteligencji.
Zjawisko oddawania weryfikacji informacji już niemal bez bólu oddajemy mediom, firmom czy instytucjom. Jest to dla nas wygodne, bo wtedy możemy zwalić winę z siebie. A jeśli jakiś podmiot nadużył naszego zachowania to w jego miejsce wchodzi kolejny, któremu zaczynamy niemal bezgranicznie wierzyć. Znowu.
Jak manipulować wynikami badań i raportów?
Czas przejść do mięska, czyli konkretnych przykładów, na które dziesiątki miliony osób nabiera się każdego dnia. Wyjaśnię czemu czasami nawet mocarnie brzmiące dane mogą być tylko i wyłącznie pustą wydmuszką prowadzącą do błędnych wniosków. W ich efekcie firmy przyjmują strategie marki czy komunikacji w oparciu o błędne insighty. Nie muszę Ci chyba tłumaczyć jak to wpływa na sprzedaż produktów czy usług, prawda?
Aplikację pobrało 200 tysięcy osób
Ten sposób manipulowania jest jednym z najbardziej popularnych i polega na podawaniu jednej danej bez kontekstu, w oderwaniu od innych, równie ważnych wskaźników. Najbardziej popularnym przykładem jest podawanie średnich zarobków w Polsce w postaci średniej arytmetycznej, która jest tylko jednym z trzech wskaźników tak zwanej miary tendencji centralnej zbioru. Oprócz niej jest też dominanta (wynik, który najczęściej się powtarzający) oraz mediana (wynik, który dzieli zbiór równo na pół). Średnia arytmetyczna może wyjść wysoka (suma wartości wszystkich elementów zbioru dzielona przez ich ilość), należy pamiętać, że jest ona zawyżona przez wąską grupę najlepiej zarabiających osób. Mediana i dominanta zazwyczaj są sporo niższe od średniej arytmetycznej! Jednak w mediach rząd, ministerstwo czy polityk chce pokazać swój sukces więc pokazuje średnią arytmetyczną z pominięciem dominanty mediany.
Tak samo to, że aplikacja została ściągnięta 200 tysięcy razy nie oznacza, że okazała się strzałem w dziesiątkę. Wnikliwy analityk zapyta Cię jeszcze o takie rzeczy jak średni czas korzystania z niej, jak często użytkownicy z niej korzystają (dziennie czy miesięcznie), ile i jakie aktywności w niej podejmują (np. złożenie zamówienia) czy finalnie jaki jest wolumen sprzedaży przez nią generowany.
Podobnie jest z materiałami wideo. Niektórzy się chwalą, że ich wideo zostało wyświetlone milion razy! Taka liczba robi wrażenie, ale dobrze jest widzieć ile procent użytkowników obejrzało całe wideo, jaki był średni czas oglądania na użytkownika. Obecnie wcale nie potrzeba dużego budżetu, aby nabić dzięki reklamie na Youtube, Facebooku czy TikToku setki tysięcy czy miliony wyświetleń. Co z tego jak średni czas oglądania takiego wideo to 4-5 sekund, a samo wideo trwa 30? Najważniejsze informacje są zawarte w 10 sekundzie materiału, do którego dochodzi zaledwie 15 procent oglądających… No, ale prezes nie pyta o takie „detale” i wystarczy mu ładna liczba wyświetleń, więc po co w ogóle się starać?
Pytania z definicją, której nie znają respondenci
Bardzo częsty błąd metodologiczny popełniany w badaniach. Zakładamy, że to o co pytamy respondentów jest przez wszystkich rozumiane tak samo, wszyscy podmiot pytania definiują w ten sam sposób. Bardzo często tak niestety nie jest. Co z tego wynika? Odpowiedzi, które nie są ani trafne, ani rzetelne więc absolutnie nie powinny być przedstawiane jako wyniki w badaniach czy raportach.
Często widać to w badaniach, których celem jest promowanie różnego rodzaju nowych technologii, uwiarygadnianie ich w oczach marketerów, by móc je łatwiej sprzedać jako agencja czy studio produkcyjne.
Weźmy na warsztat pytanie z jednego z tegorocznych trendbooków i rozłóżmy na części pierwsze:
„W jakim stopniu zgadza się Pan/Pani, z opinia, że obecnie osoby starsze są bardziej otwarte na nowe technologie i innowacje niż jeszcze kilka lat temu?”
„Osoby starsze” – dla 20latka osobą starszą jest 40latek. Dla 40latka, będzie to 60-70latek. Również sama branża marketingowa podaje różny wiek jeśli chodzi o przynależność do pokolenia silver, które mogłoby być tutaj odniesieniem.
„Są bardziej otwarte” – czy za tym się kryje średnie dzienne korzystanie, deklarowana chęć do przetestowania, akceptacja tego, że inni korzystają, a może strach przed cyfrowym i technologicznym wykluczeniem?
„Nowe technologie i innowacje” – dla zetki czy przeciętnego millennialsa będzie to oznaczyło zupełnie inne rozwiązania niż dla przedstawiciela pokolenia silver w wieku 55 lat. Dla osób +70 lat będzie to korzystanie z telefonu oraz wysyłanie SMSów oraz maili. Przedstawiciel branży marketingowej pod tym pojęciem rozumie blockchain, AR, VR czy AI (chociaż i w tej grupie jakbyśmy podrążyli temat to znaleźlibyśmy wiele rozbieżności).
„Jeszcze kilka lat temu
” – zadając pytania (jak również pisząc wszelkie teksty) unikamy zaimków nieokreślonych w stylu kilka, kiedyś, w przeszłości, gdzieś itd. Zwłaszcza, że mieliśmy pandemię, która wywróciła świat do góry nogami i zmieniła zachowania cyfrowe wszystkich grup konsumentów. Ciekawe ile osób interpretowało te kilka lat jako np. 2-3 lata, 5-6 (czyli tuż po pandemii), albo 10 lat temu czyli przed jej nastaniem.
„Zgadza się Pan/Pani” – Na upartego można się też doczepić do tego, że pytanie sugeruje odpowiedź. Wolałbym coś w stylu „Jak określisz stosunek przedstawicieli silver generation (+55 lat) do technologii takich jak VR, AR czy sztuczna inteligencja w porównaniu do czasów sprzed pandemii?”
Na koniec jeszcze jedna uwaga do tego pytania, być może kluczowa. Otóż pytamy przedstawicieli branży reklamowej/marketingowej o to co sądzą seniorzy (ich odczucia, wykorzystanie) o niezdefiniowanych bliżej nowych technologiach oraz innowacjach. To trochę jak pytanie rolników z Peru czy sądzą, że obywatelom Francji smakuje pszenica z Polski…
Deklaracja to nie zachowanie
Kolejny kluczowy, wręcz notoryczny sposób manipulacji w badaniach. Pytamy respondentów badania o ich zachowania czy ich przewidywanie w przyszłości. To jak wróżenie z fusów i nijak się ma do rzetelności, bo od deklaracji do zachowania czy czynności jest bardzo daleka droga. Droga, na której jest wiele zmiennych mogących sprawić, że na przykład nie skorzystamy z usług deklarowanej marki, nie zaznajomimy się z innowacyjną technologią itd.
Często też łączy się pytania deklaratywne z inną „sztuczką”. Weźmy na przykład takie pytanie: „Czy w 2024 roku Wasza firma korzystała z narzędzi AI?„. Zapewne procent osób, które odpowiedzą twierdząco będzie bardzo duży i z dumą w raporcie po badaniu przeczytasz, że „89 procent firm już korzysta z AI w swoich działaniach”. A potem klasycznie „nasza firma oferuje narzędzia poprawiające efektywność pracy dzięki sztucznej inteligencji” czy coś w tym stylu ;-).
Jeśli czytasz ten wpis z uwagą to być może domyśliłeś się co jest nie tak w tym pytaniu. Chodzi oczywiście o to jak, do czego i ile tego AI jest w naszej firmie. W sytuacji gdy recepcjonistka w miesiącu wyśle 2 maile stworzone w ChatGPT, a dział promocji zrobi 3 grafiki do postów w Midjourney to absolutnie nie powinno się mówić, że firma jest innowacyjna. Gdybyśmy pytanie pogłębili to okazałoby się, że mniej niż 5 procent z badanych firm/ich przedstawicieli używa sztucznej inteligencji w kluczowych obszarach, które przekładają się na wynik finansowy.
Jako ludzie też mamy krótką pamięć. Nie jesteśmy w stanie określić, przypomnieć sobie co robiliśmy dwa dni wcześniej już nie wspominając o swoich motywacjach, sposobie itd. Pytanie „Czy Twoim zdaniem często korzystasz z aplikacji social media?” ma dwie pułapki. Po pierwsze dla każdego z nas „często” może oznaczać zupełnie coś innego. Dla mnie to będą 3 godziny dziennie, dla Ciebie 5, a dla prezesa dużej firmy godzina. Po drugie nie mamy w głowie stopera, aby to wyliczyć. Spróbuj oszacować czas jaki spędzasz na Instagramie, a następnie sprawdź go w aplikacji. Obstawiam, że nawet nie będziesz blisko ze swoim wynikiem.
Magia dużych liczb i brak podania skali
To działa i zawsze będzie działać. U podstawy tego mechanizmu leży nasza wyobraźnia. Jesteśmy w stanie sobie wyobrazić grupę 10 osób. Stu również. Nawet 50 tysięcy osób możemy zamknąć na przykład na trybunach Stadionu Narodowego. Ale już 2 miliony osób to poważny problem! Ile zajmą przestrzeni jeśli ustawimy ich jeden obok drugiego? Jak wielki powinien być blok mieszkalny, aby każdy mógł w nim mieszkać? Gdy nasza wyobraźnia dochodzi do granic swojej wydajności każda liczba wydaje nam się „w opór duża”. Więc 2 miliony tak samo ciężko jest sobie wyobrazić jak 4 czy 30 milionów. Na podobnej zasadzie nie jesteś w stanie wyobrazić sobie 666 hektarów ziemi (no chyba, że jesteś rolnikiem) czy 28 tysięcy metrów kwadratowych tkaniny.
A tyle właśnie zalegających w magazynach tkanin Shein wykorzystał do uszycia ubrań i wprowadzenia na rynek. Wydaje się to super rozwiązaniem, tak bardzo eko, ale poniżej Jakub Roskosz i Michał Kędziora pokazują jaka to jest wydmuszka.
Podobny zabieg stosuje się gdy na siłę ktoś chce pokazać, że jakiś serwis społecznościowy rzekomo może zagrozić tym największym. Tak było w przypadku BeReal, BlueSky, Threads i wielu innych. Liczba użytkowników na poziomie kilkudziesięciu milionów robi wrażenie, ale jeśli porównamy do liderów rynku to stanowi to często mizerny procent lub kilka. Oczywiście pomija się też inne wskaźniki takie jak ilość wizyt dziennie na użytkownika i czas spędzony na korzystaniu.
Absolutnym mistrzem ściemy jest LinkedIn, który od lat w swoich podsumowaniach pisze, że ma globalnie miliard członków (ang. members). Brzmi zacnie, problem w tym, że member (założone konto) nie równa się user, czyli użytkownik, a tych jest przynajmniej o połowę mniej (z czego większość korzysta z serwisu maksymalnie parę razy w ciągu miesiąca).
Badania są za drogie
Przyzwoite badanie rynku, marki czy konsumentów zaczyna się od 20-40 tysięcy złotych. To za dużo dla polskich firm z sektora MŚP (małe i średnie przedsiębiorstwa), a duże firmy też dwa razy się zastanowią zanim wydadzą taką kwotę. Lepiej na czuja wydać taką kwotę w billboardy albo wrzucić w studnie bez dna jakimi są systemy reklamowe Mety czy Google’a.
Prowadzi to do poniższych sytuacji:
- marka korzysta z ogólnie dostępnych badań, często przeprowadzonych na innych rynkach. Co więcej nikt nie ma czasu zagłębiać się w metodologię takich badań. Również agencje reklamowe mając 10 dni na przygotowanie strategii marki korzystają z takiego rozwiązania. Najczęściej wręcz szukając badań potwierdzających ich własny pomysł kreatywny
- robią własne, po kosztach. Najczęściej są źle opracowane (pytania, skale odpowiedzi, grupa, analiza, przedstawienie wyników)
W obu przypadkach kończy się to źle. Najczęściej tym, że podłoże strategiczne, założenia są błędne, co przekłada się potem na niską skuteczność planowanych działań komunikacyjnych. W agencji strategiczno-kreatywnej ReBrain, której jestem współzałożycielem nie dopuszczamy do takich sytuacji. Rekomendujemy badania własne na start. Jeśli wspieramy się ogólnodostępnymi to bardzo mocno prześwietlamy ich metodologię oraz wyniki często wyciągając własne wnioski. Zdarzyło nam się również przeprowadzić badanie i warsztaty, które uchroniły przed dalszą inwestycją w projekt, który był wyjątkowo trudny w realizacji.
Jeśli masz pytania, chcesz porozmawiać na temat badań, tworzenia strategii marketingowej czy insightach konsumenckich to zapraszam na mój profil na LinkedIn.
