To tylko kilka sekund przy komputerze: wystarczy wpisać coś w Google, trafić na Wikipedię i już można odnieść wrażenie bycia Ekspertem. W praktyce słynna internetowa encyklopedia pod względem wiarygodności jest zaledwie protezą jakiejkolwiek encyklopedycznej literatury. Idea anonimowości sprawiła, że treści na Wikipedii to głównie pauperyzacja wiedzy, którą niestety zbyt wiele osób bierze jako poważne źródło. Prawdopodobnie na tej pożywce wyrosło badanie Backlinko, które zdążyło się już pojawić w polskim internecie.

Autorzy wylosowali milion zapytań, pobrali dla nich TOP10 i następnie z tego wylosowali milion podstron do właściwej analizy. Celem miało być znalezienie korelacji. Czy zostały znalezione?

Na pewno nie w ten sposób

Przezornie na samym końcu dokumentu zostały podane współczynniki korelacji Spearmana, być może z nadzieją że nikt do nich nie dotrze. Niestety nawet najwyższy współczynnik, zgodnie z autorami „ekstremalnie ważny” i „silnie skolerowany”, wyniósł 0.20 co statystycznie jest najwyżej słabą korelacją (a w praktyce ciężko tu mówić o jakimkolwiek związku).

Dla porównania taka sama korelacja łączy pacjentów szczepiących się przeciw grypie i udających się na badania ginekologiczne:

Błędy interpretacyjne

Dalej jest niestety gorzej:

  • 0.04 dla HTTPS
  • 0.03 dla ilości słów na stronie
  • 0.04 dla zgodności z tematem
  • 0.05 dla Ahrefs Domain Authority

Nie pozostawiają najmniejszego pola manewru. Brak korelacji zgodnie ze Spearmanem. Mimo to autorzy analizy przy każdym z tych elementów stwierdzają z całą pewnością, że tu widać wyraźną korelację.

W takiej sytuacji pozostają tylko dwie opcje: albo autorzy posiadają dziesiątki dodatkowych danych którymi się nie podzielili albo nie mają pojęcia o czym mówią. Prościej sprawdzić drugą „hipotezę”. Niestety nie trzeba było długo szukać…

Otóż według słów Backlinko współczynnik Spearmana:

  • jest najodpowiedniejszy przy szukaniu efektów wpływu zmiennych (w praktyce zawodzi przy korelacji nieliniowej, a do tego samego współczynnika raczej nie używa się bez dodatkowych testów)
  • 0.070 jest dwukrotnie większy od 0.035 (współczynnik „nie zaczyna się” od zera, równie dobrze można powiedzieć że 6°C to dwa razy więcej niż 3°C)
  • jest pewny od 0.03 jeśli jest takie mniemanie (klasyczne pseudonaukowe naciąganie danych pod wcześniej założoną tezę, w praktyce o istotnych współczynnikach nie mówi się wcześniej niż od 0.50)

W obliczu takich wypowiedzi trudno założyć, że pewność autorów raportu wynika z przeprowadzenia wielu testów T, odrzucania hipotez zerowych, kontroli jakości danych.

Wykresy które nic nie znaczą

Spostrzegawczy czytelnik na pewno zadał sobie pytanie: jak to jest że praktycznie nie ma związku w najsilniej skolerowanym elemencie (bardziej poprawnie: najmniej słabo skorelowanym) a na wykresie widać wyraźny trend?

I to celne pytanie, którego autorzy „badania” prawdopodobnie sobie nie zadali. Otóż w tego typu danych zdecydowanie należy się spodziewać wartości odstających. Normalne jest, że strona na pierwszym miejscu może mieć nawet 1000 domen linkujących do niej – to nazywamy wartością odstającą. Współczynnik Spearmana jest dość odporny na tego typu wartości. Natomiast zaprezentowana na wykresie średnia jest dość wrażliwa na tego typu wartości. W efekcie by wywindować średnią do takiej postaci wystarczy, że dla części zapytań na pierwszych miejscach były strony Wikipedii (a jak wszyscy wiemy, Google je uwielbia i często są w TOP3), do których linkuje pół internetu.

Jeszcze wyraźniej widać to poniżej:

Gdzie przy współczynniku 0.04 na wykresie średniej jest trend, o który również można śmiało obarczyć Wikipedię w całości stojącą na HTTPS. Co ciekawsze, w pewnym momencie autorzy nawet o tym wspominają, jednak nie zasiało to w nich ziarna wątpliwości, że średnia jest tu źle dobranym narzędziem.

Nie ma potrzeby krytykować każdy wykres z osobna, pozostawiam to zdrowemu odbiorowi czytelnika. Wskażę tylko jeszcze jeden dobitny przykład, tym razem nie z powodu średniej:

Tutaj wskazano obecność „exact match” (litera w literę) zapytania w tytule strony (metatag title). Badanie jak badanie, zawsze można to sprawdzić. Jednak Backlinko wyciągnęło z tego wniosek, że tytuł strony już w zasadzie nie wpływa na pozycjonowanie. Nadinterpretacja to mało powiedziane!

Dlaczego się nie udało?

Co jakiś czas duzi gracze publikują badania korelacji, które niestety – jak widać wyżej – często nie mają nic wspólnego nawet z podstawami statystyki. Podobnie krytyczne uwagi da się bez problemu znaleźć w odniesieniu do Moz czy Searchmetrics. Można powiedzieć: spróbujcie sami skoro wytykacie błędy. Co wnieślibyśmy stosując poprawne narzędzia statystyczne i realną interpretację?

Nic. Żaden dotychczasowy raport nie wykazał silnej liniowej korelacji. By wykazał, potrzebne jest wykrycie i ograniczenie wpływu wielu czynników pełniących rolę wartości odstających takich jak: filtry algorytmiczne, kary ręczne, chwilowe awarie, zmiany i eksperymenty w algorytmach, personalizacja wyników pod kątem lokalizacji, trwające kampanie linkowania, disavow, historia domeny, konkurencja. To wszystko ma często decydujący wpływ na pozycję i nie jest uwzględniane w jakimkolwiek badaniu korelacji. Ciężko zresztą mówić o nich per „badanie”, bo brakuje w nich naukowej metodologii, narzędzi, interpretacji i w końcu recenzji. Nie każde kilka cyfr jest badaniem.

To trochę tak jakby próbować szukać korelacji do wyniku wyścigu. Sprawdzić czy refleks kierowcy albo przyczepność opon korelują z pozycją na mecie. Można w to zainwestować czas i nic się nie dowiedzieć, a można też postawić na realne testy/eksperymenty i z nich wyciągnąć wartościowe wnioski. Nawet dowody anegdotyczne są bliższe rzeczywistości niż próba wyciągnięcia korelacji dla jednego z dwustu czynników.

Zalinkowane źródła: Backlinko.com, Takaoto.pro, Ecp.acponline.org, Irthoughts.wordpress.com. Źródła grafik: Facebook.com, Ecp.acponline.org, Backlinko.com.