Co pewien czas na rynku pojawia się nowe narzędzie wspomagające prace projektantów i badaczy zarówno z zakresu usability, jak User Centered Design. Praca z jednymi staje się standardem (vide Axure), inne odchodzą do lamusa (tak się trochę stało w przypadku programu IBM do cardsortingu – EZSort, które obecnie zastąpiły dużo sprawniejsze aplikacje).
Wciąż niektóre badania i sprzęt potrafią być bardzo drogie. Jednym z droższych (o ile nie najdroższym) urządzeniem wykorzystywanym w badaniach User Experience jest eyetracker (o samych badaniach ET pisaliśmy m.in. z Olą niedawno).
Niedawno ukazał się serwis online, w który umożliwia symulację procesów uwagi wzrokowej – Feng-GUI. Zasady funkcjonowania algorytmów Feng GUI zostały podane na stronie i przypominają z grubsza zasady pewnego modelu teoretycznego selektywnej uwagi typu bottom-up, autorstwa dwu wybitnych naukowców – Christofa Kocha oraz Shimona Ullmana. Pytanie, jak wiarygodne rezultaty daje program? By odpowiedzieć na to pytanie, w ramach prac działu MRM Experience wraz ze współpracownikami (Olą Słomińską i Anią Boguską-Torbicz), przeprowadziliśmy badanie kontrolne.
Szczegóły badania
W badaniu posłużono się eyetrackerem Tobii model T60 wraz z dedykowanym do niego oprogramowaniem Tobii Studio.
W badaniu uczestniczył operator i cztery osoby w roli respondentów. Wybrano 9 stron internetowych, które prezentowano każdej z osób w czasie 8 sekund dla jednej ekspozycji. Uzyskane wyniki podczas badania z użyciem eyetrackera porównano z wynikami uzyskanymi dla symulacji uwagi percepcyjnej, wg programu Feng GUI. Wyniki zaprezentowano poniżej.
***
Amazon.com
Król światowego e-commerce poszedł na pierwszy ogień. Widać, że w przypadku elementów o dużym kontraście, wyniki symulatora Feng GUI potrafią byś dość zbieżne z tymi, uzyskanymi podczas badania z żywymi użytkownikami – trafienia w produkty w części środkowej (robot Wall-E) oraz zdjęcie mężczyzny. Ale symulator nie pokazał bardzo istotnych elementów, wychwyconych już w badaniu z ludźmi: 1)nagłówke koło książki – produktu dnia – jest żywiej penetrowany faktycznie, niżby to wychodziło z symulacji (zresztą jest najgorętszym punktem); 2) w przypadku zdjęcia z mężczyzną, osoby patrzyły na jego twarz, a nie elementy graniczne zdjęcia, kontrastujące z białym tłem strony; 3) w końcu podczas żywej ekspozycji zarówno menu jak i logo, były penetrowane przez wzrok użytkowników – symulator tego nie pokazał.
CoJestGrane.pl
Serwis eventowy o negatywnym kontraście (ciemne tło, jasna czcionka). Na pierwszy rzut oka zadziwiająca dwa trafienia – pierwsze w lewej części górnego banera, drugie w prawej części strony, gdzie występuje pomarańczowy nagłówek. Trafienia staną się mniej zadziwiające, gdy spojrzeć na stronę – górna lewa część banera no mocno kontrastujący jasnozielony prostokąt, świetnie wyróżniający się zarówno na czarnym tle, jak i na ciemnym granatowym tle banera; żółcienie mają lepszy kontrast na czarnym tle, niż biel, stąd pomarańczowy nagłówek (a więc i większy rozmiar fontu) jest bardziej kontrastowy, niż blok białych napisów z nazwami miast.
Rozkład fiksacji na zdjęcia jest inny w przypadku symulacji oraz faktycznej percepcji strony przez ludzi. Żywe osoby spostrzegają także część identyfikacyjną z adresem strony.
Fotka.pl
Grupa Fotka, to blisko 30% zasięg w Polsce i stałe miejsce w czołówce Megapanelu. Fotki widoczne – ale jakby na obu zrzutach nie te same i nie z tą samą uwagą. I znowu: w przypadku żywych osób penetrowane są regiony menu i identyfikacji strony – logo.
GoldenLine.pl
Jeden z czołowych serwisów społecznościowych w naszym kraju. Żywi użytkownicy dużo większą rolą przykuwali do części wyjaśniającej czym jest GoldenLine i do czego służy, niżby to wynikało z przeprowadzonej symulacji programu Feng GUI. Menu i elementy logowania także są dużo ważniejsze. I percepcja zdjęć potrafi się nie pokrywać.
MRM.pl
Strona agencji, w której przeprowadzono badania. Tu – w przypadku osób uczestniczących w badaniu – istotne stało się menu strony – czego symulacja w ogóle nie pokazała. Porównanie najbardziej gorących miejsc z badania i symulacji, pokazuje spore różnice.
Onet.pl
Trudno w Polsce robić badanie nie odnosząc się do Onetu 🙂 Z powyższych heatmap można wyciągnąć jednoznaczne wnioski – człowiek wie co dobre. Duże zdjęcie z artykułu dnia oraz część z wiadomościami bieżącymi, to czołowe miejsca na stronie wg prawdziwych oglądających stronę użytkowników. W przypadku symulacji, cała niemalże uwaga została przypisana banerowi.
Travian.pl
Chyba najbardziej popularna przeglądarkowa gra w naszym kraju, a wg Megapanelu na pewno najbardziej. Dla osób oglądających stronę z mapą gry, po zalogowaniu, dużo ważniejsze jest centrum mapy, niźli jej obrzeża, na co wskazuje symulacja. Nie wspominając o opcjach menu, które penetrowane przez użytkowników, w ogóle nie znajdują odzwierciedlenia w komputerowej symulacji Feng GUI.
Wyborcza.pl
Niedawny redesign strony i już przeprowadzone badanie… No, no 🙂
Prócz tego, że na obydwu heatmapach stwierdzono zwiększoną uwagę na zdjęciu głównym (chociaż w innych regionach!) oraz banerze reklamowym w prawej części strony, to pozostałe elementy w ogóle się nie zgadzają.
YouTube.com
YouTube wg statystyk ruchu w sieci, to obecnie 80% ruchu w Internecie. Ale mapy uwagi są tak rozbieżne w stosunku do siebie, że nawet nie ma potrzeby komentowania tego – wystarczy rzucić okiem.
Wnioski
Twierdzenie, że aplikacja w serwisie Feng GUI jest symulatorem uwagi percepcji wzrokowej, jest grubym nadużyciem. Wyniki otrzymane podczas badania są tak rozbieżne w stosunku do tych otrzymanych z użycia Feng GUI, że ich interpretacja nie jest w stanie dać projektantom wiedzy na temat faktycznego zachowania żywych użytkowników na stronie WWW. W przypadku prezentowania i badania zdjęć, dane wyszły tak samo rozbieżne.
Choć osobiście mocno wierzę w stochastyczne podłoże naszych procesów percepcyjnych, to zastosowane w symulatorze algorytmy, nie pozwalają uzyskać żadnej miarodajnej wiedzy i pozostawiają program Feng GUI tylko w sferze ciekawostki.