Parafrazując wikipedię najłatwiej można opisać Efekt Hawthorna (zwanym też efektem placebo) jako zjawisko będące źródłem błędów podczas prowadzenia badań na grupie ludzi, wynikające z tego, że uczestnicy eksperymentu są świadomi tego, że w eksperymencie uczestniczą. Zjawisko to zostało zauważone i opisane przez Eltona Mayo podczas badań nad wydajnością pracy wśród pracowników Western Electric Company. W tym eksperymencie badacze próbowali zmierzyć jakie uwarunkowania (światło, posiłki, itp.) pozytywnie wyływają na wydajność pracy. Wyniki pokazały, że wydajność pracy wzrosła znacząco zarówno w grupie eksperymentalnej, w której zmieniano warunki pracy, jak i w grupie kontrolnej, w której warunki pracy pozostały takie same. Naukowcy doszli do wniosku, że przyczyną takiego wyniku było widoczne zaangażowanie badaczy w eksperyment, co w konsekwencji spowodowało większe zaangażowanie w pracę uczestników eksperymentu. Efekt ten można wyjaśnić na kilka sposobów:
1. Najczęstszym objawem efektu Hawthorna jest to, że przez swą obecność badający wpływa na generalne zachowanie uczestnika badania, który w konsekwencji jest bardziej zmotywowany do określonego działania (na przykład: wszyscy uczestnicy mojego badania na temat prędkości w reagowaniu na wiadomości emailowe w zależności od poziomu ich ważności stwierdzili, że sam fakt obserwacji ich zachowań spowodował, że częściej natychmiast odpowiadali na otrzymane emaile, niż działoby się to w normalnych warunkach). I nie ma tu znaczenia, czy badanie jest przeprowadzone w formie obserwacji z daleka czy z bliska (czyli, czy obserwujący znajduje się w tym samym czy w innym pomieszczeniu (moje badania miało formę diary study, tak, że ja sama nie byłam przy nim obecna)); sam fakt uczestnictwa w obserwacji wywołuje efekt Hawthorna na bazie tego, że obserwowany czuje skupioną na sobie uwagę obserwatora i jest bardziej świadomy własnych zachowań.
2. Kolejnym objawem efektu Hawthorna jest zmiana w zachowaniu uczestników badania związanym z przedmiotem badania, które przekłada się na zwiększoną wydajność w wykonywaniu zadania (na przykład: uczestnicy badania starają się wykonać dane zadanie jak najefektywniej i ukryć własne, w ich mniemaniu, błędy i niedociągnięcia, które mogłyby wpłynąć na ich osobiste poczucie porażki). Taka zmiana w zachowaniu może negatywnie wpłynąć na zrozumienie badającego, w jaki sposób dane zadanie powinno zostać poprawione i przeprojektowane. I znowu tu nie ma znaczenia, czy badanie zostało przeprowadzone przy użyciu metody obserwacji pośredniej czy bezpośredniej – w obu typach badań efekt Hawthorna został zaobserwowany.
Chyba najbardziej problematycznym w tym kontekście jest badanie użytecznościowe przeprowadzane jedynie przy użyciu urządzeń eye-tracking (tak bardzo popularne w Polsce). Dlaczego? Z racji tego, że użytkownik stara się usatysfakcjonować oczekiwania obserwatora, zarówno socjalne jaki wydajnościowe, ruch jego oczu jest dużo bardziej dynamiczny niż w naturalnym kontekście. Co więcej, w takich przypadkach użytkownicy starają się całościowo zrozumieć zawartość przedstawionego im interfejsu użytkownika i dlatego często skupiają się niekoniecznie na elementach, które w naturalnej sytuacji zwróciłyby ich uwagę, ale na tych, które potencjalnie mogliby przegapić. I to tylko po to, żeby upewnić się, że ich decyzją dotycząca interakcji z systemem jest jak najbardziej prawidłowa, choć w wielu przypadkach niekoniecznie najefektywniejsza i niekoniecznie też ta, na którą zdecydowaliby się używając danego systemu na co dzień.
Czy to oznacza, że badania z użytkownikami ( a w szczególności badania eye-trackingowe) z założenia skazane są na porażkę, jako, że samo w nich uczestnictwo zmienia zachowanie obserwowanych. Oczywiście, że nie. Natomiast istotnym jest uświadomienie sobie tego, że efekt Hawthorna w takim badaniu wystąpi i odpowiednie przygotowanie się do wybalansowania jego wpływu na wynik badania. Jedną z typowych metod stosowanych w badaniach użyteczności jest połączenie ze sobą badania ilościowego z jakościowym, czyli próba zrozumienia nie tylko tego, jak ludzie się zachowują, ale także poznanie tego, co ich do danych zachowań motywuje. Pozwala to na zauważenie, czy pewne zachowania wynikają z efektu Hawthorna i w efekcie pozwala to na ich odpowiednią interpretację oraz określenie, czy dane zachowanie powinno być wykluczone ze zbioru wyników czy nie.
Kolejnym sposobem na uniknięcie efektu Hawthorna, szczególnie przy testowaniu nowych rozwiązań, jest zorientowanie badania na próbę poprawienia designu, raczej niż przeprowadzenie badania efektywnościowego (czyli pomiaru szybkości wykonania danych zadań). Oczywiście, że i w badaniu projektowym efekt Hawthorna może się pojawić – manifestuje się on zwykle tym, że użytkownicy starają się zachować w sposób socjalnie poprawny i nie krytykować nadmiernie danego projektu. Prostą metodą na uniknięcie tego efektu jest przekonanie użytkownika, że dany design nie został wykonany przez przeprowadzającego badanie i że celem badania jest krytyczna ocena projektu.
Innym sposobem, może nie na uniknięcie, ale na kontrolę efektu Hawthorna jest wprowadzenie wspólzawodnictwa pomiędzy uczestnikami badania, jako elementu motywacyjnego dla ich zachowań. Oczywiście, że w takim przypadku uczestnicy będą chcieli jak najefektywniej wykonać dane zadanie, ale element współzawodnictwa powoduje, że ich zachowania nie są zorientowane na usatysfakcjonowanie obserwatora a na wygranie w grze i dlatego bliższe są ich naturalnemu sposobowi zachowań.
