Przejdź do treści

HRowiec wybiera test psychologiczny – poradnik praktyka

Podobno dobry tekst zaczyna się od historii albo jak mawiają w języku staropolskim od „story”. Więc od „story” zacznę i ja.

Kiedyś otrzymałem od jednego z dostawców usług szkoleniowo-doradczych ofertę, a w ślad za nią telefon sprzedażowy. Oferta dotyczyła testu służącego do pomiaru osobowości. Sprzedawca zachwalał mi prostotę narzędzia i przystępność graficzną automatycznie generowanego raportu. I super, sam lubię rzeczy proste, szczególnie zaś, jeśli są automatyczne. Jako dociekliwy i jak się potem okazało „trudny” klient, zadałem kilka podstawowych pytań o właściwości tego testu. Pytania dotyczyły typowych charakterystyk narzędzia, które pozwalają uznać je za dobre narzędzie diagnozy w HR. W odpowiedzi usłyszałem…, że.. Nasze narzędzie nie jest testem psychologicznym więc nie musi posiadać takich charakterystyk…”Hmm, ciekawe – pomyślałem. Zadałem więc pytanie dla mnie dość kluczowe, choć z perspektywy sprzedawcy pewnie ujawniające moją „kliencką wredność” – „Proszę mi więc powiedzieć, czym Państwa narzędzie różni od psychotestów publikowanych w kultowym niegdyś czasopiśmie Bravo Girl?”.

Niestety sensownej odpowiedzi nie udało mi się uzyskać…

Czym test psychologiczny różni się od tego publikowanego w Bravo Girl?

Pytanie to w cale nie jest tak głupie, na jakie wygląda… Jeśli nie pamiętacie czasopisma Bravo Girl to spieszę z przypomnieniem, że był to za czasów mojej młodości jeden z niewielu periodyków skierowanych do młodych dziewcząt. Publikowano w nim ekscytujące i pobudzające ośrodek nagrody w mózgu testy, pozwalające odkryć prawdę o swoim życiu. Np. to czy pasujemy do partnera lub czy potrafimy „prawdziwie kochać”.  Testy te zawierały najczęściej kilka pytań z odpowiedziami na skali TAK/NIE/NIE WIEM. Ich treść dotyczyła cech psychicznych, upodobań, zachowań oraz emocji jakie odczuwa młody czytelnik.

Na pierwszy rzut oka są one całkiem podobne do testów psychologicznych, których używamy w HR. Oba rodzaje testów mają bowiem pytania, najczęściej dotyczące cech wewnętrznych, zachowań lub/i emocji. Te w Bravo Girl są trochę krótsze… Ale czy to jedyna różnica?

Oczywiście że nie, prawdziwe różnice tkwią w tak zwanych właściwościach psychometrycznych narzędzia. Czyli szeregu współczynników, które opisują to, czy test właściwie spełnia swoją rolę. Testy psychologiczne dzięki zachowaniu odpowiednich rygorów podczas ich tworzenia mogą „pochwalić się” posiadaniem takich współczynników na odpowiednim poziomie. Oczywiście psychotesty z magazynów dla młodzieży nie zostały poddane żadnym procedurom weryfikacji.

Ale wróćmy na ziemię. Jeśli test oferowany przez dzwoniącego do mnie handlowca nie posiadał takich właściwości, nie został stworzony zgodnie z rygorystycznymi metodami walidacji testów, to czym różnił się od testów z Bravo Girl….?

Dobry test, czyli jaki?

Ludzie zajmujący się tworzeniem testów mówią często o tak zwane dobroci psychometrycznej. Czyli o szeregu informacji, najczęściej wyrażonych odpowiednimi współczynnikami, które określają dobrze opracowany test. Poznajmy najważniejsze z nich, które pomogą nam wybrać dobre narzędzie do naszych zastosowań w HR.

Trafność testu

Kiedy mierzymy temperaturę ciała lub długość stołu w sklepie meblowym, to nie zastanawiamy się, co tak naprawdę mierzy termometr oraz rozsuwana miarka. Sprawa jest dla nas oczywista. Niestety z pomiarem właściwości/cech psychicznych człowieka jest trochę trudniej. Są one bowiem mniej uchwytne niż stół i temperatura ciała.

Za każdym razem tworząc test, jego autor musi udowodnić, że test mierzy te cechy, które zdaniem autora powinien mierzyć. To zagadnienie nazywamy właśnie trafnością testu. Test trafny, to taki, który mierzy, to co powinien mierzyć… Rodzajów trafności jest kilka. Poniżej kilka słów o kluczowych typach.

Trafność prognostyczna

Test trafny prognostycznie to taki, na podstawie którego możemy wyciągnąć jakieś wnioski na przyszłość, np. co do powodzenia pracownika na nowym stanowisku pracy. Trafność prognostyczną testu określa się najczęściej poprzez korelację jego wyników z jakimś zewnętrznym kryterium, na którym nam zależy z biznesowego punktu widzenia. Najczęściej będzie to właśnie jakaś miara powodzenia w pracy, szczególnie, jeśli test ma służyć do rekrutacji bądź jako wskazówka przy podejmowaniu decyzji o rozwoju pracownika. Trafność prognostyczną, twórcy testu najczęściej określają współczynnikiem korelacji, który waha się od -1 do 1. Im wartości bliższe zeru, tym mniejsza trafność. Im bliższe 1 bądź -1 (korelacja ujemna) tym wyższa trafność.

Z punktu widzenia zastosowań w HR, ten rodzaj trafności jest moim zdaniem najważniejszy. Decyduje on bowiem o tym czy wynik w teście przekłada się na sukces w pracy bądź inny wynik pracownika w środowisku pracy.

Trafność teoretyczna

To najważniejszy rodzaj trafności z punktu widzenia zrozumienia tego co w rzeczywistości mierzy nasz test. Pozwala ona ocenić trafność w kontekście określonego podejścia teoretycznego. Czyli np. upewnić się, że test osobowości mierzy osobowość zgodnie z koncepcją Wielkiej Piątku lub test IQ mierzy inteligencję rozumianą jako czynnik g. Jest to kluczowe dla prawidłowej interpretacji wyników testu.

W tym obszarze znajdziemy szereg szczegółowych metod badania trafności:

Trafność konwergencyjna – korelacja naszego testu z innymi miarami, które mierzą te same cechy. Jeśli nasz test jest trafny to powinien wysoko korelować z innymi narzędziami, które mierzą tą samą cechę.

Trafność dywergencyjna – zakłada brak korelacji naszego testu z innymi narzędziami mierzącymi inne cechy. Np. dobry test IQ nie powinien korelować z testem osobowości, bo z badań wiemy, że te dwie cechy raczej nie są ze sobą powiązane.

Analiza struktury testu – tutaj zaczyna się prawdziwa statystyczna przygoda J Do określenia struktury testu służą dwie podstawowe techniki analityczne: eksploracyjna (EFA) i konfirmacyjna (CFA) analiza czynnikowa. Nie mamy tutaj miejsca aby się w nie wgłębiać (potrzeba na to pewnie przynajmniej 500 stron J) ale warto zapytać dostawcę czy przeprowadził takie procedury. Więcej o analizie struktury znajdziecie również w arkuszu oceny testu, który dla Was opracowałem.

Rzetelność testu

Jeśli już wiemy co mierzy test, który chcemy zastosować, to warto sprawdzić jak dokładny jest pomiar. Sprawdzanie dokładności/jakości pomiaru to właśnie domena rzetelności testu.

Aby nie było zbyt prosto wybrać nam test, psychometrzy zaproponowali kilka rodzajów rzetelności. Dobry test to taki, który został przebadany w celu określenia każdego z nich (niestety w rzeczywistości twórcom komercyjnych testów rzadko chce się to robić…).

Metoda powtarzanego pomiaru – rzetelny test to taki, który daje podobne wyniki w różnych okresach czasu. Jeśli zbadamy neurotyzm pracownika dwa razy np. w odstępie roku, to powinniśmy otrzymać podobne wyniki. Neurotyzm oraz inne cechy osobowości są stosunkowo stałe więc i wynik testu nie powinien się znacznie wahać. Tej rodzaj rzetelności określany jest przez obliczenie współczynnika korelacji pomiędzy pierwszym a drugim badaniem. Im współczynnik ten jest bliższy 1, tym lepszy test.

Metoda wersji alternatywnych ­– sporo testów ma więcej niż jedną wersją. Tym razem rzetelność badana jest poprzez skorelowanie wyników pracowników w obu wersjach testu. Powinny być skorelowane bardzo wysoko.

Zgodność wewnętrzna – ten rodzaj rzetelności pokazuje jak dobrze powiązane są poszczególne pytania wewnątrz testu. Używa się tutaj dwóch miar Alfa Cronbacha lub wzorów Kudera i Richardsona. Każda z tych miar waha się od 0 do 1, więc ich interpretacja jest dość prosta. Najniższy sensowy wynik dla testu to 0,7. Ten rodzaj rzetelności podawany jest przez większość firm oferujących testy i łatwo dzięki temu porównać narzędzia od różnych dostawców.

Jest to również najłatwiejszy sposób oszacowania rzetelności (nie wymaga dodatkowych badań)… niekoniecznie najważniejszy z praktycznego punktu widzenia…

Normalizacja testu

Jeśli chcemy użyć testu do diagnozy np. podczas procesu rekrutacji lub DC, to powinniśmy odnieś wynik badanego pracownika do norm. Test, który posiada takie normy, nazywamy normatywnym, w przeciwieństwie do tak zwanych testów ipsatywnych. Test normatywny pozwala nam ocenić czy wynik pracownika jest wysoki, średni czy niski. Testy ipsatywne nie dostarczają nam takich informacji. Mówią jedynie, że pracownik ma większe nasilenie jednej cechy, a mniejsze drugiej. Nie można jednak stwierdzić czy obiektywnie są to wyniki wysokie czy niskie.

Test, który stosujemy w HR powinien posiadać normy dla populacji polskiej, najlepiej w grupach wiekowych, płciowych oraz zawodowych, które odpowiadają badanym przez nas pracownikom. W praktyce dobre testy najczęściej posiadają normy zróżnicowane ze względu na wiek, płeć, wykształcenie oraz sporadycznie zawód. Im większa próba, na której dokonano normalizacji tym lepiej. W bardzo dobrych testach sięga ona nawet kilku tysięcy osób. W większości przyzwoitych narzędzi normalizację przeprowadza się na kilkuset osobach.

Na koniec, kiedy będziecie pytać dostawcę o normy, upewnijcie się, że dotyczą one populacji polskiej. Różne cechy potrafią inaczej rozkładać się w różnych krajach. Dlatego normalizację zawsze przeprowadza się lokalnie. Z moim doświadczeń wynika, że dostawcy testów lubią tutaj koloryzować i podawać dane nt. normalizacji z innych krajów epatując tysiącami osób badanych…

Adaptacja kulturowa

Bardzo wiele dostępnych na naszym rynku testów zostało oryginalnie opracowanych w innych krajach. Dobry test, powinien zostać poddany procedurze adaptacji kulturowej. Zwykłe tłumaczenie tutaj nie wystarczy. Procedura adaptacji jest dość skomplikowana i może zawierać wielokrotne badania testu i tłumaczenia. Nie mam tutaj miejsca aby się na jej temat rozpisywać. Jednak kiedy wybieracie test, to warto zapytać czy przeprowadzono taką procedurę i jakie były jej kluczowe kroki. Ze strony dostawcy powinny paść jakieś informacje w tym żargonowe słowa: back-translation oraz równoważność psychometryczna. Jeśli żadne z tych wyrażeń nie pojawia się, a dostawca twierdzi jedynie, że dokonał profesjonalnego tłumaczenia, to lepiej założyć, że coś jest nie tak J. Procedura adaptacji ma na celu dostosowanie testu do kultury naszego kraju, a to dużo więcej niż samo tłumaczenie. W trakcie pracy nad adaptacją często tworzone są pytania, które nie występowały w oryginalnym teście, jednak ich wyniki są równoważne z oryginalnymi. Kluczowe jest tutaj dostosowanie do lokalnej kultury, nie zaś wierność tłumaczenia.

Wybierajmy testy świadomie – narzędzie dla HR

Jak widzimy, test psychologiczny to dość skomplikowane narzędzie. Można go opisać wieloma wskaźnikami a przygotowanie go, wymaga naprawdę dużych nakładów. Z racji tego, że na rynku funkcjonuje naprawdę wiele pseudotestów, konieczne jest bardzo wnikliwe zbadanie ofert jakie przedstawiają nam firmy doradcze.

Aby Wam to ułatwić, opracowałem dla Was narzędzie do oceny testów. Jest to przyjazna w obsłudze tabela, która zawiera kryteria oceny narzędzi oferowanych na rynku oraz opisy jakie wartości tych kryteriów są pożądane a jakie nie. Wystarczy „odpytać” dostawcę punkt po punkcie aby zweryfikować wiarygodność oferowanego Wam narzędzia.

Życzę powodzenia w wyborze narzędzi. W razie pytań piszcie lub komentujcie, chętnie pomogę. 

Twój adres e-mail nie zostanie opublikowany. Wymagane pola są oznaczone *