Když tvůrci online dotazníků neznají míru

Dostal jsem se před časem k webovému dotazníku, oblast stavební spoření, téma: znalost, image, testování reklamní kampaně. Být respondentem je tvrdý chleba: podle mého odhadu trvalo vyplnění dotazníku respondentům nejméně 33 minut, odměna kolem 50 Kč. Nedalo mi to a prošel dotazník až do konce, protože byl pozoruhodný.

Na dotazníku byla zarážející jedna věc, tedy hlavně jedna věc: vyplňování několika baterií otázek po každé jednotlivé položce. Celkem desítky obrazovek, na kterých se zobrazí 1 výrok z baterie, škála a název jedné stavební spořitelny. Na další obrazovce je vše stejné, jen se změní název spořitelny. Takže třeba zjišťování image stavebních spořitelen typu “je moderní”, “je seriózní” je uděláno tak, že se vždy zobrazí jeden výrok pro jednu spořitelnu. Výroků je celkem 8, stavebních spořitelen nabízeno také 8. Celkem 64 obrazovek, které musí respondent vyplnit. Pikantní je, že spořitelny máme hodnotit dokonce na 10 bodové škále! A jedeme dále! Nyní nás čeká dalších 25 výroků, tedy 25 obrazovek, kde ke každému výroku zaklikáváme všechny spořitelny, na které charakteristika sedí. Tedy u každého výroku by respondent měl zvažovat, zda to na každou ze spořitelen pasuje či ne. Měl by tedy provést 200 krátkých zamyšlení.  A když toto zdolá, má za sebou už přibližně třetinu dotazníku. Pochybuji o tom, že si tvůrce dotazníku zkusil svůj výtvor sám vyplnit. Jinak by jej nemohl takto postavit.

 

Některé dotazníky musí být dlouhé, pokud mají pokrýt všechny nezbytné oblasti – přes usilovnou snahu je nelze ani zkrátit (aniž bychom přišli o podstatnou informaci pro naše závěry), ani udělat pro respondenty snesitelnější. To ale není případ tohoto dotazníku. Nevidím do zadání výzkumu, ale přinejmenším šlo zapracovat na snesitelnosti. Po 20 minutách a při vyplňování stále stejných odpovědí, kde se mění jen název spořitelny, pochybuji, že většina respondentů nekliká otupěle, automaticky či náhodně. Autoři to prostě přehnali. Buď nechápou, co dělají, nebo to vědí, jen jim jejich dotazníkový systém neumožňuje vytvořit otázku zobrazující celou baterii najednou. Nebo je jim to jedno. Záhadou zůstává, jakým zoufalcem musí být zadavatel, když tohle zkousne. Nejspíše ani on si dotazník nezkusil online vyplnit. Kde by také vzal půlhodinu na vyplňování vlastního dotazníku?

 

Jaká je asi spolehlivost (reliabilita) tohoto dotazníku? (reliabilita = vlastnost dotazníku získat při opakovaném dotazování téhož respondenta totožné odpovědi). V součtu jde o stovky odpovědí, které po respondentovi chceme. Když bych ten samý dotazník vyplňoval znovu, je naprosto vyloučeno, abych odpověděl stejně – i přes usilovnou snahu se trefím přinejlepším jen velmi přibližně. Což není problém zjistit několika testovacími otázkami. Pochybuji, že ve výzkumu byly, protože pak by výzkumníci museli zjistit, že od stejného respondenta dostávají pokaždé jiné odpovědi. A to nejen od několika „podvádějících“, ale téměř ode všech. I když vyloučit testovací otázky nemohu –  v té záplavě otázek nešlo uhlídat, zda už jsem na něco neodpovídal jednou, dvakrát či dokonce třikrát. Pokud dotazník není spolehlivý, neposkytne validní údaje (validita = schopnost dotazníku měřit skutečně to, co měřit má). Ale možná platí nějaký „zákon velkého počtu přibližných odpovědí“: „Pokud velkému počtu lidí položíte obrovský počet velmi podobných detailních otázek, pak se nepřesné odpovědi všech lidí vzájemně vyruší a získáte kvalitní údaje.“ I když jsem o něm zatím neslyšel.

Dobře vím, že jakmile před sebou má člověk spreadsheet (tabulku se všemi výsledky respondentů ve statistickém softwaru), už je (skoro každému) jedno, jak k datům přišel: udělá (hezké) grafy, tabulky, vytiskne příslušně tlustou zprávu a je to. Tak tomu asi bylo i v tomhle šetření – zadavatel dostal spoustu pěkných grafů a přesných čísel v úhledných tabulkách. Má to jen jednu drobnou chybu: jsou založeny na špatných datech z nevalidního dotazníku. Tento dotazník přinejmenším zčásti neměřil to, co měřit měl.

 

Třešničkou je nazývání kapitol dotazníku termíny jako “Spontánní znalost reklamy“ nebo “Podpořená znalost reklamní kampaně“. Když už to respondenti vyplňují, ať se alespoň něco přiučí.

 

Co si z tohoto krásného příkladu můžeme odnést?

  • pro baterie výroků používejme příslušný typ otázky online systému

Pokud to vaše dotazovací aplikace nedokáže, změňte ji, nebo nepoužívejte baterie výroků. V případě www.i-dotaznik.cz  – který to samozřejmě umí – jsou to typy otázek označené jako “matice“. Na výběr je 10 variant tohoto typu.

  •  každý tvůrce má povinnost vyzkoušet si svůj dotazník na vlastní kůži

Tedy od začátku do konce online dotazník projít, přečíst otázky, zamyslet se nad každou odpovědí (!) a skutečně odpovědět. Bez přeskakování otázek. Často nás to podnítí ke zkrácení či zjednodušení dotazníku.

  •  berme ohled na respondenty

Respondenti jsou taky lidi. Když se na dotazníky nebudeme dívat i jejich očima, nebudou nám je (rádi) vyplňovat.

Share