Grafické modifikace možností odpovědí u otázek v online dotazníku

• Název práce v češtině: Grafické modifikace možností odpovědí u otázek v online dotazníku
• Název v anglickém jazyce: Graphical Modifications of Response Options in online Questionnaire
• Klíčová slova: grafické modifikace, grafický formát, formát možností odpovědí, doba odpovídání, online dotazník, CAWI
• Klíčová slova anglicky: graphical modifications, graphical format, response options format, response time, online questionnaire, CAWI
• Akademický rok vypsání: 2016/2017
• Typ práce: diplomová práce
• Jazyk práce: čeština
• Ústav: Katedra sociologie (23-KS)
• Vedoucí / školitel: Mgr. Jiří Remr, Ph.D.
• Řešitel: skrytý - zadáno vedoucím/školitelem
• Datum přihlášení: 30.01.2017
• Datum zadání: 30.01.2017
• Datum a čas obhajoby: 29.01.2018 09:00
• Místo konání obhajoby: Jinonice - U Kříže 8
• Datum odevzdání elektronické podoby: 05.01.2018
• Datum proběhlé obhajoby: 29.01.2018
• Oponenti: prof. RNDr. Jan Hendl, CSc.

Seznam odborné literatury

Bonnardel, N., Piolat, A. & Le Bigot, L., 2011. The impact of colour on Website appeal and users’ cognitive processes. Displays, 32(2), pp.69-80,
Couper, M. P., R. Tourangeau, F. G. Conrad A C. Zhang. The Design of Grids in Web Surveys. Social Science Computer Review. 2013, 31(3), 322-345.
Maloshonok, N., Terentev, E. & Le Bigot, L., 2016. The impact of visual design and response formats on data quality in a web survey of MOOC students. Computers in Human Behavior, 62(1), pp.506-515.
Peytchev, A. et al., 2006. Web Survey Design: Paging versus Scrolling. Public Opinion Quarterly, 70(4), pp.596-607.
Redline, C. D., & Dillman, D. A. (2002). The influence of alternative visual designs on respondents’ performance with branching instructions in self-administered questionnaires. In R. M. Groves, D. A. Dillman, J. L. Eltinge, & R. J. A. Little (Eds.), Survey nonresponse (pp. 179-193). New York: John Wiley.
Robins, D., Holmes, J. & Le Bigot, L., 2008. Aesthetics and credibility in web site design. Information Processing, 44(1), pp.386-399.
Stern, M.J., Dillman, D.A. & Smyth, J.D., 2007. Visual Design, Order Effects, and Respondent Characteristics in a Self-Administered Survey. Survey Research Methods, 1(3), pp.121-138.
Toepoel, V., Das, M. & van Soest, A., 2009. Design of Web Questionnaires: The Effect of Layout in Rating Scales. Journal of Official Statistics, 25(4), pp.509–528.
Tuch, A.N. et al., 2009. Visual complexity of websites: Effects on users’ experience, physiology, performance, and memory. International Journal of Human-Computer Studies, 67(9), pp.703-715.

Předběžná náplň práce

Teoretická východiska:

Při vstupu na jakoukoliv webovou stránku je kromě její praktické funkce, která zajišťuje použitelnost a správné fungování stránky, důležité také vizuální zpracování stránky, které musí návštěvníka zaujmout. Pro uživatele je první dojem při vstupu na stránku zásadní, neboť právě ten výrazně ovlivní, zda na stránce návštěvník nadále setrvá, či ji opustí. (Tuch et al. 2009: 703) Uživatel je prý schopen si první dojem vytvořit již v 50 milisekundách. (Bonnardel et al. 2011: 69) Výsledky výzkumů dokazují, že při hodnocení dotazníků s totožným obsahem, avšak s rozdílným vizuálním zpracováním, je dotazník s příjemnější estetickou úpravou vnímán jako více důvěryhodný. (Robins et al. 2008: 386)
Do oblasti práce výzkumníků tady spadá také problematika vizuálního designu online dotazníků
a zkoumání toho, jak vizuální jazyk ovlivňuje proces odpovídání respondentů. Dillman (2007) hovoří celkem o čtyřech složkách tohoto jazyka, pomocí nichž dotazník „komunikuje“ s respondenty. Mezi tyto komunikační složky patří jazyk verbální (text), numerický (čísla v kategoriích odpovědí), symbolický (šipky,…) a grafický, přičemž ten grafický Dillman definuje jako vizuální prvky, a to například velikost, tvar, barva, umístění a podobně. (Toepoel et al. 2009: 510, Stern et al. 2007: 122)
Tourangeau v roce 1984 představil čtyři hlavní kognitivní kroky, kterými respondent prochází při zodpovídání otázek. Tyto kroky zahrnují 1) porozumění otázce a přiřazení významu, 2) vyhledání relevantních vzpomínek a informací v paměti, 3) vytváření nejvhodnější odpovědi, a 4) zodpovězení otázky. Tento model byl původně navržen pro interview a Redline a Dillman (2002) ho rozšířili o další krok v souvislosti se samovyplňovacími výzkumy. Tento přídavný krok předchází již vyjmenovaným čtyřem krokům a jedná se o fázi vnímání (perception). V průběhu této fáze respondent vstřebává vizuální podněty, ze kterých se skládá výzkumný nástroj. (Stern et al. 2007: 121) Jenkins a Dillman (1997) definují vnímání jako složitý proces, při němž není důležité pouze to, že respondent vidí určitý vnější stimul, ale záleží zejména na tom, jaká má respondent očekávání či znalosti ohledně tohoto stimulu. (Redline, Dillman 2002) Redline a Dillman hovoří o důležitosti vnímání v souvislosti s používáním filtračních otázek. U těch je totiž velmi důležité, aby respondent filtr nepřehlédnul, což by následně vedlo k chybným datům. Jedním z důvodů, proč respondent filtr v otázce přehlédne, může být to, že jeho pozornost je příliš zaměstnána samotnou otázkou a výběrem odpovědí na úkor instrukcí právě ohledně filtru, nebo je respondent ponořen do setrvačnosti v zodpovídání jedné otázky za druhou, že si filtru v této stereotypní činnosti jednoduše nevšimne. Při konstrukci dotazníku se těmto jevům snažíme zabránit, a to například zavedením nějaké obměny, která upoutá respondentovu pozornost. Nedůkladné promyšlení těchto změn však může mít za následek opak kýženého efektu. (Redline, Dillman 2002)
Percepce jednotlivých otázek a odpovědí či to, jak je dotazník vnímán jako celek, je důležitý jev, na který musíme při konstruování dotazníku myslet. Pokud při jeho sestavování nejsme důkladní
a nevezmeme v potaz všechny okolnosti, které mohou respondentovo uvažování nějak ovlivňovat, zbytečně přicházíme o validní odpovědi, neboť i jemné rozdíly v grafickém zpracování otázky mohou vést k jiným odpovědím.

Příklady vlivu grafického ztvárnění otázek na odpovědi respondentů

Důležitým rozhodnutím ohledně celkové vizuální podoby online dotazníku je to, zda budou všechny otázky vyobrazené pohromadě na jedné stránce, či budou samostatně na několika stranách. V případě první volby se může respondent podívat, která otázka následuje, na stránce se musí posouvat kolečkem myši či posuvníkem a snadno se tak stane, že některou otázku omylem přeskočí. Dotazník může být také sestaven kombinací obou těchto způsobů. (Peytchev et al. 2006: 597) Toto rozhodnutí se může často pojit například s použitím baterií otázek. Jejich použitím v online dotazníku se jako první zabýval Jeavons (1998) a vyhodnotil je jako problémové. Následně se tento druh otázek stal častým předmětem zkoumání, a to za účelem nalezení takového způsobu použití baterie otázek, který by měl za následek co nejvyšší míru návratnosti u dané otázky. Jeden ze způsobů použití baterie otázek v online dotazníku je zobrazení všech položek baterie pohromadě a na jedné stránce. Druhým způsobem je pak jednotlivé položky baterie rozdělit a každou z nich zobrazit jako samostatnou otázku na samostatné stránce. Couper, Traugott a Lamias (2001) srovnávali použití baterie o pěti položkách a baterie o jedenácti položkách, přičemž u obou z nich zpracovali „jednostránkovou“
i „vícestránkovou“ variantu. Zjistili, že u baterií zobrazených na jedné stránce byl nejen lehce kratší čas odpovídání, ale zejména výrazně nižší míra chybějících dat. Toureangeau, Couper a Condrad (2004) podobně experimentovali s baterií o osmi položkách. Zde se opět potvrdil kratší čas při odpovídání na baterii otázek zobrazenou pohromadě na jedné stránce. Autoři však také zjistili, že respondenti, kteří odpovídali na baterii otázek vyobrazenou na jedné stránce, měli tendenci vybírat totožné možnosti pro všechny položky baterie. Galešic et al. (2007) ve svém výzkumu testoval, zda má na chybějící data vliv to, že se u každého řádku baterie změní pozadí po tom, co respondent vybere odpověď. Zjistil, že verze se zabarvováním řádků oproti té obyčejné výrazně snižuje chybějící data. (Couper et al. 2013: 323-5)
Nejčastěji používaným nástrojem u internetových výzkumů je podle autorky Toepoel et al. zřejmě ordinální škála. Tu můžeme sestavit několika různými způsoby, jež mají následně také různý vliv na odpovědi respondentů. Vliv na odpovědi respondentů má zejména verbální orientace škály, to znamená, zda jsou možnosti odpovědí sestaveny vzestupně či sestupně. Respondent totiž vnímá, jak jsou jednotlivé popisky odpovědí seřazeny, a podle toho reaguje. (Toepoel et al. 2009: 509-10) Dále může mít škála popsanou každou kategorii odpovědi, či pouze ty krajní. (Toepoel et al. 2009: 509) Friedman a Friedman (1994) také tvrdí, že rozdíly v odpovědích mohou být vyvolány horizontálním či vertikálním uspořádáním totožné škály. (Toepoel et al. 2009: 511) Tourangeau et al. (2013) poukazuje na zjištění, že při seřazení škály od negativních k pozitivním odpovědím dochází k výraznému poklesu počtu pozitivních odpovědí. Stern et al. (2007) také tvrdí, že u takto seřazených škál mají respondenti tendenci vybírat variantu “nevím”. Christian et al. (2009) dospěl ke zjištění, že pokud škála začíná pozitivní odpovědí, respondenti odpovídají v kratším čase. (Maloshonok et al. 2016: 507)
Tourangeau et al. (2004, 2007) tvrdí, že respondenti používají několik vizuálních technik, pomocí nichž si interpretují otázku. Například prostřední možnost respondenti vnímají jako nejtypičtější. Očekávají také, že kategorie odpovědí jsou předkládány v určitém logickém pořadí. Při vertikálně orientovaném setu odpovědí vidí horní volbu jako tu nejvhodnější, při horizontálně orientovaných odpovědí vnímají jako tu nejvíce žádoucí volbu na levém kraji. Krosnick a Alwin (1987) hovoří
o primacy efektu, kdy jsou nejčastěji vybíranými odpověďmi ty na začátku seznamu, a naopak
o recency efektu, kdy jsou nejčastěji vybíranými položkami ty blíže ke konci. (Toepoel et al. 2009: 510) Vizuálně podobné možnosti jsou respondenty vnímané jako podobné také významově. Výzkumy také dokazují, že s umístěním většího okna pro vepsání odpovědi na otevřenou otázku se také pojí větší pravděpodobnost pro získání delší odpovědi. (Maloshonok et al. 2016: 506-7)

Cíl výzkumu

Cílem výzkumné části práce bude pomocí dvou verzí online dotazníku, jež se budou lišit v grafickém zpracování otázek, zjistit, zda a případně jaký vliv mají jednotlivé prvky grafické úpravy otázek na odpovědi respondentů. Snahou bude následně nalézt a definovat určitý vzorec odpovídání vyplývající z reakcí respondentů na odlišně graficky zpracované otázky.

Výzkumné otázky

Má odlišné grafické zpracování otázek vliv na odpovědi respondentů?
Pokud ano, lze na základě odpovědí respondentů definovat tento vliv v souvislosti s jednotlivými grafickými úpravami?

Sběr dat a metodologie

Předpokládané zpracování výzkumné části diplomové práce je takové, že budou vytvořeny dvě verze dotazníku lišící se právě v grafickém zpracování jednotlivých otázek. Tyto dvě verze budou následně rozesílány respondentům prostřednictvím internetu. Kontakty na respondenty získám prostřednictvím svých rodinných příslušníků a známých, kteří mi zprostředkují kontakty na další potenciální respondenty. Takto utvořené síti kontaktů bude následně odeslán odkaz s žádostí
o vyplnění online dotazníku. Obě verze dotazníku budou umístěny pod společným webovým odkazem a respondentovi se po otevření zobrazí náhodně jedna z verzí, čímž bude zajištěno náhodné rozdělení respondentů do dvou experimentálních skupin a umožněno následné srovnávání odpovědí. Po sběru dat od minimálně dvou set respondentů budou data analyzována v oblasti porovnávání odpovědí na otázky lišící se grafickou podobou. Cílem bude odhalit nějaké opakující se vzorce odpovídání způsobené určitou grafickou úpravou otázky.

Přínos diplomové práce

Diplomová práce poskytne teoretické pozadí problematiky grafického zpracování otázek v online dotazníku, a to na základě studia odborné literatury a rozboru předchozích výzkumů zabývajících se touto tematikou. Následně práce představí analýzu a výsledky kvantitativního výzkumu provedeného srovnáním dvou skupin respondentů odpovídajících na tytéž otázky avšak odlišně graficky zpracované.
Cílem mé práce je poukázat na to, že grafická úprava otázek v online dotaznících může být často opomíjena a zanedbávána, což následně může vést ke zkresleným odpovědím. Má práce tak poskytne souhrn podnětů, které na základě výzkumu ukážou, jakým způsobem graficky upravit otázky v dotaznících, aby mohlo být dosaženo kvalitnějších odpovědí. Výsledky práce poskytnou doporučení pro zkvalitnění tvorby online dotazníků nejenom v oblasti sociologického výzkumu, ale také v souvislosti s širokou veřejností, která se nezabývá výzkumem na odborné úrovni, ale využívá při své práci tvorbu dotazníků; příkladem mohou být dotazníky pro účely studentských prací a jiných podobně zaměřených aktivit.

Předběžná struktura práce:

- úvod
- teoretická část
o důležitost grafického ztvárnění otázek
o příklady grafických odlišností ovlivňujících odpovědi respondentů
o předchozí výzkumy
- výzkumná otázka
- data
o vzorek
o sběr dat
o úprava dat
- metody analýzy
- zjištění
- diskuze
- závěr