Testování kvality dat pomocí response latency

• Název práce v češtině: Testování kvality dat pomocí response latency
• Název v anglickém jazyce: Quality testing data using response latency
• Klíčová slova: Paradata, response latency, kvalita dat, sociodemografické otázky, chyby měření
• Klíčová slova anglicky: Paradata, response latency, quality of data, sociodemographic questions, measurement error
• Akademický rok vypsání: 2014/2015
• Typ práce: diplomová práce
• Jazyk práce: čeština
• Ústav: Katedra sociologie (23-KS)
• Vedoucí / školitel: Mgr. Jiří Remr, Ph.D.
• Řešitel: skrytý - zadáno vedoucím/školitelem
• Datum přihlášení: 20.07.2015
• Datum zadání: 20.07.2015

Zásady pro vypracování

K analýze paradat - response latency využiji reprezentativní data z marketingových průzkumů realizovaných v roce 2014. Budu zjišťovat, zda v České republice existují rozdíly v response latency u různých typů otázek v závislosti na sociodemografických údajích. Tato analýza bude součástí průzkumu kvality dat, kde se pokusím odhalit chyby zapříčiněné satisfying a priming efektem. Dále budu zkoumat, zda souvisí délka dotazníku a umístění otázky s výskytem těchto chyb a větším množstvím chybějících hodnot.
Pro analýzu použiji program SPSS či MPlus. V obou programech jsou přítomné nástroje pro lineární regresi a regresní modely, které například použil Mahotra [2008] ve své studii. Ve své práci se budu opírat o relevantní literaturu a inspirovat se jí ve zkoumání a měření response latency.

Předpokládaná struktura práce
1) Teoretická část: V této části se budu zabývat kvalitou dat, chybami měření a možností zvýšení kvality dat pomocí paradat, a to především response latency.
2) Metodologická část: V této části popíši data a postup jednotlivých analýz.
3) Analytická část: V této části se budu zabývat výsledky jednotlivých analýz.
4) Závěr: Nakonec uvedu závěry vyvozené z analýz, možný přínos a diskuzi.

Seznam odborné literatury

Balota, D.A., et al. "Beyond mean response latency: Response time distributional analyses of semantic priming." Journal of Memory and Language. Vol. 59.No.4. 2008. 495-523.
Bassili, J. „The How and Why of Response Latency Measurement in Telephone
Surveys“. In Schwarz, N. and Sudman, S., „Answering Questions: Methodology
for Determining Cognitive and Communicative Processes in Survey Research“. Jossey-Bass Publishers.1996. 319-346.

Bentkowska-Kafel, A., Denard H., Baker, D., et al. Paradata and transparency in virtual heritage. Ashgate Publishing, Ltd., 2012.
Callegaro, M., et al. "Response latency as an indicator of optimizing in online questionnaires." Bulletin de Méthodologie Sociologique. Vol 103. No 1. 2009. 5-25.
Conrad, F. G., Schober, M., and Coiner, T. „Bringing Features of Human Dialogue
to Web Surveys“. Applied Cognitive Psychology, Vol.21. No.2. 2007. 165-187.
Couper, M. P., Kreuter, F. "Using paradata to explore item level response times in surveys." Journal of the Royal Statistical Society: Series A (Statistics in Society) Vol.176. No.1. 2013. 271-286.
Kaminska, O., McCutcheon, A. L., Billiet, J. „Satisficing Among Reluctant Respondents in a Cross-National Context“. Public Opinion Quarterly, Vol.74. No.5, 2010. 956-984.
Kreuter, F., et al. Improving surveys with paradata: Analytic uses of process information. John Wiley & Sons. Vol. 581. 2013.
Kreuter, F., Couper, M., Lyberg, L. "The use of paradata to monitor and manage survey data collection." Proceedings of the Joint Statistical Meetings, American Statistical Association. 2010.
Malhotra, N. Completion Time and Response Order Effects in Web Surveys. The Public Opinion Quarterly. Vol. 72, No. 5, Web Survey Methods. 2008. 914-934.
MacLachlan, J., Czepiel, J., LaBarbera, P. "Implementation of response latency measures." Journal of Marketing Research. 1979. 573-577.
Mulligan, K., et al. "Response latency methodology for survey research: Measurement and modeling strategies." Political Analysis. Vol. 11.No.3. 2003. 289-301.
Puškarević, I., Nedeljković U., Novaković, D. "Emotional Response, Brand Recall and Response Latency to Visual Register for Food and Beverage Print Ads." Acta Graphica. Vol. 24. 2013.
Ranger, J., Ortner, T.M. "Assessing personality traits through response latencies using item response theory." Educational and Psychological Measurement. Vol. 71. No.2. 2011. 389-406.
Reimann, M. et al. "Novel versus familiar brands: An analysis of neurophysiology, response latency, and choice." Marketing Letters. Vol. 23. No.3. 2012. 745-759.
Rose, J. M., Black, I.R.. "Means matter, but variance matter too: Decomposing response latency influences on variance heterogeneity in stated preference experiments." Marketing Letters. Vol. 17. No.4. 2006. 295-310.
Sowan, A. K., Jenkins, L.S., "Paradata: a new data source from web-administered measures." Computers Informatics Nursing. Vol. 28.No. 6. 2010. 333-342.
Tourangeau, R., Rips, L. J., Rasinski, K. A.“ The Psychology of Survey Response“. Cambridge University Press, 2000.
Tun, P.A., et al. "Response latencies for false memories: gist-based processes in normal aging." Psychology and aging. Vol. 13. No.2. 1998. 230.
Turner, P.G., Sturgis, D. M., Can Response Latencies Be Used to Detect Survey Satisficing on Cognitively Demanding Questions?, Journal of Survey Statistics and Methodology. Vol.3. 2015.
Vinopal, J. „Rozhodovací procesy při zodpovídání výzkumných dotazů.“ Naše společnost. 2008b. [online] (1). Dostupné z: < http://cvvm.soc.cas.cz/media/com_form2content/documents/c3/a3975/f11/100081s_Rozhodovaci_procesy.pdf >.
Vinopal, J. „Editace odpovědi na výzkumný dotaz.“ Naše společnost. 2008a. [online].(2). Dostupné z: < http://cvvm.soc.cas.cz/media/com_form2content/documents/c3/a3982/f11/100088s_Odpovedi.pdf >.
Vinopal, J. „Zodpovídání otázek dotazníkového průzkumu: interpretace otázky.“ Naše společnost. 2007. [online]. (1). Dostupné z:< http://cvvm.soc.cas.cz/2007-1/zodpovidani-otazek-dotaznikoveho-pruzkumu-interpretace-otazky>.
Yan, T., Olson, K. „Analyzing Paradata to Investigate Measurement Error“. [online]. Sociology Department, Faculty publication. 2013. Dostupné z: < http://digitalcommons.unl.edu/cgi/viewcontent.cgi?article=1238&context=sociologyfacpub>.
Yan, T., Tourangeau, R. „Fast Times and Easy Questions: The Effects of Age, Experience and Question Complexity on Web Survey Response Times“. Applied Cognitive Psychology, 2008. Vol. 22. No.1. 51-68.
West, B.T. „Paradata in Survey Reaearch“. Survey practice. Vol.4. No.4. 2011. 8.

Předběžná náplň práce

Vstupní diskuze problému
Analytické sociologické průzkumy stojí na datech. Data se především dělí na metadata a paradata. Metadaty jsou myšleny informace, kvůli kterým je průzkum realizován, jsou to odpovědi na naše otázky [Kreuter, 2013: 304]. Paradata stojí za nimi. Jsou to data, která popisují proces průzkumu [West, 2011: 1]. Již samotný čas a doba trvání napsané tazatelem například v rohu dotazníku jsou paradata.
Díky rozmachu moderních technologií existuje paradat celá řada. Mezi nejčastější typ patří „call record data“. Tato data obsahují kalendářní data, časy a počty kontaktů. Počítačové a internetové aplikace dále umožňují zjišťovat polohu respondenta pomocí GPS signálu a především měřit čas, který respondent dotazníku a jednotlivým otázkám věnuje [West, 2011: 2]. Tato data nazýváme response latency.
Response latency, stejně jako ostatní paradata, je užívána ke zvýšení kvality dat. Kvalita je zvyšována omezením chyby na straně respondenta i výzkumníka. S délkou a složitostí otázky se zvyšuje délka doby odpovědi [Yan, Tourangeau, 2008; Couper, Kreuter, 2013 dle Yan, Olson, 2013: 74]. Čas je také negativně ovlivněn kognitivní kapacitou respondentů. Prodlužuje se především s vyšším věkem a nižším vzděláním. Když vezeme v úvahu tyto vlivy, pak můžeme pomocí response latency odhalit některé chyby měření. Například chybu způsobenou efektem satisfying, kdy respondent dotazník vyplní tak, aby byl vyplněn a jeho to stálo co nejméně energie [Malhotra, 2008; Callegaro et al., 2009 dle Yan, Olson, 2013: 74]. Čas ale může prodloužit také chybná formulace otázky. Respondent otázce nerozumí či se nedokáže přiřadit k jedné odpovědi. Doba procesu odpovídání je ovlivněna charakteristikami respondenta i formulacemi otázek [Yan, Olson, 2013: 75]. Dále je ovlivněna nevhodným pořadím a popřípadě sociální desirabilitou. Navíc každý respondent je jinak rychlý. V případě výchylky je dle Mulligana a kolektivu [2003: 293] vhodné prokontrolovat response latency zkoumané otázky s celým respondentovým postupem při vyplňování dotazníku.
Délka času odpovědi bývá často využívána v rámci pretestu k vylepšení výzkumného instrumentu, tedy také ke snížení výskytu chyby měření. Dle Bassiliho [Bassili, 1996 dle Yan, Olson, 2013: 76] je příliš dlouhá doba věnovaná jedné odpovědi indikátorem problematické otázky, či nejistoty respondenta. Conrad a kolektiv na základě úvahy, že dlouhý čas věnovaný otázce znační její nepochopení, do systému elektronického dotazníku vložili vyjasnění otázky pro respondenty, kteří se na otázce zdrží [Conrad et al., 2007 dle Yan, Olson, 2013: 76].
Délka response latency je určena rychlostí kognitivního procesu, který při zodpovídání dotazníku probíhá [Mulligan et al., 2003: 291]. Na základě rychlosti uvedení odpovědi Mulligan a kolektiv měřili dostupnost postoje (attitude accessibility), zda postoj již respondent zaujímá, či nad otázkou musí déle uvažovat, tedy postoj si utváří na základě svých znalostí a zkušeností až po položení otázky [Mulligan at al., 2003: 292].

Formulace výzkumného problémů
Získat respondenta pro výzkum nebývá snadné, a proto je jejich participace různým způsobem oceňována. Problém především nastává, pokud respondent nevěnuje otázkám potřebnou pozornost, dotazník vyplní jen proto, aby byl vyplněn a on získal odměnu. Kvalita námi získaných dat ovšem z části stojí na respondentově snaze a ochotě se dotazníku plně věnovat a upřímně zodpovědět položené otázky.
Každý výzkumný design se potýká s různými potencionálními chybami měření v různém měřítku. Malhotra [2008: 920] se ve svém experimentu zkoumal priming efekt v dotazníkovém CAWI šetření analýzou response latency. Malhotra vytvořil dva dotazníky, které se lišily pouze pořadím odpovědí. Měření podrobil reprezentativní vzorek dospělé americké populace, který rozdělil na dvě skupiny. Každá obdržela jeden typ dotazníku. Malhotra [tamtéž: 921] za pomoci regresního modelu zkoumal vliv vzdělání, věku a výběru odpovědí na době vyplnění. I v tomto případě byl vliv věku na čase, za který byl dotazník vyplněn, signifikantní. Dále zjistil, že respondenti s nižším vzděláním v obou skupinách vybírali více první nebo druhou možnost ve svých odpovědích a takto odpovídali rychleji než ostatní skupiny. Ostatní respondenti s nižším vzděláním, kteří nevybírali pouze první či druhou odpověď, vyplňovali dotazník signifikantně delší dobu než respondenti s vyšším vzděláním [tamtéž: 926]. U respondentů s nižším vzděláním je tedy vyšší pravděpodobnost výskytu chyby zapříčiněné priming efektem. Tato chyba se v tomto výzkumu vyskytovala u 5% z výzkumného souboru [tamtéž: 929].
Pomocí response latency se můžeme tedy pokoušet odhalit chyby způsobené satisfying a priming efektem, čímž se můžeme snažit odhalit a tedy snížit chybu měření. Dále nám pomáhá odhalit problematické otázky, či příliš komplikovaný dotazník. A právě tato problematika by byla úkolem mé diplomové práce.