The course teaches students to critically evaluate psychological tests and to use their manuals appropriately. Key topics in this context are item analysis, reliability, validity and test standardization, including the development of appropriate norms. As part of the development of this skill, each student needs to be able to construct his/her own psychological test or diagnostic procedure and validate its psychometric properties. Emphasis will be placed on understanding classical and modern psychometric approaches. Attention will also be given to how to verify and integrate the information found into the final psychological report.
Course Goal: To acquire knowledge, skills and other competencies important for understanding psychological testing.
Acquired knowledge: the student is able to list the basic criteria, resources, possibilities and procedures important in the evaluation of the quality of psychodiagnostic methods, especially those of tests (reliability, validity, norms, standardization, etc.)
Acquired skills: the student is able to verify the basic psychometric characteristics of his/her own test and is able to transfer already established diagnostic methods from abroad to the Czech environment; to evaluate the agreement of assessors and observers, to calculate the specificity and sensitivity for different cut off skins in a selected clinical situation; after a correctly performed diagnostic examination, the student is able to integrate the findings, either quantitatively or qualitatively into a diagnostic conclusion, is able to recognize a quality diagnostic report.
Course content: classical test theory - different models. Reliability calculations: measurement theory, general definition of reliability, reliability estimates and methods of calculating them, Spearman Brown formula, measurement error. Items, their types, basic principles of test construction: working with distractors, use of different types of scales, univariate vs. multivariate tests. Basic overview of the most used psychological tests: main breakdowns, advantages and disadvantages of different types of tests. Item analysis: item difficulty, item discrimination, item correlation with HS, external criterion, inter-item correlation, basics of IRT. Factor analysis in psychodiagnostics: factor equation, loading, communalities, factor eigenvalue, factor rotation, principles of factor number selection. Norm and normality: population norm, criterion norm and other types of norms, norm generation, Q classification. Judger agreement: as an estimate of reliability in observation and judgment, agreement coefficient, kappa coefficient. Sensitivity and specificity of tests: cut off scores, ROC curves, AUC (area under curve). Calculations of different types of validity, examples of specific validation studies for different diagnostic methods.
Last update: Dragomirecká Eva, PhDr., Ph.D. (06.11.2023)
Předmět učí studenty kriticky hodnotit psychologické testy a patřičně zacházet s jejich manuály. Klíčovými tématy jsou v této souvislosti položková analýza, reliabilita, validita a standardizace testu včetně vytvoření vhodných norem. V rámci rozvoje této schopnosti je třeba, aby dokázal každý student sestavit vlastní psychologický test či diagnostický postup a ověřit jeho psychometrické vlastnosti. Důraz bude kladen na pochopení klasických a moderních psychometrických přístupů. Pozornost bude věnována rovněž tomu, jak prověřovat a integrovat zjištěné informace do výsledné psychologické zprávy.
Cíl předmětu: Osvojit si znalosti, dovednosti a další kompetence důležité pro porozumění psychologického testování.
Získané znalosti: student umí vyjmenovat základní kritéria, zdroje, možnosti a postupy důležité při hodnocení kvality psychodiagnostických metod, zejména těch testových (reliabilita, validita, normy, standardizace atd.)
Získané dovednosti: student umí ověřit základní psychometrické charakteristiky u vlastního testu a umí převést již zavedené diagnostické metody ze zahraničí do českého prostředí; vyhodnotit shodu posuzovatelů a pozorovatelů, vypočítat specifitu a senzitivitu pro různé cut off skóry ve zvolené klinické situaci; po správně provedeném diagnostickém vyšetření umí zjištěné poznatky integrovat, ať už kvantitativně či kvalitativně do diagnostického závěru, dokáže rozpoznat kvalitní diagnostickou zprávu.
Obsah předmětu: Klasická teorie testů – různé modely. Výpočty reliability: teorie měření, obecná definice reliability, odhady reliability a způsoby jejich výpočtu, Spearman Brownův vzorec, chyba měření. Položky, jejich druhy, základní principy vytváření testů: práce s distraktory, využití různých typů škál, jednodimezionální vs. vícedimenzionální testy. Základní přehled nejpoužívanějších psychologických testů: hlavní členění, výhody a nevýhody jednotlivých druhů testů. Položková analýza: obtížnost položky, diskriminace položky, korelace položky s HS, vnějším kritériem, mezipoložková korelace, základy IRT. Faktorová analýza v psychodiagnostice: faktorová rovnice, loading, komunalita, vlastní číslo faktoru, rotace faktorů, principy volby počtu faktorů. Norma a normalita: norma populační, norma kriteriální a další typy norem, vytváření norem, Q třídění. Shoda posuzovatelů: jako odhad reliability při pozorování a posuzování, koeficient shody, koeficient kappa. Senzitivita a specifita testů: cut off skór, ROC křivky, AUC (area under curve). Výpočty různých typů validit, příklady konkrétních validizačních studií u různých diagnostických metod.
Předmět může být v případě potřeby vyučován i pouze v anglickém jazyce.
Last update: Pastyříková Iveta, Mgr. (24.10.2023)
Course completion requirements -
Creation of own diagnostic methods, verification of their basic psychometric qualities and preparation of a brief manual for this method. Demonstration of knowledge and skills in the topics covered in psychometrics in an oral examination.
Last update: Dragomirecká Eva, PhDr., Ph.D. (13.10.2023)
Vytvoření vlastní diagnostické metody, ověření jejich základních psychometrických kvalit a zpracování stručného manuálu k této metodě. Prokázání znalostí a dovedností z probraných témat psychometrie při ústní zkoušce.
Last update: Pastyříková Iveta, Mgr. (24.10.2023)
Literature -
Furr, R. M. (2021). Psychometrics: an introduction. SAGE publications.
Standards of Psychological and Educational Testing of the American Psychological Association (2001).
Anastasi, A. (1988). Psychological testing (6th ed.). New York: Macmillan.
Cronbach, J.L. (1990). Essentials of psychological testing (5th ed.). New York: Harper and Row Co.
Groth-Marnat, G. (2003). Handbook of psychological assessment. New Jersey: John Wiley and Sons
Last update: Dragomirecká Eva, PhDr., Ph.D. (16.10.2023)
Furr, R. M. (2021). Psychometrics: an introduction. SAGE publications.
Urbánek, T., Denglerová, D., & Širůček, J. (2011). Psychometrika: Měření v psychologii. Praha: Portál.
Standardy psychologického a pedagogického testování Americké psychologické asociace (2001). Praha: Testcentrum.
Anastasi, A. (1988). Psychological testing (6th ed.). New York: Macmillan.
Cronbach, J.L. (1990). Essentials of psychological testing (5th ed.). New York: Harper and Row Co.
Groth-Marnat, G. (2003). Handbook of psychological assessment. New Jersey: John Wiley and Sons.
Seznam doporučené literatury je v SIS a upřesňován během výuky.
