Státní maturity jsou každý školní rok velmi ožehavým tématem, nemluvě o tom uplynulém, v němž probíhaly za neobvyklých podmínek a v upravené podobě. Jiří Münich, datový analytik pracující mimo jiné pro informační centrum o vzdělávání EDUin, se jim zabývá z pohledu dat. „Studenti mají právo vědět, jaká znevýhodnění a rizika jsou na ně během testů kladena,“ říká v rozhovoru pro Studentské listy.

Vy jste se tématem státních maturit zabýval v komentáři pro server iROZHLAS.cz. Chápu ho dobře tak, že neznáme kritéria, podle kterých CERMAT vypracovává maturitní testy?

Neznáme je do dostatečného detailu, neznáme vnitřní kritéria. MŠMT (ministerstvo školství, mládeže a tělovýchovy – pozn. redakce) například v katalogu požadavků určuje, co by se mělo testovat. Víme, že Cermat by měl být katalogem vázán, ale metody pro posuzování toho, zda úlohy a testy skutečně měří dovednosti stanovené v katalogu, vyžadují jasnější kritéria. Ta neznáme.

Pokoušel jste je zjistit?

Snažíme se, a do určité míry úspěšně, ale spíše se nám to nedaří. Žádosti o informace k maturitní zkoušce podle zákona o svobodném přístupu k informacím jdou oficiálně přes ministerstvo. Reálně se o nich ale často rozhoduje v Cermatu. Ještě jsem neslyšel, že by Cermat automaticky přijal žádost o zajímavé informace. Většinou je odmítá. Nedávno jsme podávali žádost o strukturu datových souborů, které Cermat má. Hlavní myšlenkou bylo, abychom věděli, o jaká data si žádat, když bychom chtěli dělat psychometrické analýzy testů. Cermat nám tuto žádost automaticky zamítl s tím, že soubory jsou příliš komplikované a obnášelo by příliš práce, aby nám je poslali.

Můžou vám to tak zamítnout?

Je možné, že pokud je požadavek nerealistický, Cermat (resp. MŠMT) ho může zamítnout. Nám to ale přišlo docela realistické a věcné, a proto jsme podali rozklad kanceláři ministra. To nám dlouho neodpovídalo, porušilo i zákonné lhůty. Podali jsme stížnost k Úřadu pro ochranu osobních údajů a dostali jsme odpověď, že by nám MŠMT mělo odpovědět. Když odpověď nakonec přišla, na některé zásadní otázky stejně neodpovídala.

Věřím, že informace o maturitách jsou dosažitelné, ale předchází tomu velice protahovaný proces, především kvůli tomu, že se Cermat automaticky brání. Myslím, že MŠMT přímo Cermat nechrání, ale nechce to řešit, posuzování žádostí nechává na Cermatu a ten má tak v rozhodování nepřiměřeně silné slovo.

Víte, proč vám Cermat nechce vydávat informace?

Máme jednoduchou teorii – když je nemusím vydávat, tak je nevydám, protože nevím, co by se v nich mohlo najít. Určitou roli může hrát i nejistota – když omylem vydáme citlivou informaci, mohl by z toho být průšvih, tak raději nebudeme vydávat nic.

Zmínil jste pojem psychometrie. Vysvětlíte mi jako laikovi, co za vědní obor to je?

Jedná se o obor, který se zabývá měřením psychologických konstruktů – např. nálady, deprese či matematické dovednosti. Velká část psychometrie se například věnuje měření inteligence. Pokud chceme něco jako inteligenci vyčíslit, potřebujeme vymyslet metody, kterými převedeme odpovědi na různé úlohy do inteligenčních skórů. Také ale musíme umět posoudit, zda konstrukt jako obecná inteligence vůbec dává smysl a jestli třeba nedává větší smysl rozdělit ji do specifičtějších konstruktů (logická, jazyková atp.).

Psychometrii tak nezajímá tolik obsah úloh, ale spíše to, zda jsou odpovědi na ně konzistentní a jestli se vztahují k validačním kritériím. Zda je člověk, kterému naměříme vysokou matematickou inteligenci, úspěšný v matematickém oboru, který pak studuje. Psychometrik není autor otázek, ale technik, který kouká na test jako na celek.

Zabývá se tedy i kritérii, podle kterých se určují, jaké otázky v testy budou?

Psychometrik se nemůže podívat na úlohu a zeptat se, zda je úloha se sinem/cosinem dobrou reprezentací trigonometrie. Na to je potřeba matematik. Psychometrik se může podívat na to, jak žák na úlohy odpovídá či proč žák, kterému jde test jinak báječně, odpovídá na nějakou úlohu špatně. Psychometrik řeší úlohu empiricky a ptá se na to, proč jsou struktury odpovědi rozdílné. Pak se o tom baví s matematikem a kognitivním psychologem.

Můžou pozorování psychometrika přispět k vylepšení testů do budoucna? I co se týče spravedlnosti například vůči etnickým menšinám, o kterých jste psal ve zmiňovaném komentáři.

Přesně tak. V článku jsem uváděl příklad z Ameriky, který se týkal toho, že jeden americký výzkumník vyvinul testy inteligence s otázkami jako „doplňte obrázek, aby seděl k předchozím čtyřem“ nebo „auto se má k bicyklu jako strom k něčemu“. A jedna z otázek byla: „Prezident Washington se má k prezidentu Adamsovi jako první k něčemu“ – odpověď byla ke druhému, protože prezident Adams byl druhým prezidentem v dějinách USA.

Pro lidi, kteří zrovna přijeli z Evropy na lodi a nevěděli nic o americké historii, to byl velký problém. Ten výzkumník prováděl měření, ve kterém zadal stejné testy skandinávským imigrantům, kteří už v USA nějakou dobu žili, a nově příchozím Slovanům a Židům ze střední Evropy. Vyšlo mu, že Slované a Židé byli mnohem horší, z čehož vyvodil, že jsou obecně méně inteligentní. Stejný výsledek zaznamenal i u černochů a vyvodil z toho závěry, které byly důsledkem špatného měření, ale zapadaly do tehdejšího politického prostředí a legitimizovaly společenské nerovnosti.

Využívá Cermat psychometrii?

Jedna z neověřených zpráv je, že Cermat kladl na psychometrii mnohem větší důraz v minulosti než teď.

Proč? Člověk by spíše čekal, že to bude opačně.

Zprvu musím říct, že to je spekulace a možná je tomu jinak. Zatím se to snažíme zjistit. Myslím, že se mohlo dojít k závěru, že psychometrická analýza je stejně k ničemu, pokud není nikdo, kdo by na základě ní posoudil, zda jsou testy dostatečně kvalitní.

Psychometrická gramotnost není samozřejmá často ani u samotných psychologů nebo jiných výzkumníků. Svědčí o tom i takové skutečnosti, že hodnota Cronbachovo alfa (statistická metoda – pozn. redakce) nadále patří mezi výzkumníky nejoblíbenější ukazatele vnitřní konzistentnosti testu, i když v metodologické komunitě je dávno známé jako velmi neinformativní.

V Česku určitě jsou dobří psychometrici, ale ta gramotnost není rozšířená natolik, aby se z psychometrických vlastností testů stalo téma. Je možné, že tu zkrátka není poptávka po psychometrických analýzách, ať už od Cermatu či nezávislých odborných komisí, které testy hodnotí z pozice MŠMT. Podepisují sice, že jsou u testů splněná psychometrická kritéria, ale více se tím nezabývají.

„Slovenský Cermat“ zveřejňuje hezké psychometrické analýzy, český Cermat je tajuplný. Snažíme se od něho dostat různé podklady a informace, ale za každým malým kouskem informace je velký boj.

Co všechno byste mohl zjistit, kdybyste měl přístup k potřebným datům a podkladům?

U testů, jako je maturitní zkouška, je klíčová meziroční srovnatelnost obtížnosti. V psychometrii existuje více přístupů, jak měřit vlastnosti testů. Některé jsou zastaralé, jiné moderní. Cermat používá metodu, díky které můžeme nanejvýš říct, že test podává konzistentní informace, protože student, který odpověděl dobře na většinu úloh, odpověděl dobře i na tu jednu úlohu. Nemůžeme už říct, že obtížnosti úloh jsou v celém testu stejné, nižší či vyšší než v předchozích ročnících. Jinými slovy, zda je maturita z roku 2018 hodnotnější než z roku 2019. Díky modernějším metodám bychom na takovou otázku mohli odpovědět.

Druhou klíčovou otázkou je nerovnost. Nemůžeme testovat, zda je test spravedlivý pro všechny skupiny, protože jich je nekonečně mnoho. Máme však některé potenciálně problematická dělení – například obory škol. Můžeme předpokládat, že na nějakých školách budou určité dovednosti nižší, protože je ty školy neumí dobře učit a pak nižší výsledky žáků odpovídají skutečnosti. Vedle toho je ale možné, že se učí stejná věc, ale různými způsoby – na učilištích se bude matematika věnovat více konkrétním aplikacím, na gymnáziu spíše abstraktním teoriím. Když pak máme žáka z učiliště a žáka z gymnázia, tak se může stát, že jen způsob zadání určí to, pro koho z nich to bude náročnější. Dalšími možnými skupinami jsou holky a kluci či různé jazykové menšiny.

Může psychometr po zkoumání říct MŠMT a Cermatu: „Hele, tímhle testem jste chtěli zkoumat tohle, ale zjistil jsem, že jste ve skutečnosti zkoumali něco jiného“?

Určitě. Záleží samozřejmě na dostupnosti informací. Například už na základě studia popsaných metody lze říct, zda mají potenciál udržovat meziroční standard v úspěšnosti testů a podobně. Přesnější závěry lze vyvodit ale až analyzováním dat.

Jedním z témat může být přesnost měření. Dám příklad. Digitální teploměr bude velmi přesný od 35 do 42 stupňů Celsia. Když bych vařil čaj na 80 stupňů a měřil teplotu vody takovým teploměrem, měření bude mnohem méně přesné. Stejně tak by mi nějaký teploměr do vysoké pece velmi špatně měřil teplotu v podpaží, hodnoty by skákaly v hodnotách desítek stupňů.

Stejně může fungovat test dovedností. Může se stát, že pro studenta na nižší škále dovedností bude test přesný, ale pro někoho na vyšší škále budou výsledky chybné ve větším rozsahu. Hlavním kritériem u maturitního testu je, zda student prošel, nebo neprošel. Největší chyba, kterou můžu udělat, je říct, že student na to měl, ale chybou měření neprošel, protože těžiště měření nebude u hranice úspěšnosti, ale někde jinde. Test by pak neplnil dobře svoji funkci. Tohle všechno se dá psychometricky měřit.

Může se rovněž stát, že si myslíme, že test měří něco jiného, než ve skutečnosti měří. Matematický test s vysokým počtem slovních úloh bude měřit spíše čtenářskou gramotnost, dlouhý test, na který mám málo času, může měřit spíše odolnost proti stresu a strategii řešení testů než matematické dovednosti. V ideální situaci by se psychometr mohl například podívat, jestli skóre z matematiky koreluje se známkami z matematiky v maturitním ročníku, nebo úspěšností studia na matematicky orientovaných oborech vyššího vzdělání.

Mezi dalšími rozměry je i to, že když děláte třetí a čtvrtý test, tak se vám zlepší skóre, protože se naučíte, jak daný test řešit. Takový problém budou mít všechny testy. Je však dobré počítat například s tím, že jsou žáci z rodin, které si nemůžou dovolit speciální přípravu. To bychom například mohli měřit u maturit, když bychom se ptali žáků, zda se připravovali se speciálním učitelem, se specifickými podklady apod. a pak spojovali odpovědi s výsledky jejich testů, samozřejmě anonymizovaně.

Víme, zda Cermat dělá vlastní analýzy podobného typu?

Cermat zveřejnil vlastní analýzy, které jsou velmi žalostné. U většiny je napsáno, kolik žáků prošlo/neprošlo, případně kolik studentů dostalo kolik bodů. Chybí tam ale tzv. položková analýza, která zahrnuje vlastnosti jednotlivých úloh – tento typ žáků fungoval na úloze 1 nějak, na úloze 2 zase jinak. Metaforicky bych řekl, že analýzy Cermatu mají velmi nízké rozlišení a klíčové detaily jsou úplně rozpixelované.

Zajímá se o to někdo z MŠMT?

Nikdo se nám neozval s tím, aby to s námi řešil. Nepochybuji, že MŠMT má větší zájem povahu zkoušky s veřejností řešit než Cermat. Cermat je ale v současnosti asi jedinou organizací, která v Česku dokáže z roku na rok logisticky obstarat maturitní zkoušku. MŠMT je tak proti Cermatu ve zvláštním vztahu. Cermat zná data i okolnosti líp než ministerstvo a když řekne, že něco nejde, ministerstvo musí Cermatu věřit. Co hůř, když se Cermat sekne a řekne, že za podmínek X a Y maturita prostě nebude, ministerstvo nemá co s tím udělat.

Nemělo by to být opačně? MŠMT se přece má starat o peníze daňových poplatníků.

Je to špatně. Jako by Cermat nebyl jen vykonavatelem státní politky, ale do určité míry nezávislým aktérem ve vzdělávací soustavě. Situace je o to nepříjemnější, že testy samozřejmě zpětně ovlivňují, co a jak se na maturitních oborech učí. Cermat tak má v jisté míře dopad nejenom na kvalitu měření, ale i na realizaci učiva.

Kde je tedy problém? Není kontrola dostatečně nastavená z pozice MŠMT?

Myslím, že v zákoně je zakotveno, že správcem maturitních dat je MŠMT, akorát to za ně dělá Cermat. Implementace zákonů pak záleží na kapacitách ministerstva. Ty se odvíjí od vnitřního řádu, kapacitě pracovat s ostatními aktéry a kompetencemi v organizaci. A to nemyslím blbě – úředníci na ministerstvu mají možná více kompetencí v administrativní činnosti než v odborné práci s daty, metodologií meření atp. MŠMT se tak ohledně těchto věcí ptá Cermatu, který nechce, aby mu někdo koukal pod ruce. Jde o určitý střet zájmů v kontextu asymetrické informovanosti.

V Česku rovněž není tolik lidí, kteří se psychometrií a práci s daty ve vzdělávání aktivně zabývají. Ti, kteří se vyznají, se často vzájemně znají, byli zapojeni do různých projektů, někteří možná spolupracovali i s Cermatem. V takové situaci je pro všechny mnohem těžší podílet se na informované veřejné kontrole.

Když to shrnu: myslíte si, že Cermat nechce otevřít své vnitřky a MŠMT to neumí vynutit?

Já bych to nazval souhrnem faktorů ústících v nízkou poptávku po psychometrických datech a spokojenou absenci nabídky.

Zároveň bych ale rád dodal jednu věc. Nejhorší situace, kterou si umím představit je, že Cermat zkamení v nekončící defenzivě a akademický i občanský sektor se uvelebí ve střídavé kritice a mlčení. Kdyby se podařilo najít způsob, jak vést společnou diskuzi, která by byla nekompromisně kritická, sofistikovaná, ale zároveň konstruktivní, bylo by to docela báječné.

Je v zájmu školské soustavy a rodičů, aby se více rozhodovalo na základě dat?

Nejenom na základě nich, byl bych nerad, abychom se uzavřeli pouze do dat. Obzvlášť, pokud to jsou data špatná. Data ve veřejné politice jsou dobrý sluha, ale špatný pán. Umožňují nám monitorovat, agregovat i propojovat, ale zároveň existují celé tómy odborné literatury o tom, jaké jsou dopady přílišné datové redukce, vytváření výkonnostních žebříčků nebo používání tvrdých dat k legitimizaci pochybných veřejných politik.

Ve snaze nakouknout do maturitních dat jde ale také o prostý dohled. Transparentnost je v zájmu dohledu nad kvalitou, určitě. Ale záleží u na něčem jiném: když jdu k lékaři, tak mi musí před začátkem procedury vysvětlit, co vše obnáší, jaká jsou rizika, a já se pak informovaně rozhodnu. Testy také zasahují do lidských životů a myslím si, že studenti mají právo vědět, jaká znevýhodnění a rizika jsou na ně kladena. Nikdo nemůže studentům cpát maturity bez příbalových letáků.