Chvíli se zdálo, že by jarní maturanti mohli ukončit středoškolské vzdělávání úředně uznanou zkouškou. Nakonec však podoba maturit až na pár změn zůstala stejná jako v předchozích let a Cermat se opět chopil přípravy státní části. S jeho ředitelkou Michaelou Kleňhovou jsme se bavili o přípravě maturitních testů i využívání tzv. psychometrických metod.
Na úvod možná jednoduchá otázka. Jakým způsobem vytváří Cermat maturitní testy?
Otázka je jednoduchá, ale odpověď ne, protože to je poměrně složitý proces. Všechny testy musí vycházet z rámcových vzdělávacích programů (RVP, obecně závazný rámec učiva – pozn. redakce) a katalogu požadavků. To jsou základní mantinely pro testy a pro úlohy, které nám posílají autoři. Tým autorů není v čase úplně stabilní, víceméně nám je může poslat prakticky kdokoliv. Úloha musí odpovídat katalogu požadavků a její zadání musí být jednoznačné.
Oslovujete sami autory testů?
Autory přímo neoslovujeme, ale máme určitý okruh autorů, kteří pravidelně přispívají. Autor pošle úlohu a náš tým metodiků a předmětových koordinátorů posoudí, jestli vyhovuje RVP a katalogu požadavků a jestli je jednoznačně zadaná, což je jeden ze základních předpokladů pro zařazení do testu. Pokud odpovídá těmto kritériím, pracuje se s ní dál. Ve většině případů ale úloha neodpovídá všem požadovaným parametrům, takže se dál komunikuje s autorem úloh a dolaďují se podrobnosti, až se dojde k finální podobě úlohy.
Existuje seznam kritérií, která si odškrtáváte, když úlohy posuzujete?
V této fázi je to hlavně soulad s RVP a katalogem požadavků. Jakmile je úloha odsouhlasená, dostává se do databanky a dál se s ní pracuje. Nejde okamžitě přímo do testu, protože musí být předtím odpilotována. S určitým časovým předstihem se proto na školách dělají pretesty, protože nemůžeme v ten samý rok pilotovat úlohu a dát ji hned do testu. V průběhu pilotáží se testuje náročnost úlohy – jestli je snadná, středně snadná nebo těžká. V rámci pretestů se i ověřuje srovnatelnost náročnosti úloh s úlohami použitými v testech v předchozích letech.
Testuje se na reprezentativním vzorku žáků?
Ano, hlavně napříč obory.
I napříč republikou? Jsou do pilotáži zahrnuty i slabší regiony jako Karlovarský či Ústecký kraj?
Ano, i na školách v rámci republiky. Není to tak, že by se testovalo jenom v Praze.
Testy ověřují společný základ
Jak se postupuje dál?
Po pilotážích se dělají položkové analýzy, které jsou vstupem pro tvorbu vlastního testu. V testu musí být určité zastoupení úloh z jednotlivých okruhů – to je dáno katalogem požadavků, kde je přesně řečeno rozmezí, kolik procent má tvořit která oblast, respektive zastoupení bodů, abychom se vyhnuli tomu, že 20 procent úloh bude z jedné oblasti a všechny budou těžké. Na základě těchto kritérií se potom sestavuje test. Jakmile je zpracovaný, nastupuje další tým expertů, kteří ho posuzují jako celek. Posuzují soulad úloh a testu s katalogem požadavků, zda jsou úlohy srozumitelné, jednoznačné a zda jejich náročnost odpovídá předchozím testům.
Jsou to experti, kteří pracují v Cermatu?
To jsou externisté, většinou učitelé z různých typů škol, z pedagogických fakult a v případě češtiny i z Ústavu pro jazyk český. Naši lidé to ale pochopitelně posuzují taky.
Dá se zjistit, kteří lidé to posuzují?
Seznamy těchto lidí nejsou veřejné.
Proč?
Hlavním důvodem je to, že by mohli být vystaveni korupčnímu jednání, protože pracují se zkušebním tajemstvím. Někteří s námi spolupracují opakovaně a zveřejněním jejich jmen bychom mohli zvýšit riziko prolomení zkušebního tajemství.
Zkoumáte, jestli nemůže být test diskriminační pro určité regiony či skupiny jako pohlaví?
Tuto analýzu si pochopitelně děláme. Když se konkrétně bavíme o regionech či pohlaví, tak víceméně všechno záleží na oborové struktuře, resp. síti škol, v daném kraji. Dívky jsou většinou více zastoupeny v některých oborech, v regionech je určitá oborová struktura, která značně ovlivňuje síť škol. Musíme vycházet z toho, že test vychází z RVP, a ověřovat společné minimum napříč obory.
RVP jsou ale často hodně široké, zatímco školní vzdělávací programy jsou konkrétnější. A napříč obory se značně liší.
V rámci testů se ověřuje společný základ, tedy společný průnik napříč obory, protože ověřujeme znalosti a dovednosti ve všeobecně vzdělávacích předmětech. Není tam nic nad rámec, co by nebylo ve všech rámcových vzdělávacích programech. Testy mají primárně ověřovací funkci a rozlišovací jsou pouze mírně, aby se ověřila úroveň znalostí nad hranicí úspěšnosti.
„Psychometrika je poměrně mladým oborem v rámci psychologie. Klade si za cíl objektivně měřit duševní charakteristiky lidí, jako jsou například osobnostní charakteristiky, postoje, znalosti, motivaci, emoční stavy, patologie atd. Dále se snaží vytvářet dokonalejší metodiky pro tato měření především na základě znalostí z psychologické metodologie a matematické statistiky a maximalizovat prediktivní platnost změřených charakteristik.” (tcconline.cz)
Využíváte psychometriku?
Ano, hlavně položkové analýzy. Využíváme je jak v průběhu tvorby testu, kdy zpracováváme položkové analýzy z výsledků pilotáží, tak při analýzách, jak se testy chovají, u nichž využíváme také položkové analýzy z minulých let.
Údajné nevyužívání psychometriky ze strany Cermatu však v několika článcích kritizovali psychometrik Hynek Cígler a analytik Jiří Münich. Co na jejich kritiku říkáte?
Tady dochází k informačnímu šumu nebo neúplnému pochopení, k čemu naše testy slouží. Jde o certifikační testy, tedy testy s primárně ověřovací funkcí, které se vytvářejí každý rok a musí být obsahově odlišné. Netestují to, o čem oba pánové hovoří, tzn. inteligenci či studijní předpoklady. Naše testy testují znalosti a dovednosti, které mají žáci získat v průběhu studia. V tu chvíli se k nim musí přistupovat jinak. My do testu například nemůžeme dát kotvící úlohy, protože všechny testy po ukončení zkoušky zveřejňujeme. Nemůžou se chovat jako psychologické testy, u kterých je možno využít širších metod, o nichž hovoří. Každopádně se nebráníme další diskusi s kolegy na odborné úrovni, tyhle věci se musí primárně vyjasnit, abychom všichni mluvili o tom samém.
Oni také mluví o tom, že by rádi spolupracovali, ale upozorňují, že jim neposkytujete dostatek dat a informací.
Můžeme poskytovat jen to, co nám umožňuje zákon. Do letošního 11. července jsme byli značně omezováni v tom, co jsme mohli zveřejňovat o maturitní zkoušce, protože ve školském zákoně bylo ustanovení, které nám neumožňovalo poskytovat anonymizovaná data o jednotlivcích. Novelou zákona se situace trochu prolomila. Bezprostředně potom jsme na náš web vyvěsili položková data z maturitní zkoušky, takže jsou k dispozici odpovědi maturantů na jednotlivé uzavřené úlohy a bodové zisky v otevřených úlohách. Nicméně i tady se musíme řídit další legislativou, zejména GDPR, proto údaje zveřejňujeme bez jakýchkoli identifikací žáka, pouze s příznakem skupiny oborů. Položková data byla hlavními daty k maturitám, která neměli analytici dosud k dispozici, aby mohli zpracovávat své vlastní analýzy. V tuto chvíli k dispozici jsou, do větších podrobností ve členění dat jít ale podle zákona nemůžeme.
Vy sami si ale podobné analýzy dělat můžete, ne?
My si je děláme, jde se u nich nicméně do takových podrobností, že hraničí s osobními údaji, a proto jsou neveřejné.
Při zpětném hodnocení testů s nimi však pracujete?
Pracujeme, jsou pak základním východiskem pro to, abychom si ověřili, jestli byly testy srovnatelné s předchozími lety a jestli nedocházelo k diskriminaci nějakých skupin.
Jste zpětně spokojeni s jarními maturitními testy?
Tak co vám můžu říct jako ředitelka instituce tvořící testy (směje se). Testy se oproti předchozím rokům nijak nevymykaly. Letošní srovnatelnost výsledků byla ale problematická, protože k maturitě byli připuštěni úplně všichni žáci posledních ročníků, k testům tak šla jiná populace než v předchozích letech. K maturitě šli tedy i žáci, kteří by v minulosti dělali reparáty, případně by opakovali ročník. Vzhledem k tomu, že nevíme, z jakých důvodů by dělali reparát, opakovali ročník nebo v jakém předmětu mají problém, tak je velmi těžké porovnávat výsledky letošního a předchozího roku. Letos byla značně atypická situace.
Těch žáků, kteří by k maturitě normálně nešli, ale zase nebylo relativně tolik. Nebo je to jinak?
Neúčast u maturitní zkoušky je normálně 9 až 10 %, ale letos byla jen 3 %. U společné části to bylo kolem 2 %, takže k maturitní zkoušce se dostali žáci, kteří by v minulých letech neměli šanci maturitní zkoušku konat, protože by neukončili poslední ročník.
Dá se to zkreslení nějak vymazat?
Dělali jsme si pochopitelně odhady, u nich je ale problém, že nevíme, s jakým předmětem měli žáci v minulých letech problém a proč se nedostali k maturitě. Pak se velmi těžko dělají jakékoliv soudy.
Máte ve světě nějaký vzorový test, nebo se na to vůbec nekoukáte?
Určitě se do světa koukáme, ale je těžké zmínit nějaký konkrétní vzor, protože v různých zemích jsou různé a zejména těžko porovnatelné vzdělávací systémy. Co se týče testů z jazyků, tak se spíše inspirujeme mezinárodními zkouškami, než těmi maturitními. U ostatních států se inspirujeme i u testů z matematiky.
Vidíte v testech nějaký prostor ke zlepšení?
Nikdy není nic dokonalé, spíš jde o to, že v prvé řadě musí být jasná koncepce maturitní zkoušky. Tu zpracovává ministerstvo školství (MŠMT), obsah zkoušek navíc závisí i na tom, co bude v RVP. My musíme úzce spolupracovat s Národním pedagogickým institutem České republiky (NPI ČR), který dělá revize RVP, a s MŠMT, které zpracovává koncepci, abychom došli ke vzájemné shodě a bylo jasné, kam se bude maturita vyvíjet. Pokud nastanou změny v RVP a koncepci, musí se pochopitelně zasáhnout do testů.
Budete se přímo podílet i na revizích, nebo byste chtěla, aby s vámi MŠMT zkrátka komunikovalo? Mluví se o tom, že by se RVP mohly zkrouhnout až o polovinu.
Jsme zapojeni do pracovních skupin, hlavní roli ale v tomto ohledu mají NPI ČR a MŠMT. My můžeme sdílet zkušenosti z maturitní zkoušky.
Na závěr bych se zeptal na vaši reakci na rozhovor s datovým analytikem EDUinu Jiřím Münichem, podle kterého by studenti měli vědět o rizicích maturity a o tom, jak pro ně může být test nepřesný či diskriminační. Jak se na to díváte?
Testy rozhodně nejsou diskriminační, vycházejí z průniku rámcových vzdělávacích programů všech oborů ukončených maturitní zkouškou. Navíc v tuto chvíli mají žáci k dispozici veškeré testy z předchozích let, takže vědí, jak vypadají. Mají k dispozici také informace o tom, jak dopadli žáci v jednotlivých oborových skupinách a krajích. Školy mají navíc od nás k dispozici školní zprávy, v nichž vidí, jak jejich žáci dopadli v porovnání s ostatními školami. Jsou hodně podrobné a jdou na úroveň jednotlivých oblastí a úloh. Školy a pedagogové by s nimi měli pracovat.
Snažíme se přinášet ověřené a srozumitelné články, ale jsme taky jenom lidé a chybujeme. Je pro nás důležité o chybách a nedostatcích vědět, abychom je mohli napravit a minimalizovat jejich výskyt. Proto jsme vděční za veškerou zpětnou vazbu, dotazy, náměty a připomínky, které nám můžete posílat na info@slisty.cz.
