Čo trocha ekonometrie povie o slovenských gymnáziách.

Ineko pravidelne zbiera a zverejňuje dáta o slovenskom regionálnom školstve. Nedávno som si všimol zaujímavý fenomén. Výsledky gymnázií z externej časti maturitných skúšok boli negatívne previazané s veľkosťou rozpočtu školy v prepočte na jedného študenta (je o tom aj tento článok). Teraz som sa rozhodol k tejto téme vrátiť a pozrieť sa na ňu detailnejšie. Ukazuje sa, že školám s väčšími rozpočtami sa naozaj darí horšie a najväčšie rozpočty majú práve najslabšie školy.

Text kurzívou obsahuje detaily o použitých štatistických postupoch alebo opisy dodatočných testov a pre zbežné prečítanie sa môže preskočiť.

Dáta

Moja vzorka obsahuje len gymnáziá. Hlavným dôvodom sú rozdiely v cieľoch výuky a finančných nárokoch medzi gymnáziami a ostatnými strednými školami. Moje dáta sú panelom siahajúcim od školského roku 2008/2009 do 2012/2013, pričom však údaje o rozpočtoch škôl nie sú dostupné pre posledný rok. Pri hodnotení úspešnosti škôl na externých maturitách som posudzoval priemery školy v danom roku zo štyroch predmetov – matematika, slovenský jazyk a obe úrovne angličtiny. Tieto som zvolil kvôli dostupnosti dát, keďže najviac študentov maturuje práve z týchto predmetov (o zbieraných dátach a zostavených rebríčkoch sa píše aj tu).

Aj keď sa dá namietať, že externá časť maturít nie je dokonalým meradlom schopnosti školy naučiť, pomerne silná korelácia by existovať mala. Výhodou externých častí je aspoň čiastočná eliminácia príležitostí na systematické prilepšovanie známok študentom školy a ich štandardizácia (taktiež je v nich väčšia variabilita než v záverečných maturitných známkach od 1 po 5). Ten istý priemer u rozličných škôl by mal teda naznačovať rovnakú úroveň kvality učenia (podvádzanie na testoch predstavuje významný problém pre túto analýzu, len ak je jeho miera korelovaná s rozpočtami škôl).

Kazia peniaze školy?

V prvom rade som sa zameral na vzťah medzi rozpočtami škôl a výsledkami z externej časti maturít. Rozumným predpokladom je, že čím viac prostriedkov škola dostane, tým lepšie výsledky bude dosahovať, ceteris paribus. Možných príkladov pre fungovanie tohto mechanizmu je mnoho. S vyššími prostriedkami je škola schopná nalákať schopnejších a viac učiteľov, zakúpiť lepšie vybavenie do učební alebo vytvoriť celkovo prívetivejšie prostredie pre výučbu.

Na testovanie tohto predpokladu som využil regresnú analýzu (jej výsledkom je odhad veľkosti zmeny závislej premennej, maturitného výsledku, pri jednotkovej zmene v nezávislej premennej, rozpočte na študenta). Vo všetkých špecifikáciách som umožnil nezávislú medziročnú zmenu v priemerných známkach (napríklad pre prípady, keď bola náročnosť testov iná). Ďalej som aj odstraňoval vplyv regionálnych faktorov. To sú všetky veci, ktoré sú konštantné z roka na rok a ovplyvňujú veľmi podobne všetky školy v istej oblasti. Použil som premenné na úrovni krajov, ale aj miest a samotných škôl.

Hlavná výhoda použitia premenných označujúcich konkrétne školy je, že poskytne odhad vplyvu zmeny v rozpočte na zmenu v maturitných známkach bez hrozby, že daný odhad je v skutočnosti výsledkom vecí ako kvalita učiteľov alebo socioekonomická situácia študentov (keďže tieto veci sa medziročne menia len veľmi málo pre individuálnu školu). Nevýhodou je, že tento spôsob vyžaduje väčšie množstvo premenných, takže je ťažšie získať štatisticky významný výsledok.

Najvýraznejším výsledkom tejto analýzy je, že rozpočet škôl je signifikantne negatívne previazaný s výsledkami externej časti maturít. To znamená, že čím majú školy viac prostriedkov na študenta, tým horšie dopadnú na maturitách. Navýšenie rozpočtu o 1000€ na študenta je spojené so zhoršením maturitného výsledku o zhruba 2-3 body v závislosti od špecifikácie (zvolených premenných) a predmetu (štandardná odchýlka rozpočtu je 841€ a maturity zo slovenčiny  je 6,2 bodov). Tieto veľkosti sa zachovajú aj keď odstránim vplyv obecných faktorov (niekoľko príkladov získaných výsledkov je prezentovaných v Tabuľke 1). Ak kontrolujem voči faktorom na úrovni školy, tak väčšina odhadovaných efektov stratí štatistickú signifikanciu, avšak ani jeden nie je pozitívny.

Tabuľka 1 sa dá interpretovať nasledovne. Prvý stĺpec ukazuje (ostatné obsahujú analogické informácie), že nárast o 1 euro na študenta je zvyčajne sprevádzaný poklesom v priemernej známke zo slovenčiny o 0,003 bodu pre priemernú školu. Tento výsledok je signifikantný na hranici 1 %. To znamená, že je šanca menej ako 1 %, že by bol daný výsledok získaný čistou náhodou a v skutočnosti medzi tými premennými nie je žiaden vzťah. (Výsledok s takouto signifikanciou sa štandardne považuje za veľmi spoľahlivý.) Tabuľka taktiež hovorí, že v danej regresii boli pridané aj premenné značiace obec, kde sa škola nachádza, a rok, z ktorého dané pozorovanie bolo zaznamenané (čiže veci špecifické pre školy v danej obci a pre všetky školy v istom roku nespôsobia zaujatosť v odhadoch koeficientov). Tieto závery boli vyvodené zo 785 odlišných pozorovaní a celkovo táto špecifikácia vysvetľuje 46,9 % variácie v pozorovaných dátach (predposledný riadok). Počty pozorovaní sa líšia, lebo nie sú dostupné všetky informácie pre všetky roky a školy.

Ďalším spôsobom, ako odstrániť vplyv nemeraných faktorov, je pridať do regresie aj maturitný výsledok školy z predošlého roku. Táto metóda potvrdila negatívny vzťah medzi rozpočtom a výsledkami maturít. Veľkosť odhadovaného efektu však bola asi polovica až tretina ako pri metódach prezentovaných v Tabuľke 1.

Z týchto regresií vyplýva najmä to, že aj keď veľkosti odhadovaných koeficientov nie sú obrovské, fakt, že nie sú pozitívne, ba naopak signifikantne negatívne, je dôležitý a znepokojujúci. Jedným vysvetlením by mohlo byť, že to spôsobujú súkromné školy. Možno majú vysoké rozpočty a zároveň kvôli nejakému dôvodu ich študenti nedosahujú porovnateľné maturitné známky, čo spôsobuje nájdené výsledky. Avšak ak zopakujem túto analýzu len na vzorke škôl zriaďovaných samosprávnymi krajmi, krajskými úradmi alebo okresnými úradmi, tak stále nedostanem pozitívny efekt navýšenia rozpočtu. Signifikancia je síce nižšia (pravdepodobne kvôli menšej vzorke), ale získané koeficienty sú stále menšie ako nula.

V doteraz opísaných špecifikáciách som nekontroloval voči veľkosti školy. To znamená, že tieto výsledky môžu byť v skutočnosti spôsobené tým, že napríklad malé školy majú väčšie rozpočty na jedného študenta (možno kvôli typom zdrojov, ktoré nerastú proporcionálne s veľkosťou školy) a zároveň dosahujú z nejakého dôvodu horšie maturitné výsledky (toto dáva celkom zmysel, lebo slabé školy by mali postupne prichádzať o študentov a dobré ich naopak získavať). Štatistické testy ukazujú, že tento predpoklad je čiastočne správny. Po kontrole voči počtu študentom, ktoré mala škola v danom roku, padla veľkosť nájdených efektov približne na polovicu tých z Tabuľky 1 (niektoré odhady tiež stratili štatistickú signifikanciu). Podstatné však je, že vzťah medzi veľkosťou rozpočtu a maturitnými výsledkami ostal negatívny. Takže doterajšie výsledky nie sú iba štatistickým artefaktom.

Samotnú kontrolu voči veľkosti gymnázia som vykonal dvoma spôsobmi. V prvom rade som pridal do regresií premennú obsahujúcu počet študentov na škole. V druhej metóde som pridal binárnu premennú, ktorá značila, či škola patrila do menšej polovice, alebo jej počet študentov bol aspoň taký veľký ako medián. Obe tieto premenné naznačovali, že menšie školy majú štatisticky významne horšie výsledky ako väčšie inštitúcie. Odhad vzťahu medzi rozpočtom a maturitnými výsledkami bol však v oboch špecifikáciách prakticky totožný.

Treťou hypotézou je, že extra peniaze sa lejú práve do najslabších škôl. Dôvodom môže byť snaha týmto spôsobom im dať šancu sa zlepšiť. Alternatívne je vedenie proste dobre napojené a nemusí sa báť dôsledkov pre slabé výsledky a vie si zároveň vybojovať väčší rozpočet. Na overenie teórie o hádzaní peňazí na problém som urobil niekoľko ďalších analýz, ktoré opisujem nižšie.

A cenu za posledné miesto získava…

Ukazuje sa, že najviac peňazí majú tie najhoršie z najhorších gymnázií. Ak sa škola umiestnila v spodných 5 % rebríčka podľa maturity zo slovenčiny, tak ďalší rok bude mať o 800€ až 900€ na študenta viac ako škola, ktorej sa darilo lepšie. Tento efekt je signifikantne odlišný od nuly. Podobný výsledok dostanem, aj keď namiesto 5 % zvolím 10, 15 alebo 20 %. Avšak veľkosť výsledného efektu je najväčšia pri spodných 5 % a monotónne klesá s narastajúcim podielom (Tabuľka 2). To znamená, že najväčšie rozpočty sú koncentrované u najslabších škôl. Ak odstránim súkromné školy zo vzorky, tak výsledky ostanú kvalitatívne nezmenené.

Zvážil som aj zmeny v rozpočtoch najhorších škôl. Ak bola škola v spodných 5 % jeden rok, rozpočet tej konkrétnej školy je v priemere o 161€ na študenta vyšší ďalší rok (pre spodných 20 % je to 64€). Tieto odhady nedosahujú štatistickú signifikanciu, avšak vo všetkých špecifikáciách boli získané efekty pozitívne. Veľkosť koeficientov pri použití zmien v rozpočtoch je však nižšia ako pri použití veľkostí rozpočtov. Jedným vysvetlením je, že ten rozdiel bol spôsobený opomenutými premennými (také faktory, ktoré sa medziročne pre individuálne školy nemenia). Druhá možnosť je, že pomerne malé medziročné zmeny v rozpočte sa postupne nabalia a vytvorí sa väčší rozdiel vo veľkosti rozpočtov. To však predpokladá, že tie isté školy sú pravidelne medzi najhoršími (na to sa pozriem v ďalšej časti).

Tieto výsledky naznačujú, že negatívny vzťah medzi rozpočtom a maturitnými výsledkami je pravdepodobne spôsobovaný skupinou škôl, ktoré dosahujú najhoršie výsledky. To taktiež podporuje hypotézu, že nárasty v rozpočtoch sú priamo cielené na tieto školy.

Pretrvávanie mizérie

Ďalšia otázka, na ktorú som sa pozrel, je, či navýšenia rozpočtov pomáhajú školám skvalitniť svoje známky. Opatrenie, ktoré dáva viac peňazí najslabším školám, aby sa zlepšili, vyzerá pomerne legitímne. To však iba za predpokladu, že naozaj funguje. Samozrejme treba očakávať, že vplyvom rôznych náhodných faktorov bude úspešnosť školy kolísať z roka na rok. Ak však peniaze pomáhajú najhorším školám sa zlepšiť, tak šanca, že budú ďalší rok medzi najhoršími školami bude relatívne malá.

Túto šancu nazývam perzistentnosť. Meraná je vzťahom medzi umiestnením v spodných desiatich percentách poradia škôl (zoradených podľa maturity zo slovenčiny) v predošlom roku a v súčasnom. Tým získam odhad navýšenia pravdepodobnosti, o koľko má škola zo spodku rebríčka väčšiu šancu ocitnúť sa tam znova o rok v porovnaní so školami umiestnenými vyššie.

Ako však posúdiť, či je perzistentnosť slabých škôl dostatočne malá? Ako meradlo som sa rozhodol použiť rozdiel v pravdepodobnosti, že jedna z najlepších škôl bude zase medzi top školami aj ďalší rok v porovnaní so školami na nižších priečkach rebríčka (perzistentnosť najlepších gymnázií). Keďže najlepšie školy nie sú vystavené efektom navýšených zdrojov, tak ich perzistentnosť by mala byť nezaujatou mierkou medziročnej perzistentnosti poradia škôl vyplývajúcej čisto z faktorov iných ako zmeny vo výške rozpočtu.

Je však možné, že na najslabšie a na najlepšie gymnáziá vplývajú systematické faktory (iné ako veľkosť rozpočtu a regionálne vplyvy, voči ktorým som kontroloval), kvôli ktorým predchádzajúci predpoklad neplatí (aj keď na žiadne závažné som neprišiel). Na overenie, že školy zo spodku rebríčka majú rozpočtovú výhodu som skontroloval, či najlepšie školy nedostávajú „bonusy“ za dobré umiestnenie. Nebol však žiaden vzťah medzi veľkosťou rozpočtu a umiestnením sa na vrchu rebríčka v predošlom roku.

Perzistentnosť u spodných 10 % je 64-66 %, u vrchných 10 % to je však iba 54 %. Tieto testy som zopakoval aj pre spodných a vrchných 5 %, tam je rozdiel ešte o niečo väčší (Tabuľka 3). Ak by extra peniaze najhorším školám naozaj pomáhali, tak tieto čísla by mali vyzerať práve opačne. Avšak, v skutočnosti, umiestnenie na spodku rebríčka zvyšuje šancu, že sa tam škola ocitne znova, viac, ako umiestnenie na jeho vrchu zvyšuje šancu opätovného dobrého výsledku. Tieto nájdenia teda nenaznačujú, že pobyt slabých gymnázií na dne rebríčka je krátkodobý a že ich navýšené rozpočty majú želaný efekt.

Na ilustráciu týchto nájdení sa môžme pozrieť na konkrétne prípady. Gymnázium C.S. Lewisa v Bratislave v roku 2009 bolo v top 10 %. Jeho pravdepodobnosť, že tam bude znova  o rok, na základe regresie z Tabuľky 3, je 58,5 %. V porovnaní s tým, pravdepodobnosť priemerného gymnázia, čo nebolo v top 10 % v 2009, napríklad Gymnázium na Bilíkovej v Bratislave, že sa ocitne medzi najlepšími v roku 2010, je iba 4,2 %. To znamená, že perzistentnosť najlepších škôl je 54,3 percentuálneho bodu, čo je rozdiel medzi týmito pravdepodobnosťami (alternatívne sa dá proste odčítať z koeficientu na nezávislej premennej prezentujúcej členstvo v elitnom klube v minulom roku – druhý stĺpec v tabuľke). Rovnako sa dá zistiť aj perzistentnosť najslabších škôl. Keďže sa však jedná len o pravdepodobnosti, tak, napriek vyššej šanci, Gymnázium C.S. Lewisa už v top 10 % ďalší rok nebolo.

Túto analýzu som zopakoval aj čisto na nesúkromných školách. Zostavil som rebríček iba z týchto škôl a porovnal perzistentnosť medzi najlepšími a najhoršími školami. Na tejto zmenšenej vzorke je výsledok trochu iný. Pri porovnávaní okrajových 10 % vychádza, že perzistentnosť najhorších škôl je o niečo nižšia ako tých najlepších. Tento rozdiel má však ďaleko od štatistickej signifikancie. Keď sa pozriem na spodných a horných 5 %, tak už dostanem to isté ako pri pôvodnej vzorke, t.j. perzistentnosť najhorších škôl je vyššia.

Zaujímavým nálezom je aj to, že priemerná nesúkromná škola zo spodných 5 % dostáva o 220€ na študenta viac ako priemerná škola z druhých 5 % rebríčka (čiže spodných 10 %, keď vylúčime školy zo spodných 5 %). Vďaka tejto rozpočtovej výhode by teda priemerná perzistentnosť školy zo spodných 5 % mala byť významne menšia. Avšak nárast šance, že škola ostane medzi spodnými 5 % aj o rok v porovnaní so zvyšnými školami, je prakticky rovnaký ako pri spodných 10 % (perzistentnosť pre spodných 5 % je 50,1 % a pre spodných 10 % je to 51,5 %). Rozdiel v perzistentnosti medzi vrchnými 5 % a 10 % je však viac ako 16 percentuálnych bodov, takže tam sa to navýšenie mení. Tento nedostatok významného poklesu v perzistentnosti najhorších škôl naznačuje, že výrazne väčšie rozpočty majú minimálny vplyv na schopnosť týchto škôl sa zlepšiť.

Zopakovanie analýzy len pre nesúkromné školy významne nenabúralo predošlý záver. Stále nie sú žiadne presvedčivé dôkazy, že výrazne vyššie rozpočty najslabších škôl pomáhajú. Ukazuje sa, že umiestnenie školy na dne rebríčka je asi permanentnejšie ako umiestnenie školy na jej vrchu.

Záver

Táto analýza nevyznieva veľmi lichotivo pre slovenské gymnázia. Nielenže som nenašiel žiaden dôkaz o tom, že školy s vyššími rozpočtami dosahujú lepšie maturitné výsledky, ale dokonca sú tu dobré dôvody veriť, že ten vzťah je v skutočnosti negatívny. Možno na to existuje nevinné vysvetlenie, ale možno je to symptómom neefektívneho vynakladania prostriedkov v školstve. V takom prípade by bolo vhodné premyslieť aktuálne financovanie školstva alebo vylepšiť jeho manažment.

Naviac, najvyššie rozpočty majú práve školy z úplného spodku rebríčka. Taktiež sa nedá povedať, že by situácia najhorších škôl bola len dočasná. Perzistentnosť umiestnenia je väčšia u škôl z dna rebríčka než jeho vrchu. Takže šanca, že ostanú na spodku je vyššia, než že sa dobrá škola udrží medzi najlepšími. To pomerne jasne naznačuje, že sa vďaka vyšším zdrojom medziročne dramaticky nezlepšujú.

Výsledky sa nedajú zvaliť ani na súkromné školy. Ak som ich vynechal zo vzorky, závery sa významne nemenili. Za negatívnym vzťahom medzi rozpočtom a maturitami nestojí ani zanedbanie veľkosti inštitúcií. Je síce pravda, že malé školy zároveň majú väčšie rozpočty na študenta a dosahujú horšie výsledky, nájdený vzťah medzi rozpočtom a maturitami to však vysvetľuje iba čiastočne. Skôr sa zdá, že táto situácia je aspoň sčasti spôsobená cielenou snahou zvyšovať rozpočty najhorším školám. Možno sa to deje v nádeji, že sa im začne dariť lepšie. Ale ako som spomínal, tieto nádeje sa zdajú byť nenaplnené.

Moja práca je samozrejme otvorená kritike ako každá štatistická analýza, napriek tomu však otvára niekoľko zaujímavých rébusov. Dúfam, že nejaký ďalší výskum sa im bude venovať. Kvôli miestu som mnohé detaily vynechal. Určite by bolo veľmi zaujímavé zopakovať podobné cvičenie zase o pár rokov, keď už bude dostupných viac vstupných údajov. Potom by sa dalo pozerať aj na zmeny počas dlhších období ako jeden rok.

Dovtedy by asi stálo za to začať nejako systematicky a objektívne hodnotiť školy a ich schopnosť vzdelávať, a to nielen gymnáziá, ale aj ostatné typy. Ineko pravidelne zostavuje svoje rebríčky, ale bolo by dobré vidieť aj nejakú aktivitu v podaní štátu. Nakoniec dôkazy, že slovenské školy majú problémy, sú stále badateľnejšie.

Patrik Gallo