Jan van Ravens; La Niña. -Een koers voor het Nederlands onderwijs (2007/2009).

Begin januari 2010 startte Ben Wilbrink op dit forum een draad over het Nederlandse onderwijsstelsel in internationaal perspectief, als beschreven door Jan van Ravens. Ik heb diens La Niña grotendeels (deel I en II) bestudeerd.
Stelselvergelijkingen? Waarom niet, maar dan moet het wel beter dan hier is gedaan.
Met de indicatoren die Van Ravens inzet, meestal afkomstig uit de Education at a Glance jaarboeken (EaG) van de OECD, lukt dat niet. Met die indicatoren én met het gebruik ervan is teveel mis. Wat volgt probeert dat aan te tonen.

Ik geef geen samenvatting van wat Van Ravens beweert. Die, en Wilbrinks commentaren en links naar geraadpleegde literatuur, vindt men op de site van Ben Wilbrink:
BW-VR

De indicatoren.
Op de indicatoren (ook wel indexen genaamd) worden aspecten van onderwijsstelsels met elkaar vergeleken. De OECD hanteert op dit moment (2007-2008) ongeveer 25 hoofdindicatoren, deze zijn samengesteld uit één of meer deelindicatoren en als je die per sector, fase en leeftijdcohort telt telt dan kom je uit op vele honderden. Men begon in 1992 met 13 hoofdindicatoren (The OECD International Education Indicators. A framework for analysis. 1992).

Niet alleen de OECD werkt met indicatoren, ook de EU en intergouvernementele organisaties (IGO’s) als IEA (TIMSS), de World Economic Forum (“CEO’s committed to improving the state of the world”), de Unesco, de World Trade Organization, het International Monetary Fund en nog andere, doen dat ook. Van Ravens haalt z’n indicatoren overal vandaan, dat kan, maar hij vermeldt niet de precieze samenstelling ervan en de gevolgde de rekenwijze. Dat is geen nalatigheid van vR, de IOG’s zelf vinden het niet nodig daarover precieze mededelingen te doen. Iets narekenen is dus meestal niet mogelijk. Ook niet dat Nederland, zoals vR in een onnavolgbaar betoog beweert, over drie jaar langere onderwijsparticipatie gerekend, €50.000.000.000,-- aan inkomsten derft vanwege onze niet eens ongunstige positie op de onderwijsexpectancy-indicator (p. 68 en verder).

De honderden indicatoren leveren scores voor: beschikbare middelen en budgetten, kwaliteit instroom van de leerlingen; beroepskwalificaties van docenten; onderwijsvisie; kwaliteit van onderwijs, van toetsmethoden; leerling- en docenttevredenheid; selectiviteit; ouderparticipatie; doorstroommogelijkheden, soort vervolgonderwijs, arbeidskansen van alumni, arbeidsloopbaan enz. enz. Talloze instanties leveren de scores/percentages enz. aan.
Idealiter is elke indicator de operationalisatie van een theoretisch construct of streeft ernaar. In de praktijk komt daar niets van terecht. De lezer van de steeds dikkere rapporten zoekt tevergeefs naar theorie achter de keuze en samenvoeging van de indicatoren. Deze omstandigheid verklaart mijns inziens het vrijwel ontbreken van academische kritiek op de indicatoren. Maar zo is Education at a Glance een produktie van hoge beleidsambtenaren voor hoge beleidsambtenaren en gedoemd dat te blijven.

Tijd voor een illustratie. De OECD-indicator voor Institutionele Stratificatie of Differentiatie in de Secundaire Fase (zie vR p.13) kent de volgende delen: (1) het aantal opleidingsroutes dat naast elkaar bestaat, (2) de leeftijd van eerste selectie, (3) de mate van scheiding tussen theoretische en beroepsgerichte leerwegen, en (4) de mate waarin leerlingen leerjaren herhalen (‘blijven zitten’). Dezelfde indicator staat ook voor de beroepsgerichtheid van onderwijssystemen (p.46).
Nu kan deelindex 1 van het ene op het andere jaar veranderen en bij 3 en 4 zijn waarde-oordelen niet te vermijden. Immers, er kan over het theoretisch gehalte worden getwist en een instelling met relatief veel zittenblijvers hoeft niet per definitie slechter te zijn dan één met weinig. Dat hangt ook af van hoe hoog men de lat legt. Waarde-oordelen lokken met zekerheid kritiek uit. Tenslotte laat de praktijk rond selectie en het eerste selectiemoment (2) tussen landen grote verschillen zien. Het ene land werkt met toelatingsexamens, het andere met toelatingsrechten, bijvoorbeeld. Hoe deze 4 deelindexen tot één cijfer worden teruggebracht blijft onduidelijk. Er is sprake van “gemiddelde van de gestandaardiseerde indexen” en Nederland scoort hier van 30 landen het hoogst.

Een ander voorbeeld is een indicator die al decennia onder vuur ligt (van economen) maar zonder blikken of blozen in de EaG-rapporten en door vR wordt benut. Het is het bruto binnenlands produkt (BBP) per hoofd van de bevolking (gross domestic product, GDP) als indicator voor de welvaart en economische vooruitgang van een land. Deze index, bedacht door en vooral in gebruik bij macro-economen en beleidsambtenaren, wordt vaak als deelindicator ingezet. Een handzaam overzicht van de kritiek erop sinds 1961 vindt men bij J.C.J.M. van den Bergh, Abolishing GDP, 2007, paragraaf 2. Te vinden op: http://www.tinbergen.nl. De index is niet geschikt “to monitor economic progress and to guide public policy” aldus de conclusie van de auteur.
Dit betekent dat alle EaG-indicatoren waarin het BBP is opgenomen niet door de keuring komen. Niet de gederfde vijftig miljard van hierboven en ook het volgende stokpaardje van vR niet:

La Niña p. 3 “Het staat sinds enkele jaren vast dat juist de educational attainment – uitgedrukt als het gemiddeld aantal jaren dat jongeren onderwijs volgen in een bepaald land – een directe, voorspelbare en meetbare impact heeft op het BBP, .....”

Een ander voorbeeld, op pagina 2:

“Het grote bezwaar is dat een verdere verhoging van leerprestaties in ons land niet zal bijdragen aan concurrentiekracht, ...... hoe vreemd dat ook klinkt.”

De indicator voor concurrentiekracht ontleent VR trouwens aan de WEF (World Economic Forum: bemand door CEO’s “committed to improving the state of the world”) dat twee-jaarlijks rapporten over nationale competitiveness uitbrengt: http://www.weforum.org (doorklikken naar Competitiveness en naar bv. de Executive Summary, 2005, A. Lopez-Claros). In La Niña wordt de concurrentie-indicator niet beschreven. Raadpleging van de genoemde summary leert ons dat deze, net als de meeste andere indicatoren van de WEF, met het BBP of een soortgelijke index zijn besmet en daarnaast nog andere gebreken vertonen. Enige door de OECD samen met het BBP gebruikte corrigerende indexen vindt men op p. 462 van EaG 2009. Die bieden op het eerste gezicht geen soelaas.

Van Ravens vaart blind op indicatoren. Hij steekt hier en daar een waarschuwende vinger op maar daar blijft het bij. Hij benut ook voordurend PISA-resultaten, is bijvoorbeeld van mening dat wat in het ene land lukt daarom ook in het andere moet lukken, en negeert de ernstige kritiek op PISA geheel. Eenmaal laat hij de naam van de Wuttke vallen, die hij kennelijk niet las. Dat kan niet, of Wuttke heeft gelijk, of EaG en vR, zo eenvoudig ligt de zaak.
Er zijn inmiddels twee dikke boeken en talloze artikelen met kritiek op PISA verschenen, dit alles wordt genegeerd door vR en weggewuifd door de OECD. Men oordele zelf: Wuttke kritische bibliografie en lees het indrukwekkende Wuttke-hoofdstuk uit de 2e druk van PISA & C0 (Jahnke & Meyerhofer, ed.). Wuttke 2007.
Een voor veel argumentaties in La Niña noodlottige misvatting (zie bv. vR hoofdstuk 3 en 4), een misvatting door velen gedeeld, is bijvoorbeeld dat PISA curriculumgerelateerde leerstof op de nationale niveau’s bestrijkt. Maar PISA meet amper schoolse kennis en vaardigheden maar vooral de literacies/competenties die nodig zijn voor het later kunnen functioneren in de samenleving. Die competenties zijn zwaar geladen met algemene intelligentie. Meer hierover bij Wuttke en in Mythe 5.

De EaG-indicatoren zijn net als die van de andere organisaties samengesteld uit gewogen of ongewogen deelindicatoren. Elke editie van EaG stelt de indicatoren weer iets anders samen. Ook lijkt de keuze voor een deelindicator vaak meer ingegeven door de toevallige beschikbaarheid van de data dan door de relevantie ervan. Sommige data zijn nu eenmaal moeilijker te vergaren of tegen hogere kosten die niet alle landen bereid zijn op te brengen.

De vele honderden indicatoren zijn inmiddels zelf het onderwerp van theoretiserende literatuur. Men probeert de interne consistentie van de samengevoegde indicatoren en rubrieken aan te tonen. Een veelgebruikte is de indeling: context/input, proces en output. Je moet er maar op komen. Behalve de interne consistentie probeert men een causaal verband tussen de context/input, proces en resultaat aan te tonen, zonder daar in te slagen. Voorbeelden van het onaantrekkelijke genre vindt men in de publicaties van professor Jaap Scheerens die onder veel meer betrokken is bij het World Education Indicator Project, een gezamenlijk initiatief van de UNESCO, OECD en de Wereld Bank.

Het resultaat van de vergelijking op indicatoren zijn ranglijsten. De meest bekende en oudste zijn die ranglijsten waarin universiteiten figureren. Inmiddels zijn in Nederland ook ziekenhuizen in trek. Op de ranglijsten nemen de landen een relatieve positie in. Helaas verklaart vergelijkend onderzoek niets en waarom een zeker land een zekere score behaalt wordt in de EaG-rapporten nooit diepgaand onderzocht.
Met zogenaamde benchmarks probeert men waar mogelijk beleidsdoelen en -uitdagingen in een rijtje plaatsen: “Nederland committeert zich dat in 2010 zijn beroepsbevolking voor tenminste 50% over de competenties beschikt die bij een hbo- of wo-opleiding behoren.” (EU/Lissabon-accoord 2000 – 2010; HOOP, 2004). Een benchmark impliceert de aanwezigheid van een extern vergelijkingsmodel. Dat wordt niet geleverd en dan is een benchmark natte-vinger-werk.
Kritiek op de ranglijsten vinden we bij Salmi en Saroyan, League tables as Policy instruments: uses and misuses. Higher Education Management and Policy, 19, 2, 2007.

Education at a Glance
Van Ravens’ betoog staat of valt uiteraard met deze jaarboeken. Ze zijn gratis te downloaden bij Eric –niet bij de OECD- door te googlen op: Education at a Glance eric pdf. De OECD deelt van alle IGO’s het meest mee over de indicatoren, al is het lang niet genoeg.
Alle EaG-data worden door de scholen, raden, departementen etc. zelf aangeleverd c.q. bewerkt en worden dus niet door een onafhankelijke instantie verzameld. Die scholen etc. hebben een belang bij positieve uitkomsten. Buitenlandse voorbeelden van waar het mis ging zijn bekend en er zijn geen redenen aan te nemen dat dit in Nederland niet gebeurt. Het gaat soms ook mis bij PISA en TIMSS.

De peildata bij de tabellen uit een en hetzelfde rapport schieten hinderlijk heen en weer. Nu eens 2003, 2005 dan weer 2007 in het 2009-rapport dat bijna 500 pagina’s dik is. Bijna jaarlijks is er sprake van kleine mutaties binnen de indicatoren. Pas de laatste jaren worden deze mutaties vermeld en summier toegelicht. Dat maakt het voor de lezer zeer bewerkelijk de indicatoren en de erop gebaseerde uitspraken te doorgronden.

Een daarmee vergeleken klein gebrek van de auteur zelf is zijn gewoonte selectief te citeren. Hanushek bijvoorbeeld komt bij vR uitgebreid aan het woord. Zijn tegenstanders in de zeer ter zake doende discussie over het causale verband tussen de nationale uitgaven voor het onderwijs en de behaalde leeruitkomsten worden niet eens genoemd (zie bv. Greenwald, Hedges and Laine in Review of Educational Research, Fall 1996, VoL 66, No. 3.) en de erop volgende dupliek van Hanushek.

Na dit alles is de quasi-houtsnijdende manier waarop met indicatoren wordt geargumenteerd –niet bij wijze van uitzondering maar steeds- bijzonder storend. Een willekeurig voorbeeld uit EaG 2009.

p.13
“There are also important equity-related considerations which arise from the deteriorating job prospects for the less-well qualified. While enrolments for 15-19 year-olds have been steadily rising in most countries (Indicator C1), this still leaves an important minority who leave education without acquiring a baseline qualification. Across OECD countries, over 40% with less than an upper secondary qualification are not even employed (Indicator A6). Even those with higher levels of education are vulnerable if they become unemployed. Around half of the unemployed young adults aged 25-34 with lower and upper secondary attainments are long-term unemployed (Indicator C3). Opportunities for continuing education and training are often designed to make up for deficiencies in initial education, but the reality is that participation among individuals with strong initial qualifications is significantly higher than among the least qualified, such that these opportunities often do not reach those who need them most.”

De eerste kennismaking met stelselvergelijkingen is me slecht bekomen. Ben Wilbrink, die op dit forum de aanbeveling deed La Niña te bestuderen, heeft daarmee overigens wel gelijk. Deze beleidsrapporten hebben nationaal en internationaal veel invloed. Vroeg of laat wordt over onderwijs in termen van beleid gesproken.
Het zojuist uitgebrachte Deltaplan Onderwijs van BON is zo’n beleidsplan. Over allerlei door vR behandelde onderwerpen als ondermeer pressiemechanisme, selectie en standaarden worden in het Deltaplan voorstellen gedaan. Van Ravens biedt in La Niña het internationale vocabulaire aan dat in de vaderlandse discussie goede diensten verleent.

Bij een andere gelegenheid zal de receptie van EaG en vergelijkbare surveys (ondermeer Key Data on Education, EU; The state of Education, een publikatie van Frankrijk’s OCW) door nationale en regionale overheden worden besproken.
Dan zal ook een verbaasde blik worden geworpen op de bemanning en bekostiging van de zeer talrijke internationale centra die dit soort rapporten uitbrengen. Over enige binnenlandse heeft Van Ravens het volgende oordeel: “De Nederlandse onderwijskundige kennisinfrastructuur (SLO, CITO, Sardes, KPC, CHEPS, Max Goote, OCTO, et cetera) is van wereldniveau.” (vR p. 51).

Willem Smit
Februari 2010