PISA eller Programme for International Student Assessment är inget intelligenstest. Syftet med PISA är att ge de deltagande länderna ett utbildningspolitiskt beslutsunderlag. Frågan är i vilken utsträckning olika utbildningssystem hjälper 15-åringar att utveckla de färdigheter som krävs i ett modernt samhälle.
IQ-test är annorlunda. PISA mäter 15-åringars kunskaper i matematik och naturvetenskap och deras läsförståelse, IQ-test är konstruerade för att mäta en generell kognitiv förmåga. Frågan är därför om det är möjligt att översätta PISA-poäng till IQ-poäng.
Argument i fyra steg
Vårt argument består av fyra steg.
Det första steget utgörs av en sammanfattning av resultaten från den föregående artikeln.
I det andra steget faktoranalyseras resultaten från de tre kunskapsområdena.
Det tredje steget ställer frågan om PISA-poäng kan översättas till IQ-poäng.
I det fjärde och sista steget undersöker vi i hur hög grad en regressionsanalys, i vilken PISA-estimerad IQ är oberoende variabel, predicerar nationell IQ enligt David Becker.
Steg I. Återblick på tidigare artikel
I den förra artikeln analyserade vi relationen mellan socioekonomisk status (ESCS), kön, invandrarbakgrund och testresultat.
Vi ser här att trevariabelmodellen förklarar 17 procent av variationen i testresultat. Åttiotre procent förblir oförklarade. Detta leder oss till steg två.
Steg II: Faktoranalys
Antag att vi har ett personlighetstest som består av 100 frågor. Två av frågorna lyder:
- På en skala 1-10, hur ofta skrattar du?
- På en skala 1-10, hur ofta ler du?
En korrelationsanalys hade, med stor sannolikhet, visat att det finns ett samband mellan svaren på dessa två frågor. Människor som skrattar ofta, ler ofta och vice versa. Frågan är varför? Antag att det är lycka. Lycka förklarar alltså sambandet mellan skratt och leenden. Det är den gemensamma, underliggande faktorn. Frågan är om vi kan finna en gemensam, latent faktor i testresultaten från PISA 2022. En faktoranalys av testresultat från 37 OECD-länder ger följande resultat:
Faktorladdningarna i vår mätning är extremt starka. De tre faktorladdningarna överstiger 0,92, vilket visar att de tre kunskapsområdena samvarierar i hög grad. Sambanden är nästan linjära. Detta indikerar att samma faktor är verksam på alla tre kunskapsområden. Ett land som har höga poäng på ett kunskapsområde har också höga poäng på övriga kunskapsområden och vice versa. Den gemensamma faktorn förklarar 92,4 procent av variansen i testresultaten. Nästan all variation mellan de tre PISA-områdena förklaras av en enda faktor.
Det är här viktigt att hålla i minnet att regressionsanalys och faktoranalys är olika metoder och att de besvarar olika frågor. Vi kan alltså inte addera eller subtrahera resultat från de olika analyserna.
Tre saker återstår att kort kommentera. Bartletts Test, Kaiser-Meyer-Olkin mått och eigenvalue.
Bartletts Test undersöker om korrelationskoefficienterna är noll. Om nollhypotesen är sann, skulle det inte existera några samband mellan de tre kunskapsområdena. Faktoranalys hade då varit meningslöst. P-värdet är emellertid mycket lågt:
Bartletttestet ställer frågan om det föreligger korrelationer, KMO-testet ställer frågan om dessa korrelationer kan användas i en faktoranalys.
Ett eigenvärde talar om hur mycket varians en faktor förklarar.
Den första faktorn förklarar 92.4 procent av all varians. Det så kallade Kaiserkriteriet säger att en faktor bör innehålla lika mycket information som en variabel. Eftersom varje variabel har varians 1 väljer vi faktor 1. Det är den enda variabeln som uppfyller kriteriet. Den innehåller nästan all information och räcker om vi vill beskriva sambandet mellan de tre kunskapsområdena.
Faktoranalysen har alltså identifierat en gemensam, latent faktor som förklarar stora delar av variansen i testresultaten. Vad är denna faktor? Det kan faktoranalysen inte ge oss ett svar på. Faktoranalysen visar bara att det finns en gemensam, latent faktor. Detta leder oss till steg tre.
Steg III. PISA-poäng = IQ-poäng?
PISA-skalan har:
- Medelvärde = 500
- Standardavvikelse = 100
Medelvärdet 500 är inte ett faktiskt genomsnitt för dagens OECD-länder. Om man beräknar ett genomsnitt för varje lands resultat i matematik, läsförståelse och naturvetenskap och därefter beräknar det aritmetiska medelvärdet av dessa nationella genomsnitt erhålls ett OECD-medelvärde på 479 poäng. Vi ska använda 479 som referensvärde.
Sveriges lyckades samla ihop 495 poäng i PISA 2022.
(495-479)/100=0.16.
Sverige ligger alltså 0.16 standardavvikelser över OECD:s medelvärde. Omräknat till IQ-poäng blir det:
100+0.16×15=102.4 IQ-poäng.
Det ska sägas att denna operation inte är helt oproblematisk. Den baseras på flera antaganden, till exempel att en elev som ligger en standardavvikelse under medel på PISA också ligger en standardavvikelse under medel på IQ-skalan. Detta är ett antagande, inte ett resultat från observerade data.
Hur stor är skillnaden mellan David Beckers uppdaterade IQ-databas och IQ-värden estimerade från PISA 2022? Svaret beror på vad vi frågar efter. Om frågan är: “Har metoden en systematisk tendens att över- eller underskatta Beckers IQ?”
är medelskillnaden eller metodens inbyggda bias det rätta måttet.
För OECD-länderna var den genomsnittliga skillnaden mellan PISA-estimerad IQ och Beckers nationella IQ endast +2.55 IQ-poäng, vilket tyder på att metoden har en jämförelsevis liten systematisk bias. Problemet är att bias kan bli nära noll även om enskilda länder avviker mycket, eftersom positiva och negativa avvikelser tar ut varandra. Därför vill vi också veta hur stor den genomsnittliga absolut avvikelsen, förkortat MAE, är.
Vi kan nu summera.
- Den PISA-baserade IQ-skattningen har praktiskt liten systematisk bias när vi jämför den med Beckers databas.
- Den genomsnittliga absoluta avvikelsen är endast cirka fyra IQ-poäng, vilket är lågt på en IQ-skala med standardavvikelse 15.
Detta indikerar att även om PISA-poäng inte är IQ-poäng, är de inte orelaterade. Det är möjligt att uppskatta IQ-poäng från PISA-poäng. Nästa fråga är hur väl sådana skattningar stämmer med IQ-data. Vi använder här Beckers reviderade dataset för nationell IQ.
Steg IV. Regressionsanalys av Beckers nationella IQ på PISA-estimerad IQ
För att undersöka hur väl IQ-värden estimerade från PISA 2022 överensstämmer med David Beckers nationella IQ-värden genomfördes en linjär regression, i vilken Beckers data för nationell IQ används som beroende variabel och PISA-estimerad IQ med 479 som referensvärde som oberoende variabel. Det ger oss följande statistiskt signifikanta resultat:
Den PISA-estimerade IQ:n förklarar 71 % av variationen i Beckers nationella IQ-värden.
Diagram. Sambandet mellan PISA-estimerad IQ och Beckers nationella IQ för 37 OECD-länder.
Vilket referensvärde är bäst?
Vi har använt referensvärdet 479. Varför inte använda 500, OECD:s eget referensvärde? R och R2 påverkas inte av olika referensvärden. Datapunkterna ligger fortfarande på samma plats. Därför spelar det ingen roll vilket värde vi väljer. Det som de två värdena påverkar är bias och MAE. Detta blir tydligt i följande tabell.
Värdena för Bias och MAE ligger närmare Beckers estimerade IQ för de 37 OECD-länderna vid användning av referensvärdet 500. Korrelationerna är lika starka oavsett om vi väljer 500 eller 479, men värdet 479 ger upphov till något större fel än värdet 500. Vad beror detta på? En möjlig förklaring är att Beckers reviderade dataset ligger närmare den officiella PISA-skalan än den som vi testat. Detta är emellertid vår tolkning och inget som utsägs direkt av våra data.
ESCS versus nationell IQ?
Vi ska nu köra tre regressionsanalyser. Den första regressionen använder ESCS som oberoende variabel och OECD-genomsnittet från de tre kunskapsområdena som beroende variabel. I den andra analysen är Beckers reviderade IQ-set oberoende variabel. I den tredje och sista multivariata mätningen är ESCS och Beckers nationella IQ oberoende variabler och OECD-genomsnittet från de tre kunskapsområdena beroende variabel. Här är resultatet:
Vi ser här att om vi använder ESCS och nationell IQ som ensam prediktor får vi ett starkt och statistiskt signifikant resultat. Socioekonomisk status förklarar 56 % av variationen i testresultat och Beckers nationella IQ förklarar 77 % av variationen i testresultat. Men när vi kör den multivariata analysen med tre variabler förändras bilden.
När vi adderar nationell IQ förlorar ESCS sin statistiska signifikans. Det betyder inte att ESCS saknar samband med PISA-resultat. Den första analysen indikerade tvärtom att relationen mellan ESCS och testresultat är signifikant. En sannolik förklaring är att de två variablerna överlappar varandra. Vad är den unika förklaringskraften hos variablerna?
Den unika förklaringskraften hos Becker IQ är alltså ungefär 11 gånger större än ESCS. Den gemensamma variationen är den variation som inte entydigt kan tillskrivas endera variabeln.
LMG
LMG är en statistisk metod som försöker besvara just denna fråga: Hur ska hela modellens förklaringskraft (R2) fördelas mellan ESCS och IQ? Det är en annan fråga än den fråga som vi har besvarat: Hur mycket unik information tillför variabler om vi adderar dem stegvis till regressionsmodellen? En LMG-analys ger oss följande resultat och möjlighet till jämförelse:
Vi ser här att LMG-analysen delar den gemensamma variationen ungefär på mitten. Socioekonomisk status förklarar således drygt 29 procent av variationen i testresultat. Beckers nationella IQ förklarar cirka 50 procent av samma variation.
Slutord
Faktoranalysen visade att resultat på PISA-test är korrelerade med varandra. Men faktoranalysen säger inte vad denna latenta faktor är. I denna artikel har vi framfört en tolkning: Vår faktoranalys indikerar existensen av en generell, kognitiv förmåga.
Vi visade sedan att det är möjligt att konvertera PISA-poäng till IQ-poäng. Det är ingen oproblematisk manöver, men knappast heller en omöjlig sådan. Vi visade sedan att IQ estimerad från PISA-poäng är starkt korrelerad med IQ från kognitiva test som summerats till en nationell nivå. Denna tolkning får ytterligare stöd av LMG-analysen.