Den första artikeln beskrev vi PISA 2022 med hjälp av deskriptiv statistik. Nästa steg är att undersöka vilka skillnader som är statistiskt säkerställda och hur olika faktorer samvarierar. Detta görs med inferentiell statistik, ibland kallat slutledningsstatistik.
PISA
Syftet med PISA är att göra det möjligt att jämföra utbildningssystem. OECD publicerar dock ingen information om individuella testresultat. I stället används dessa testresultat som grund för skattningar av nationella utbildningssystem. PISA mäter tre kunskapsområden.
- Matematik
- Läsförståelse
- Naturvetenskap
PISA 2022 är enormt stort. Det finns flera hundra uppgifter. Ingen elev gör därför hela testet. Varje elev får bara ett urval av dem. Två elever skriver därför inte samma prov. Detta leder till följande problem: Om testsubjekten inte gör hela testet, hur kan OECD då använda deras prestationer för att jämföra utbildningssystem och rangordna nationer?
PISA fungerar på följande sätt. En elev gör ett deltest. OECD använder sedan testresultatet som bas för att, med hjälp av en statistisk modell, generera tio så kallade plausibla värden som representerar elevens sannolika kompetens på hela det kunskapsområde som PISA avser att mäta. På detta sätt försöker OECD:s statistiker att, med utgångspunkt i ett specifikt testresultat, skatta en elevs totala kunskapsnivå.
Skillnader
Innan vi presenterar resultaten av våra mätningar, ska vi kort beskriva skillnaden mellan våra och OECD:s analyser. OECD:s analyser är viktade. Vår analys är inte viktad. Vikter används för att kompensera för problem med data som är ojämna, sneda och ofullständiga. Sveriges PISA-urval är emellertid bra vilket medför att skillnaderna mellan en viktad och en oviktad analys är mycket små, ibland till och med obefintliga.
Korrelationsanalys
Hur starkt hänger socioekonomisk status (ESCS ) samman med skolprestationer? ESCS är inte en enskild variabel. Det är ett sammansatt index som bygger på tre komponenter:
- Föräldrarnas utbildningsnivå
- Föräldrarnas yrkesstatus
- Hemresurser
OECD kombinerar dessa med hjälp av statistiska metoder till ett index. En korrelationsanalys ger oss följande resultat:
Det finns ett positivt, måttligt starkt samband mellan socioekonomisk status och skolprestationer. Samtliga samband är statistiskt säkerställda. Sambandet mellan socioekonomisk bakgrund och matematik och naturvetenskap är dessutom starkare än det mellan ESCS och läsförståelse, vilket är överraskande.
Linjär regression
Vår första regressionsmodell har ESCS som oberoende variabel och matematikresultat som beroende variabel:
Relationen mellan ESCS och matematikresultat är statistiskt signifikant. Regressionskoefficienten för ESCS är 36,1. Det innebär att en ökning med en enhet ESCS är förknippad med en ökning på 36 PISA-poäng i matematik. R2 är 0.15 vilket innebär att 15 procent av variationen i matematikresultat kan hänföras till socioekonomisk bakgrund. Modellen kan inte förklara resterande 85 procent. I vår nästa modell lägger vi till variabeln kön. Resultat:
En extra enhet ESCS är förknippad med en ökning på cirka 36 PISA-poäng i matematik om vi håller kön konstant. Det innebär att individer av samma kön, men med olika ESCS förväntas ha olika matematikresultat.
Om vi i stället håller ESCS konstant och jämför pojkar med referensgruppen flickor, förväntas pojkar med samma ESCS ha cirka 2 PISA-poäng högre matematikresultat än flickor med samma ESCS. Denna skillnad är dock inte statistiskt signifikant.
Resultaten tyder på att kön och ESCS i praktiken bidrar med oberoende information om matematikresultatet. Om kön och ESCS hade haft en betydande överlappning skulle vi förvänta oss att ESCS-koefficienten ändrades när kön lades till, eller att könskoefficienten ändrades tydligt när ESCS lades till. ESCS-koefficienten är dock oförändrad och könskoefficienten är mycket liten och dessutom inte statistiskt signifikant.
Det innebär att kön i praktiken inte förändrar skattningen av ESCS-effekten. Den positiva effekten av socioekonomisk status på matematikprestation är stabil och i stort sett oförändrad när kön inkluderas i modellen.
Den deskriptiva analysen visade redan att skillnaden i matematikresultat mellan pojkar och flickor var mycket liten, och den multipla regressionen bekräftade att kön inte har någon statistiskt säkerställd oberoende effekt efter kontroll för ESCS (p = 0,347).
Vi ska nu kontrollera för invandrarbakgrund. Det är vår tredje modell.
Att lägga till kön ökade inte vår modells förklaringskraft. När invandrarbakgrund läggs till ökas förklaringskraften från 14,8 procent till 20,3 procent.
<
/p>
Vi ser här att en del av sambandet mellan socioekonomisk bakgrund och matematikresultat delas med invandrarbakgrund. Variablerna överlappar varandra. Elever med invandrarbakgrund har i genomsnitt ett lägre ESCS än elever utan invandrarbakgrund. Därför konkurrerar ESCS och invandrarbakgrund om att förklara samma variation i matematikresultaten.
Hur mycket extra förklarar invandrarbakgrund? Här jämför vi modellernas förklaringsgrad:
- ESCS: 0,1477
- ESCS + invandrarbakgrund: 0,2030
Skillnaden är 0,2030-0,1477=0,05530.
Det betyder att invandrarbakgrund tillför ungefär 5,5 procentenheter i förklarad varians utöver ESCS. Detta innebär inte att invandrarbakgrund i sig förklarar exakt 5,5 % av variationen i matematikresultat. De 5,5 procentenheterna avser ökningen i modellens förklaringsgrad när invandrarbakgrund läggs till modellen.
Hur stor del av variationen förklarar invandrarbakgrund, oberoende av ESCS?
För att besvara denna fråga måste vi beräkna R² för varje prediktor.
Resultat:
Det betyder att:
- ESCS förklarar unikt cirka 9 % av variationen i matematikresultatet.
- Invandrarbakgrund förklarar unikt cirka 5 % av variationen.
Detta är den unika eller oberoende förklaringskraften hos respektive variabel, efter att den andra variabelns bidrag har tagits bort. Den 20,3 % förklarade variansen kan således approximativt delas upp på följande sätt:
Vad betyder de resterande 6 procenten? De betyder inte att 6 % orsakas av samspelet mellan ESCS och invandrarbakgrund. De återstående cirka 6 procentenheterna kan inte entydigt tillskrivas den ena eller den andra variabeln.
Kommande artikel
Den slutliga regressionsmodellen, som inkluderar ESCS, kön och invandrarbakgrund, förklarar cirka 20 procent av variationen i matematikresultat. Drygt 80 % av variationen i matematikresultat förklaras inte av vår modell.
Detta väcker en naturlig fråga: vilka andra faktorer bidrar till skillnader i skolprestationer? En möjlig förklaring är generell kognitiv förmåga. PISA konstruerades inte som ett IQ-test, men ett stort antal studier har visat att PISA-resultat och traditionella intelligenstest är starkt korrelerade. I denna avslutande artikel undersöker vi därför hur PISA-resultat kan relateras till IQ och hur PISA-poäng kan omräknas till uppskattade IQ-värden. Detta är ämnet för den sista artikeln i denna serie.