Tekstschalen

De 700 deelnemers aan onze peiling schreven elk 4 syntheseteksten over 4 verschillende onderwerpen, variërend over de 4 profielen binnen het vwo. Per onderwerp waren er twee varianten van de taak: een informatieve en een argumentatieve. Bij de informatieve opdracht kregen de leerlingen de taak een beknopt maar duidelijk overzicht van de situatie rondom het onderwerp te geven op basis van de informatie uit de bronteksten. Bij de argumentatieve opdracht dienden leerlingen een standpunt te onderbouwen met argumenten uit de bronteksten. Elke leerling schreef twee informatieve en twee argumentatieve syntheses.

In een eerste stap onderzochten we de kwaliteit van 295 teksten van 295 willekeurig geselecteerde leerlingen uit vwo 4, 5 en 6 van 12 verschillende Nederlandse scholen.

De kwaliteit van de verzamelde teksten werd door 26 beoordelaars beoordeeld via paarsgewijze vergelijkingen met behulp van de online tool D-PAC (Lesterhuis, Verhavert, Coertjens, Donche & De Maeyer, 2017). Bij deze beoordelingsmethode krijgt een beoordelaar telkens twee teksten te zien waaruit hij/zij de beste kiest. In totaal werd elke tekst vijftien keer vergeleken met een andere tekst. Uiteindelijk krijgt elke tekst zo een plaats op de rangorde van de slechtste tot de beste tekst en een bijbehorende score.

Gebaseerd op de scores verkregen via paarsgewijze vergelijking in D-PAC, stelden we twee tekstschalen op: een informatieve schaal en een argumentatieve schaal. Elke schaal bevat vijf referentieteksten in oplopend in kwaliteit . De schaal bevat een gemiddelde referentietekst, dit is een tekst die zowel globaal als op 4 synthese-kenmerkende criteria (informatie, integratie, samenhang en taal) gemiddeld scoort. Daarnaast bevat de schaal ook een tekst die 1 standaarddeviatie hoger scoort dan het gemiddelde, een tekst die 2 standaarddeviaties hoger scoort dan het gemiddelde, een tekst die 1 standaarddeviatie lager scoort dan het gemiddelde en een tekst die 2 standaarddeviaties lager scoort dan het gemiddelde. Deze schalen worden momenteel ingezet voor de beoordeling van alle 2800 syntheseteksten. Ook kunnen ze gebruikt worden voor het geven van feedback aan leerlingen.

U kunt de informatieve en argumentatieve schaal met referentieteksten downloaden: