Etude: Le bac serait une "loterie" à notation aléa

[Paull]

Une étude dont les conclusions sont intéressantes :
Source = http://tempsreel.nouvelobs.com/actualit ... toire.html" onclick="window.open(this.href);return false;

Le bac serait une "loterie" à notation "aléatoire"
NOUVELOBS.COM | 11.03.2008 | 16:12
Réagissez à l'article 42 réactions
L'Institut de recherche sur l'Education de l'université de Dijon publie une étude sur la notation des copies du bac, révélant des écarts allant jusqu'à 10 points pour la même copie.

Les notes attribuées aux copies de bac sont "aléatoires" car elles diffèrent considérablement d'un correcteur à l'autre, s'apparentant à une "loterie" pour les candidats, selon une étude de l'Institut de recherche sur l'Education (Iredu) de l'université de Dijon rendue publique mardi 11 mars.
L'étude sur le site de l'Institut et réalisée par Bruno Suchaut, vise à "témoigner à nouveau du caractère aléatoire de la notation sur la base d'une expérimentation mobilisant des données récentes".
QCM, double correction des copies, suppression pure et simple de l'examen mais également abandon du principe de la notation figurent parmi les pistes envisagées en conclusion de ces travaux.

Expérimentation

Concrètement, alors que l'organisation du bac, sa pertinence et sa finalité sont au coeur du débat éducatif depuis plusieurs années, le chercheur a choisi six copies de sciences économiques et sociales, deux bonnes (15/20) et quatre moyennes (9 et 11/20) rédigées lors des sessions 2006 et 2007 du bac.
Il en a confié la correction à 66 professeurs de sciences économiques et sociales choisis dans deux académies différentes.
Le résultat est flagrant puisque les notes divergent jusqu'à dix points: un même devoir peut recevoir un 4/20 comme un 14/20 ou, pour la meilleure, de 8/20 à 18/20.

Résultats

Dans une étude statistique fine, Bruno Suchaut montre notamment que "les enseignants n'ont pas la même constance dans leur évaluation en terme d'indulgence ou de sévérité", selon les copies mais aussi que d'autres correcteurs "auraient donné lieu à des distributions de notes différentes".
Il assure également que "les correcteurs les plus sévères pour une copie particulière ne sont pas ceux qui font preuve de plus de sévérité (ou d'indulgence) pour les autres copies", n'entraînant aucune possibilité de classer les enseignants sur "une échelle d'indulgence (ou de sévérité)".
La démonstration du chercheur est selon lui d'autant plus aboutie que dans les appréciations justifiant la note qu'ils ont attribué, "les jugements professoraux diffèrent tout autant que les notes". Par exemple, un enseignant ayant mis 14 à une copie la qualifie de "bon devoir, les connaissances étant considérées comme maîtrisées" quand celui qui lui a mis 4 estime que "l'élève ne maîtrise pas les notions".

[Stunty]

bah c'est pas neuf ça, la preuve : j'ai eu le mien

plaisanterie à part, le problème des notation est sans fin, surtout pour ce genre de matière, il y a toujours une énorme part de subjectif.

Mais j'avoue que de là à trouver 10 points d'écart, ça fait peur...

[Joich]

bah c'est pas neuf ça, la preuve : j'ai eu le mien

plaisanterie à part, le problème des notation est sans fin, surtout pour ce genre de matière, il y a toujours une énorme part de subjectif.

Mais j'avoue que de là à trouver 10 points d'écart, ça fait peur...

Pas mal d'expériences ont été faites, et la conclusion est TOUJOURS la même: la notation, c'est à 80% de l'aléatoire. L'une de ces expériences proposait à un ensemble de profs de noter un paquet de copies sans les annoter et sans y indiquer la moindre indication, les notes étant compilées sur un relevé à part. Puis de renoter ce même paquet plusieurs semaines plus tard. Les écarts étaient énormes. Pour un même prof, hein, pas entre profs!

Si mes souvenirs sont bons, je crois qu'il faudrait une vingtaine de correcteurs différents sur une copie de science et près de 60 sur une copie de littérature pour avoir une évaluation "juste" (c'est-à-dire globalement une note qui oscille entre 8 et 12, quoi).

Cet état de fait perdurera tant qu'on ne remettra pas en question notre système éducatif et pédagogique en profondeur. Et quand je dis "en profondeur", je veux dire qu'il va falloir sortir les pelleteuses! Rangez les râteaux de plage


Loïc

[Invité]

Et quand on a des profs comme Fafa, c'est encore pire

[Vermel]

La démonstration du chercheur est selon lui d'autant plus aboutie que dans les appréciations justifiant la note qu'ils ont attribué, "les jugements professoraux diffèrent tout autant que les notes". Par exemple, un enseignant ayant mis 14 à une copie la qualifie de "bon devoir, les connaissances étant considérées comme maîtrisées" quand celui qui lui a mis 4 estime que "l'élève ne maîtrise pas les notions".

[/quote]

De deux choses l'une:
ou ils ne sont pas d'accord sur les fondamentaux à savoir...
ou ils ne les connaissent pas eux mêmes

[Invité]

Je comprends mieux mon 14/20 en philo au bac, alors que je me suis baladé entre 2/20 et 6/20 toute l'année

[Joich]

La démonstration du chercheur est selon lui d'autant plus aboutie que dans les appréciations justifiant la note qu'ils ont attribué, "les jugements professoraux diffèrent tout autant que les notes". Par exemple, un enseignant ayant mis 14 à une copie la qualifie de "bon devoir, les connaissances étant considérées comme maîtrisées" quand celui qui lui a mis 4 estime que "l'élève ne maîtrise pas les notions".

De deux choses l'une:
ou ils ne sont pas d'accord sur les fondamentaux à savoir...
ou ils ne les connaissent pas eux mêmes

Première solution, souvent (bien que la deuxième soit aussi vraie parfois). Les savoirs scolaires reposent pour nombre d'entre eux sur des théories qui peuvent considérablement différer selon le théoricien qui l'a élaborée. Et les profs ont d'abord été des étudiants, élèves de ces théoriciens ou des descendants de ces théoriciens. Si je prends un seul exemple en français, on a deux façons de classer les proposition subordonnées. L'une ne contredit pas vraiment l'autre, mais les classifications varient, c'est un fait. Et tu as des profs qui n'acceptent que l'une des deux. Ensuite, tu as des variations sur certaines attentes liées à la méthode. Pour un prof, un paragraphe, ça commence par un alinéa, sinon, c'est des points en moins sur la note de présentation (qui peut être parfois plus élevée qu'on ne le croit). Pour un autre, il suffit qu'il y ait saut de ligne. Idem pour la typographie. Normalement, les titres d'oeuvres (films, livres, tableaux, journaux, etc.) se mettent en italique quand c'est tapé à la machine ou se soulignent quand c'est manuscrit. Certains sont intransigeants avec ça, d'autres acceptent les guillemets (normalement réservés aux titres d'articlces de journaux, aux extraits, aux poèmes, etc.).

Bref, il y a énormément de choses qui font varier une note sur un même devoir corrigé par deux profs différents, et cela bien avant les connaissances pures de l'élève. Ce qui est plus intéressant, et qui, à mon sens, disqualifie notre façon d'aborder l'évaluation de façon encore plus évidente, c'est de voir qu'un même prof ne met pas la même note à une même copie corrigée à deux semaines d'intervalle.


Loïc

[Invité]

Il suffit d'avoir des profs intransigeants. Les règles que tu énonces m'ont été imposées depuis la 6e.. aucun risque de me faire avoir au bac 7 ans plus tard donc...

[Paull]

Il suffit d'avoir des profs intransigeants. Les règles que tu énonces m'ont été imposées depuis la 6e.. aucun risque de me faire avoir au bac 7 ans plus tard donc...

Cela ne résout pas le problème, puisqu'on peut avoir deux profs totalement intransigeants, mais qui n'acceptent qu'une seule de 2 méthodes autorisées. Et pas la même. Ils ont persuadés d'avoir raison, et que l'autre prof es un con.
Mais quand tu as été élève de l'un en sixième, et que c'est l'autre qui te corrige au bac, tu morfles.


Ce serait bien qu'ils rendent eux-mêmes des copies et que chacun à tour de rôle corrige les copies anonymes de ses collègues.
Afin d'éviter des situations politiquement incorrectes (ce serait délicat de mettre 9/20 à un collègue parce qu'il n'a pas encadré les résultats ni souligné le nom d'une oeuvre, ni fait d'alinéa etc.) ils seraient obligés de se montrer ouverts d'esprit et tolérants.

En effet, j'ai croisé nombre de profs qui imposaient des méthodes, notamment en typographie, qui n'étaient propres qu'à eux et qui si elles n'étaient pas respectées, faisaient sensiblement chuter la note.

[Invité]

Si tu n'es pas content de ta note au bac, tu peux demander ta copie annotée non? Et y'a pas moyen de demander une recorrection si la note a chuté justement à cause de ces éléments de présentation?

[Vermel]

Je comprends mieux mon 14/20 en philo au bac, alors que je me suis baladé entre 2/20 et 6/20 toute l'année

surtout sur la philo, c'est le genre de matière ou c'est la fête du slip, non? n'importe qui dit n'importe quoi, suffit de dire une bonne grosse connerie en prenant assuré, et ça passe (toute ressemblance avec un trolleur bien connu du forum n'est nullement fortuite...)

[Invité]

Je comprends mieux mon 14/20 en philo au bac, alors que je me suis baladé entre 2/20 et 6/20 toute l'année

surtout sur la philo, c'est le genre de matière ou c'est la fête du slip, non? n'importe qui dit n'importe quoi, suffit de dire une bonne grosse connerie en prenant assuré, et ça passe (toute ressemblance avec un trolleur bien connu du forum n'est nullement fortuite...)
sérieusement, la philo au bac, ça tient du grand guignol

C'est clair... si tu voyais la tronche de ma copie du bac, c'est l'opposé de tout ce qu'on te fait rentrer dans le crane.

Ma dissert faisait 3 pages (je n'ai pas écrit sur la 4e page de la copie double), une très courte intro, une premiere partie (thèse comme ils appellent ça), une 2e partie (antithèse), PAS de 3e partie, une courte conclusion, qqs citations apprises par coeur lors des séances de bachotage de la veille, et roule ma poule

[Joich]

Si tu n'es pas content de ta note au bac, tu peux demander ta copie annotée non? Et y'a pas moyen de demander une recorrection si la note a chuté justement à cause de ces éléments de présentation?

Tu peux demander ta copie, mais ça ne change rien: les jurys sont souverains, aucune contestation de la note n'est possible, comme au permis de ocnduire. Les seuls faits qui pourraient entraîner l'annulation de la note concernent un éventuel évènement extérieur (erreur dans les sujets, par exemple), et il entraîne l'annulation de l'épreuve, qui est refaite plus tard pour tout le monde, ou plus simplement une adaptation du barème. Donc pas de recorrection.

Le problème demeure: quand bien même cette copie serait revue, qui dit que la note ne serait pas moins bonne? Et si elle est meilleure, est-elle plus juste? Il y a, dans notre façon de concevoir l'évaluation, des réels et sérieux problèmes de justesse et de justice. Et ce n'est pas en focalisant les apprentissage sur des notions purement techniques (qui sont acquises ou non) que l'on règlera le problème. D'une part car le problème demeurerait quand-même pour bonne part, la preuve avec les différences entre deux copies de math (c'est juste ou c'est faux, non?), et d'autre part notre système scolaire n'aurait strictement aucun sens. Le but est d'éduquer ("ducere" en latin signifie guider, pas gaver) et de donner aux jeunes générations des clefs de réflexion et de compréhension du monde afin qu'elles soient capables de le faire évoluer dans un sens positif, évitant les erreurs du passé, acquérant les connaissances d'hier pour faire les découvertes de demain, et conduire la société vers plus d'Humanité. Alors déjà comme ça c'est pas gagné, mais si en plus on réduit l'enseignement à une collection de connaissances techniques mesurables, on n'est pas dans la caca, tiens... Sans compter qu'en plus de cet objectif (plus présent à l'école primaire et au collège) on trouve une volonté d'ouvrir les jeunes au monde du travail et aux différents métiers, puis à les former à ces métiers. Non, très franchement, on a du pain sur la planche


Loïc

[Analogeek]

Une étude dont les conclusions sont intéressantes :
Source = http://tempsreel.nouvelobs.com/actualit ... toire.html" onclick="window.open(this.href);return false;

Le bac serait une "loterie" à notation "aléatoire"
NOUVELOBS.COM | 11.03.2008 | 16:12
Réagissez à l'article 42 réactions
L'Institut de recherche sur l'Education de l'université de Dijon publie une étude sur la notation des copies du bac, révélant des écarts allant jusqu'à 10 points pour la même copie.

Les notes attribuées aux copies de bac sont "aléatoires" car elles diffèrent considérablement d'un correcteur à l'autre, s'apparentant à une "loterie" pour les candidats, selon une étude de l'Institut de recherche sur l'Education (Iredu) de l'université de Dijon rendue publique mardi 11 mars.
L'étude sur le site de l'Institut et réalisée par Bruno Suchaut, vise à "témoigner à nouveau du caractère aléatoire de la notation sur la base d'une expérimentation mobilisant des données récentes".
QCM, double correction des copies, suppression pure et simple de l'examen mais également abandon du principe de la notation figurent parmi les pistes envisagées en conclusion de ces travaux.

Expérimentation

Concrètement, alors que l'organisation du bac, sa pertinence et sa finalité sont au coeur du débat éducatif depuis plusieurs années, le chercheur a choisi six copies de sciences économiques et sociales, deux bonnes (15/20) et quatre moyennes (9 et 11/20) rédigées lors des sessions 2006 et 2007 du bac.
Il en a confié la correction à 66 professeurs de sciences économiques et sociales choisis dans deux académies différentes.
Le résultat est flagrant puisque les notes divergent jusqu'à dix points: un même devoir peut recevoir un 4/20 comme un 14/20 ou, pour la meilleure, de 8/20 à 18/20.

Résultats

Dans une étude statistique fine, Bruno Suchaut montre notamment que "les enseignants n'ont pas la même constance dans leur évaluation en terme d'indulgence ou de sévérité", selon les copies mais aussi que d'autres correcteurs "auraient donné lieu à des distributions de notes différentes".
Il assure également que "les correcteurs les plus sévères pour une copie particulière ne sont pas ceux qui font preuve de plus de sévérité (ou d'indulgence) pour les autres copies", n'entraînant aucune possibilité de classer les enseignants sur "une échelle d'indulgence (ou de sévérité)".
La démonstration du chercheur est selon lui d'autant plus aboutie que dans les appréciations justifiant la note qu'ils ont attribué, "les jugements professoraux diffèrent tout autant que les notes". Par exemple, un enseignant ayant mis 14 à une copie la qualifie de "bon devoir, les connaissances étant considérées comme maîtrisées" quand celui qui lui a mis 4 estime que "l'élève ne maîtrise pas les notions".

Eh bé!
Un chercheur ( ) vient de démontrer que deux personnes ne notent pas de la même façon! Quelle découverte! Je comprends mieux à quoi sert l'argent de mes impôts!
Il propose de supprimer la notation? On va donner le bac vis à vis de la taille du zob ou des nichons alors? (remarque ça pourrait être fun )
Arrêtez le délire! Cette étude en plus d'être insultante envers les professeurs (qui ont d'ailleurs entre parenthèse donné sa thèse à ce "chercheur" : la mérite t il? Donc, doit on croire son étude?????? ) prouve vraiment que les chercheurs n'ont vraiment rien d'autre à foutre.
Foutaise.

Sur peut être 20 ans d'études, des centaines de professeurs vous notent. Chacun à sa manière. Si à la fin globalement vous êtes considéré comme bête à manger du foin, c'est que globalement vous l'êtes. (achetez donc du foin) Si globalement vous êtes considérés comme apte, c'est que vous l'êtes. (vendez donc du foin à ceux qui en ont besoin et faites vous de l'argent) Avoir son bac, c'est avoir un "niveau". C'est pas être noté au 1/10 près.


D'ailleurs sur le même principe, vous pouvez remettre en cause votre permis de conduire, vos augmentations de salaire, etc.

[Keron]

Il serait plus simple et plus juste d'avoir le bac sur l'ensemble de son oeuvre scolaire plutôt que sur un coup de dés.