Ce billet est à la base un thread twitter par @Ipochocho, repris et adapté avec son autorisation.
Thread étendu qui explique pourquoi l’algorithme Parcoursup est beaucoup moins efficace que Admission Post Bac et pourquoi nous devons nous attendre à un ocalypse le 22 mai, jours des résultats.
- Affectation étudiants/formations dans l'enseignement supérieur
- Règles de Parcoursup
- Surbooking
- Temps de traitement des candidatures
- Bilan de la disparition du classement
Affectation étudiants/formations dans l'enseignement supérieur
Parcoursup est un service proposé par l’état qui permettra prochainement d’affecter futurs bacheliers dans les filières d’enseignement supérieur de leur choix. L’état chaque année fait face à la déclinaison d’un ancien et classique problème de mathématiques appliquées : les mariages stables. L’enjeu est de taille, maximiser le nombre de couple candidat/formation stable dans le temps.
Les données d’entrées sont simples : 887 681 candidats et 13200 formations. C’est un problème de mathématiques caractérisé par une forte explosion combinatoire à la frontière entre la théorie des systèmes complexes et la théorie des jeux. Ce problème des mariages stables fut résolut en 1962 par David Gale et Lloyd Shapley par un algorithme qui porte désormais leurs noms. Chose importante à retenir, l’algorithme de Gale Shapley est reconnu actuellement comme le meilleur algorithme d’affectation. La puissance de l’algorithme de Gale Shapley réside dans le classement: le candidat classe ses vœux dans l’ordre de préférence désiré sans aucune stratégie.
Entre 2009 et 2017, le service Admission Post Bac chargé d’affecter les bacheliers implémentait cet algorithme. La plateforme APB réalisait plutôt bien la tâche qu’on lui avait attribué avec un vœux proposé à 80,6% des candidats dès le premier tour en 2016. Après la campagne d’affectation 2017 et pour des raisons que les éléments de langages du gouvernement vous fournira, les autorités ministérielles ont décidé de modifier l’ algorithme d’affectation.
Règles de Parcoursup
Voici ci quelques unes des nouvelles règles de la plateforme Parcoursup.
Le candidat ne classe plus ses vœux mais écrira des lettres de motivations et un CV et les institutions seront dotées d’outils de classement des candidats. Les résultats seront donnés en bloc et le choix des candidats se feront « au fil de l’eau ». La première règle a fait ces derniers mois la fortune des coachs en orientation quand bien même les lettres de motivations et les CV n’auront qu’un impact limité dans le classement réalisé par les institutions. D’autant plus que ces documents ne seront pas lu pour cause de manque flagrant de ressources dans la plupart des institutions d’enseignement supérieur.
Il est fort probable qu’un candidat en tête d’un classement réalisé par une institution d’enseignement supérieure le soit également dans les classements de toutes les autres institutions dans lesquelles il aura déposé des voeux. En effet, si vous avez des bonnes notes dans toutes les matières, vous êtes dans le peloton de tête quel que soit la pondération choisie. Le jour ou les candidats recevront leurs réponses, une petite élite scolaire "trustera" donc la quasi totalité des places dans toutes les filières. Les autres attendront leur tour lors des multiples rounds qui suivront. Seules des simulations numériques peuvent prédire la taille des nombreuses et géantes files d’attente qui se formeront.
Au vu du calendrier décidé par le gouvernement, 7 jours du 22 mai au 25 juin, 3 jours du 26 juin au 20 août et 1 jour à partir du 21 août ce risque d’explosion des files d’attente est connu au niveau gouvernemental. Cela va grandement contribuer à l’anxiété des 887 681 candidats à quelques semaines du bac. En première approximation, il est raisonnable de se placer dans le cadre de la loi de Pareto, 20% des candidats monopoliseront alors 80% des places disponibles: Winners take all. Imaginez seulement le niveau de panique des candidats laissés sur le carreau pendant les premiers rounds. Ceux qui auront les moyens économiques et/ou culturels fuiront vers les institutions privées hors Parcoursup. Bon plan : c’est le moment d’acheter des actions d’écoles de commerce post bac.
Par ces choix à priori seulement techniques, nous passons insidieusement d’une logique de service publique d’affectation aux institutions d’enseignement supérieures à une logique de public au service des institutions d’enseignement supérieures.
Surbooking
Il existe un palliatif risqué pour atténuer la taille des files d’attente : surbooker les filières et croiser les doigts pour que le bon nombre de candidat refuse la proposition.@ingenuingenieur en parle dans son blog, je ne peux que conseiller sa lecture.
La fameuse loi de Murphy, (chère aux ingénieurs) dont l’énoncé est « Tout ce qui est susceptible de mal tourner, tournera mal » sera le coup de grâce donné aux astucieux universitaires s’essayant au surbooking. La disparition de l’ordre de vœux va en effet jeter les équipes pédagogiques dans le brouillard. Les formations vont devoir anticiper précisément le nombre de candidats qui peuvent répondre "oui" à leur proposition sachant que les décisions des candidats sont également conditionnées par les réponses ("oui","non","oui si" et "en attente") des neuf autres vœux. Si les équipes pédagogiques visent trop bas c’est le risque de sousbooking, si les équipes pédagogiques visent trop haut c’est le risque de surbooking. Comme n’y a aucun retour d’expérience, il n’est même pas possible d’ajuster "gros grains" le nombre de candidats à classer pour limiter ces risques.
Il était possible avec APB de connaître le rang moyen du vœux obtenu au bout de la procédure dans le classement. Sans classement des vœux par le candidat c’est impossible. Les responsables de l’outil perdent un outil de gouvernance essentiel: non seulement les files d’attente seront plus longue mais il sera également impossible de déterminer le niveau de satisfaction des candidats vis à vis des vœux finalement obtenu.Pas très startup nation.
Dans l’algorithme de Gale Shapley implémenté dans APB, l’idée est de maximiser la satisfaction des candidats en leur donnant le plus haut vœux possible dans leur classement. L’algorithme pouvait décider de réaliser un grand nombre de permutation permutations pour pour accéder à un optimum acceptable. Parcoursup en sera incapable car il n’est pas spécifié pour.
Temps de traitement des candidatures
Pour finir ce tableau, une petite estimation du temps théorique traitement humain que les sélectionneurs devront passer pour classer les vœux de la fameuse plateforme.
7 millions de vœux ont été déposés sur la plateforme. En faisant de l’abattage, imaginons qu’on peut classer un candidat en 3 minutes. 21 millions de minutes seront nécessaires pour réaliser ce travail, 350 000 heures de travail seront nécessaires pour réaliser ce travail. Nos héros stakanovistes peuvent fournir 7 heure de travail par jour. 50 000 jours de travail seront nécessaires pour réaliser ce travail.
La plateforme demande donc une quantité colossale de ressources humaines pour réaliser un travail par le passé réalisé plutôt efficacement par un algorithme. Ce temps de travail n’étant pas financé, ce seront (d’obscures) algorithmes locaux qui réaliseront ce classement. Les CV et lettres de motivations seront classés par le très efficace algorithme de classement vertical, c’est à dire à la poubelle. Un candidat moyen venant d’un lycée moyen risque d’attendre pas mal de temps pour avoir ne serait ce qu’un de ses vœux (qui ne sera sans doute pas son vœux le plus désiré) et soit contraint de donner une réponse par défaut.
Bilan de la disparition du classement
En résumé la disparition du classement va avoir pour conséquences :
- La monopolisation des places sur les premiers rounds par les candidats ayant les meilleurs dossiers
- L’explosion des délais d’attente pour les autres ce qui induit stress et fuite pour ceux qui le peuvent vers le post bac hors parcoursup (souvent privé)
- incapacité de contrôler la satisfaction générale des candidats vis à vis des propositions.
- Dégradation de la gouvernance.
- Surbooking ou sousbooking non maîtrises des filières
- Surcroît de travail pour les équipes pédagogiques
- Solution de mariage sous optimale
Au vu de tous ces éléments il est légitime de s’attendre à au moins à beaucoup de frustration lors de la révélation des premiers résultats d’affectation. Le 22 mai prochain, sera le jour du crash test.. et peut être celui du Parcoursupocalypse.
Comme vous m’avez l’air sympathique, voici une modélisation de l’évolution d’étudiants sans affectation lors des différents jalons de Parcoursup.
Et voici une modélisation de l’évolution des étudiants avec affectation lors des différents jalons de Parcoursup. L’hypothèse dans ce modèle est une répartition des propositions "à la pareto".
C’est un modèle à considérer avec recul car il n’inclut pas toutes la complexité des choix que feront les candidats. « Tous les modèles sont faux, mais certains sont utiles » disait George Box. Cependant, il incite à penser qu’au moins au premier tour, peu de candidats (177 000) auront une résolution de leur dossier, soit près de 20% des candidats. C’est un élément est à mettre en lumière avec les 80,6% des candidats qui on eu une proposition en 2016. Donner une prévision du comportement de est à l’heure actuelle assez risqué: cela dépends aussi du niveau de risque accepté par les institutions d’enseignement supérieur concernant le surbooking.
Rendez vous le 22 mai, le jour du crash test pour voir si cette prévision se réalise.
