L’intelligence artificielle (IA) constitue un levier prometteur pour accélérer l’apprentissage fondamental, en particulier pour les élèves issus des pays à faible revenu et à revenu intermédiaire.

Toutefois, les données probantes relatives à l’IA dans l’éducation restent limitées, et il n’existe pas encore de consensus sur ce qui constitue des données probantes de qualité.

Les gouvernements et les bailleurs de fonds doivent décider quels outils numériques soutenir, alors qu’ils ne disposent souvent que de promesses, de démonstrations de produits et de témoignages isolés de réussite pour guider leurs décisions.

Dans le premier article de cette série de blogs, la Coalition mondiale pour l'apprentissage fondamental (Global Coalition for Foundational Learning) a défini trois priorités stratégiques pour accélérer l'apprentissage fondamental grâce aux technologies de l’éducation et à l'IA, à savoir :

• renforcer la base de données probantes
• investir dans les biens publics numériques
• mettre en place un écosystème davantage coordonné.

Le présent article aborde la première de ces priorités, qui consiste à renforcer la base de données probantes, en commençant par une question en apparence simple mais en réalité bien plus complexe qu’il n’y paraît : qu'est-ce qui constitue des données probantes solides lorsqu'il est question d'IA dans l'éducation ?

Le type de données probantes dont nous avons besoin

Le secteur mondial de l’éducation reconnaît largement que l’essai contrôlé randomisé (ECR) constitue la méthode la plus rigoureuse pour produire des données probantes.

Les ECR offrent un cadre de recherche solide pour mesurer les effets causaux, mais ils sont coûteux et sont surtout pertinents lorsqu’un outil de technologie de l’éducation et son mode de mise en œuvre ont atteint un niveau de maturité suffisant et que les éléments fondamentaux ont été vérifiés : la pertinence de l’approche pédagogique, la facilité d’utilisation de l’outil et son adoption par les enseignants et les élèves, ainsi que sa sécurité et son adéquation à l’âge des enfants auxquels il est destiné.

Mener un ECR sur un produit qui n'a pas encore été testé est prématuré. Aussi rigoureuse que soit la méthode, elle ne permet pas de savoir si l’outil a échoué ou s’il n’était simplement pas prêt à être testé.

Pour être solides, les données probantes relatives à un outil d’IA dans l’éducation doivent être adaptées au contexte, recueillies à chaque étape du développement de l'outil et mises à jour régulièrement.

La base de données probantes se construit en évaluant un outil tout au long de son cycle de développement, en s’appuyant sur les enseignements tirés à chaque étape pour l’améliorer et déterminer s'il est prêt à être déployé dans la pratique.

Cela exige que les acteurs du secteur s'accordent clairement sur ce qui constitue une bonne évaluation à chaque étape du cycle de développement, et pas seulement au moment où l’impact est mesuré, qui intervient bien plus tard.

Ce cadre a été conçu pour le secteur du développement dans son ensemble, mais les partenaires élaborent actuellement une version adaptée au secteur de l'éducation qui répond aux besoins en matière d'apprentissage fondamental.

Dans le cadre actuel, les ECR se situent au niveau de l'impact. Les niveaux précédents requièrent des méthodes d'évaluation différentes, chacune avec son propre niveau d’exigence.

Ces évaluations sont tout aussi importantes puisque de bons résultats à un certain niveau ne garantissent pas forcément de bonnes performances à un autre niveau. Par exemple, un modèle peut réussir un test de référence de pédagogie (au niveau de l'évaluation du modèle), mais ne pas être suffisamment clair pour un jeune élève (au niveau de l'évaluation des utilisateurs).

Une évaluation menée tout au long du cycle de vie permet également d’identifier des risques que les mécanismes traditionnels d’assurance qualité ne détectent pas toujours, tels que les biais algorithmiques, les usages non prévus, l'aggravation des inégalités, les enjeux de confidentialité et de sécurité des données, ainsi que les effets sur la confiance en soi, les efforts et l'autonomie des enfants.

C'est grâce à des tests rigoureux avant le déploiement et à un suivi continu par la suite que ces problèmes peuvent être détectés.

Prenons l’exemple du projet pilote de tutorat par IA mené par la Banque mondiale au Nigéria. Le résultat principal était saisissant : en seulement six semaines, les élèves ont enregistré des progrès d’apprentissage équivalents à près de deux années de scolarité. Toutefois, l’analyse a montré que ces progrès étaient répartis de manière inégale. Les élèves qui affichaient de meilleurs résultats scolaires au départ ont davantage bénéficié du projet pilote. De même, les élèves issus de ménages plus aisés ont davantage progressé que les nombreux élèves issus de ménages à plus faible revenu qui utilisaient un ordinateur pour la première fois.

Un essai mené en Sierra Leone avec l’outil d’apprentissage guidé dans Gemini de Google DeepMind a lui aussi montré que les effets variaient en fonction du niveau initial des acquis scolaires des élèves. Un effet moyen positif peut masquer des résultats pourtant déterminants pour les décisions que ces données probantes sont censées éclairer : faut-il acquérir un outil, où le déployer et avec quels autres dispositifs l’associer dans le cadre d’une stratégie d’enseignement et d’apprentissage ?

Évaluer les outils à la vitesse de l’IA

Les données probantes produites une fois puis archivées deviennent rapidement obsolètes. L'IA est en constante évolution : les modèles sont mis à jour, modifiés ou remplacés en l'espace de quelques mois.

Si les plus grands laboratoires d'IA testent souvent leurs mises à jour de manière approfondie avant leur lancement, la plupart des développeurs de technologies de l’éducation qui s'appuient sur ces modèles ne disposent pas des mêmes capacités. Cela signifie que toute modification apportée au modèle sous-jacent peut affecter les performances d'un outil d'IA en classe sans nécessairement être détectée.

Pour suivre le rythme de l'IA, le secteur doit unir ses forces pour développer des méthodes d'évaluation plus économiques et plus rapides, mais tout aussi rigoureuses.

Ces méthodes doivent aller de la détection précoce des signes indiquant qu’un outil fonctionne, et de vérifications ponctuelles permettant de déterminer si un enfant apprend réellement ou se contente d'exécuter les tâches sans conviction, jusqu'à des essais rapides qui produisent des données probantes sur l’impact en quelques mois plutôt qu'en plusieurs années.

L’ECR récemment mené en Sierra Leone sur l'outil de tutorat de Google DeepMind constitue une avancée dans la bonne direction : des gains d'apprentissage significatifs (+0,26 écart-type) ont été observés après seulement huit semaines d’utilisation en conditions réelles de classe.

Développer des biens publics mondiaux

Le secteur a besoin d'une infrastructure commune pour développer des outils d'IA de qualité dans l'éducation, notamment des tests de référence des modèles de l'IA, des méthodes d'évaluation et des protocoles d'étude standardisés, des ensembles de données partagés et des guides pratiques accessibles à tous - autant d’outils concrets et réutilisables que tout développeur, bailleur de fonds ou gouvernement peut utiliser.

Les différents éléments commencent à se mettre en place au sein de la Coalition mondiale pour l'apprentissage fondamental, avec le soutien de plusieurs de ses bailleurs de fonds : des tests de référence des modèles d'IA pour l'éducation développés par Fab AI (en collaboration avec l'Observatoire de l’IA) aux travaux d'évaluation de la Banque mondiale, en passant par le cadre « EdTech for Good Framework 2.0 » de l'UNICEF, ainsi que les tests de référence des cas d'utilisation dans l’éducation et les évaluations sur le terrain menés par le « Learning Cabinet » et le « Quality Assurance Facility for AI in Education ».

Le potentiel de l’IA pour accélérer l’apprentissage fondamental est bien réel. Pour concrétiser ce potentiel, il est toutefois indispensable de disposer de données probantes qui évoluent au même rythme que la technologie, sont produites à chaque étape du développement des outils et sont interprétées avec la rigueur nécessaire pour éclairer les décisions qu’elles doivent étayer.

Nous invitons les bailleurs de fonds, les gouvernements, les développeurs et les évaluateurs à intégrer des mécanismes d’évaluation adaptés aux processus de passation des marchés et d’octroi de financement, afin que les solutions efficaces puissent être déployées à grande échelle de manière responsable et que les données probantes ne soient pas considérées comme une ultime étape à franchir, mais comme le fondement sur lequel repose tout le reste.