Depuis janvier 2026, le coach IA de Skillera a traité 9 400 conversations d'orientation. Nous avons annoté un échantillon de 800 échanges pour évaluer la qualité des recommandations sur deux dimensions : la pertinence des parcours suggérés et la détection des signaux de démotivation.
Sur la recommandation de parcours, les résultats sont encourageants. Lorsque l'apprenant décrit un objectif professionnel précis (« devenir analyste de données », « passer chef de projet », « obtenir ma certification DPC »), le coach propose un parcours adapté dans 87 % des cas — défini comme un parcours qu'un formateur humain aurait également suggéré d'après notre panel de référence. La correspondance tombe à 61 % pour les objectifs vagues (« évoluer dans ma carrière », « apprendre quelque chose d'utile »).
Sur la détection de la démotivation, le tableau est moins flatteur. Le coach repère bien les signaux explicites : un apprenant qui écrit « j'ai envie d'abandonner » ou « ça ne me correspond plus » reçoit systématiquement une réponse adaptée avec proposition de reformulation de l'objectif. En revanche, les signaux implicites — absences prolongées, questions de plus en plus courtes, formulations de découragement — ne sont détectés que dans 38 % des cas, contre 74 % pour un tuteur humain testé dans les mêmes conditions.
La raison principale est structurelle : le coach n'a pas accès à l'historique de comportement dans la leçon (temps passé sur chaque écran, nombre de relectures, taux d'abandon des exercices). Il travaille uniquement sur le texte de la conversation. Nous sommes en train d'intégrer un vecteur comportemental dans le contexte transmis au modèle — les premiers tests sur 200 conversations montrent une amélioration de 18 points sur la détection des signaux implicites.
Une autre limite concerne la personnalisation culturelle. Les formateurs interrogés en Belgique et au Canada signalent que le coach produit parfois des suggestions qui supposent le système de formation continue français — CPF, OPCO, France Compétences — alors que l'interlocuteur travaille dans un cadre réglementaire différent. Nous avons ajouté un champ pays dans le profil apprenant, mais la prise en compte reste partielle.
En résumé : le coach IA est un outil utile pour structurer un parcours à partir d'un objectif clair. Il ne remplace pas un tuteur pour accompagner un apprenant en difficulté. Nous publierons ces données régulièrement, car promettre une IA « aussi bonne qu'un humain » sans mesure serait contreproductif pour tout le secteur.