Fonction de correction automatisée de questions libres

ExperQuiz propose un type de question qui est corrigée par un formateur de façon asynchrone : c’est la question libre. Le correcteur peut rédiger une appréciation et affecter une note qui est réintégrée dans la note globale de l’évaluation.

ExperQuiz utilise l’intelligence artificielle pour analyser le texte proposé comme réponse et pour suggérer des commentaires et une note.

Le correcteur peut accepter tout ou partie des suggestions et conserver la note s’il juge que les suggestions sont pertinentes.  Notez qu’il s’agit seulement d’une aide proposée au correcteur qui doit toujours définir son commentaire ainsi que la note à attribuer, dont il est au final le seul responsable.

Chaque suggestion est uniquement basée sur le texte de la question et celui de la réponse. Aucune image / média / pièce-jointe n’est prise en compte lors de la génération de la correction de l’attribution de la note.

Pour activer cette fonctionnalité, il faut préciser dans les paramètres de la question qu’il y aura une demande d’aide à la correction.

Fonction de correction automatisée de questions libres

Lorsque l’évaluation est terminée, la correction automatique est appelée. Cela peut prendre quelques minutes.  Ce qui n’empêche pas le correcteur d’aller voir les réponses et de commencer son analyse.

Il est impératif de vérifier la qualité des suggestions en fonction de la réponse de l’utilisateur.

Notez que, de par sa construction, l’IA sera probablement moins pertinente sur des sujets d’actualité récents ou non accessibles au grand public.

Fonction de correction automatisée de questions libres

Activer la fonctionnalité

Pour activer les fonctionnalités qui utilisent l’intelligence artificelle, il faut cocher l’option “Utiliser des fonctionnalités sur l’IA” dans les réglages de l’entreprise.

Activer fonctionnalités IA

Génération  de questions par l’IA avec un corpus documentaire

La génération de questions n’est plus limitée aux seules connaissances “universelles” déjà ingérées par OpenAI, mais peut cibler également des connaissances propres à l’entreprise.  Vous pouvez ajouter à votre corpus un règlement intérieur, la documentation d’un produit, le support d’une formation, etc.

Choix du corpus documentaire

L’administrateur peut définir son propre corpus documentaire, à partir duquel les questions seront générées. Cela permet de personnaliser et de circonscrire les sources d’informations sur lesquelles l’IA générative s’appuiera pour créer les nouvelles questions.

Pour cela :

  1. Aller sur la page “Intelligence Artificielle” de la base choisie.
  2. Puis dans l’onglet “Corpus documentaire”.
  3. Sélectionner les documents au format doc, docx, html, pdf, pptx.  Les documents sont choisis parmi ceux de votre médiathèque, mais vous pouvez en importer de nouveaux si besoin.
  4. Enregistrer la sélection de documents avant de quitter la page.
Générateur de questions alimenté à l'IA.

Génération des questions

La génération de questions se paramètre en s’appuyant ou non sur tout ou partie des documents.

Pour cela  :

  1. Aller sur la page “Intelligence Artificielle” de la base choisie
  2. Puis sur l’onglet “Générateur de questions”.
  3. La liste des documents du corpus est présentée en haut de page. Sélectionner le ou les documents à utiliser pour la création de question. Cliquer sur les documents pour les sélectionner ou les dé-sélectionner.
  4. Donner l’énoncé ou le sujet, qui peut être un chapitre ou le titre du document
  5. Choisir le type de question souhaité
  6. Sélectionner la langue
  7. Indiquer le nombre de questions
  8. Démarrer la génération en cliquant sur le bouton “GÉNÉRER”
Générateur de question boosté à l'IA

Validation des questions générées

La génération démarre, un message indique qu’elle est en cours [1], [2].

Génération des questions grâce à l'IA.

Les questions sont générées au fil de l’eau et l’administrateur peut :

  1. Accepter la question en mode brouillon afin de l’adapter 
  2. Valider la question qui rejoint l’ensemble des questions qui peuvent composer un questionnaire 
  3. Rejeter la question
Générateur de questions grâce à l'IA.

On retrouve la question acceptée [1] dans la liste des questions de la base, elle est soit active, soit en mode brouillon [2].

Pour l’intégrer dans les questionnaires, l’administrateur peut éditer la question [3] ou consulter son contenu en ouvrant le panneau de détail [4].

L’IA a également généré une explication qui sera utilisée dans le feedback donné à l’utilisateur pendant son test si cette option a été choisie.

RGPD, Sécurité et confidentialité

Cette fonctionnalité repose sur les API d’OpenAI. Votre énoncé et les fichiers de corpus seront envoyés à OpenAI. 

Conformément à la Déclaration de Sécurité et de Confidentialité d’OpenAI : 

« Les données soumises via l’API d’OpenAI ne sont pas utilisées pour entraîner les modèles d’OpenAI ni pour améliorer l’offre de services d’OpenAI. ». 

Voir également: Politique de Confidentialité

Réinitialisation des statistiques de questions

ExperQuiz présente une vue statistique dans la page des questions. On peut ainsi consulter le nombre de fois où une question a été soumise, son taux de réussite, le temps moyen passé pour y répondre, le nombre de hors délai (lorsque le participant n’a pas eu assez de temps pour y répondre).

Pour cela, il faut choisir sa base [1], aller sur l’onglet des questions [2] et filtrer sur la vue statistiques [3].

Il s’agit d’un historique qui cumule les données dans le temps.

Il est possible de réinitialiser ces statistiques en cliquant sur le bouton “Réinitialiser les statistiques” [4]

Archivage des questionnaires

Les questionnaires rejoignent la liste des ressources qui peuvent être archivées, telles que les bases, les modules, les enquêtes)

Cette fonctionnalité est accessible dans le menu “Questionnaires” qui présente la liste complète des questionnaires.

L’option “archivage des entités” doit être activée.

Sélectionner (1)  les groupes et choisissez l’action “archiver” (2) ou “désarchiver” (3).

Conséquences dans l’application

Côté administrateur

Les listes de questionnaires proposent un filtre sur le statut. 

Les questionnaires archivés ne sont plus visibles en accès libre mais les invitations aux évaluations restent accessibles par les utilisateurs.

Remarque

Les ressources archivées sont repérables grâce à la couleur estompée et au petit symbole d’archive précédant le nom de la ressource. 

La question section

Un nouveau type de question est proposé : il s’agit de la question “section”, qui permet de structurer un questionnaire en groupant les questions par section, les sections étant séparées par une sorte d’intercalaire.

Définir une question de type section

La question “section” permet, comme son nom l’indique, de créer des sections dans un questionnaire. C’est une “pseudo-question”, dans le sens où elle ne présente pas de réponses proposées, et elle ne sera pas notée.  Son rôle est de séparer des groupes de questions à l’intérieur d’un même questionnaire.

Comme toute question, elle a un titre [2] et un énoncé [3] qui peut être du texte et/ou un média [4].  Mais elle n’a pas de réponses à proposer.

Si la base thématique a défini des tags, des séquences, explication ou règle, ces informations peuvent être également renseignées dans la question section.

Exemple

Un questionnaire peut contenir plusieurs sections pour séparer, par exemple, les sous thématiques.

Dans l’exemple ci-dessous, le questionnaire contient deux questions sections (#44 et #45). Les questions sections permettent d’apporter des explications, ou de situer le contexte des questions à venir, avant de commencer une nouvelle série de questions.

Paramétrage du test

Lorsque le test commence, la question section se présente comme une question normale avec un chrono si le paramétrage du test l’a prévu ainsi. 

Un point important: si le paramétrage du test prévoit que les questions sont mélangées, alors le mélange se fera en respectant les sections c’est-à-dire que les questions seront mélangées entre les sections, mais ne changeront pas de section. 

Cas particulier du questionnaire dynamique

Le questionnaire dynamique est un questionnaire dont les questions sont choisies aléatoirement en respectant certains critères comme:

  • Le niveau de difficulté 
  • Le nombre de questions par domaine (sous thématique)

Le nombre de questions indiqué par domaine inclut les questions de type “section”.

Les questions de type « section » ne seront pas choisies dans les questionnaires dynamiques, sauf si elles font partie d’une séquence de questions qui est présente dans le tirage de questions. En effet, dans le tirage aléatoire, une séquence de questions  est incluse dans son intégralité.  

Résultats du test

La page de score présente les réponses aux questions données en matérialisant les sections présentes dans le test.

Chargement de fichiers de questions

Vous pouvez créer des questions dans un fichier bureautique et ExperQuiz les chargera.

Cela favorise la production des questions puisque vous pouvez éditer beaucoup de questions à la fois, faire des couper-coller de parties de cours et intégrer des textes déjà formatés.

Dès que vous avez créé un lot de questions, vous pouvez les télécharger. Les questions seront lues et ajoutées aux questions existantes.

Si un problème survient à la lecture du fichier, ExperQuiz présentera précisément les problèmes afin que vous puissiez corriger le fichier.

Le format du fichier de questions

Nous utilisons des fichiers de format DOCX. Ces fichiers peuvent être créés et édités en utilisant des logiciels LibreOffice, Google Docs, ou Microsoft Office.

Dans le document, vous trouverez plusieurs aides que vous pourrez suivre pour écrire correctement vos questions.

La meilleure façon de faire est de charger le fichier exemple, en utilisant le lien ci-dessous, puis de l’ouvrir.

Le fichier contient à la fois des explications et des conseils ainsi que des exemples de questions.

Fichiers existants et portabilité

Si vous disposez de fichiers de questions dans un autre format que celui d’ExperQuiz, contactez-nous en utilisant le formulaire de contact présent dansla page d’accueil. Nous disposons de beaucoup d’outils de transfert qui faciliteront la portabilité.

Synthèse d’une base de questions

Plusieurs actions sont proposées au niveau d’une base sélectionnée:

Synthèse d’une base de questions

Plusieurs actions sont proposées au niveau d’une base sélectionnée:

  • Voir la synthèse des informations sur la base.
  • Accéder aux questionnaires construits avec des questions de la base.
  • Consulter les questions de la base et leurs statistiques.
  • Voir les évaluations qui ont été soumises sur cette base.
  • Consulter les formations portant sur la base.
  • Enrichir les médias utilisables dans les questions ou les formations.
  • Réaliser l’import des questions à partir de fichiers texte (format .odt).

Fonction de génération de questions à partir d’un énoncé

Cette fonction vous permet de créer, à partir d’un énoncé un ensemble de questions grâce à ChatGPT.

La quantité et le type de questions générées peuvent être amenés à varier dans le temps, avec les évolutions qu’apportera ExperQuiz à cette fonctionnalité.

Cette fonctionnalité est disponible dans le menu Base, puis, dans une base, sélectionner la rubrique « Génération de questions ».

Formuler un énoncé

L’énoncé définit un sujet sur lequel ChatGPT devra créer ses questions. Ainsi pour obtenir des questions sur l’Antarctique, on peut simplement fournir l’énoncé ‘Antarctique’.

Notez que les tournures de phrases comme ‘Le sujet sera l’Antarctique’ n’apporteront rien à la génération, et pourraient même en amoindrir la qualité. Une fois l’énoncé entré, il suffit d’appuyer sur le bouton ‘Générer’ et d’attendre l’arrivée des questions.

Il peut y avoir des périodes de surcharge sur le service d’OpenAI qui peuvent amener des délais importants voire des échecs de générations.

À partir de cet énoncé, ChatGPT produira des questions portant par exemple sur les expéditions sur l’Antarctique, le traité de l’Antarctique, la température sur le continent, la faune, etc.

Vous pourrez alors ajouter ces questions à votre base à (l’état brouillon ou actif) ou les supprimer.

Validation des questions par un être humain

Les questions générées seront le résultat de ChatGPT; ExperQuiz n’est pas responsable de la qualité de ces questions. Il est impératif de vérifier que les questions et réponses proposées sont pertinentes et correctes avant de les inclure dans vos questionnaires.

Il est toujours possible de modifier les questions proposées par la génération automatique une fois qu’elles sont transformées en questions, pour corriger d’éventuelles imperfections.

ChatGPT sera probablement moins pertinent sur des sujets dont les données n’ont pas fait parties de ses bases d’apprentissages, notamment:

  • Des sujets d’actualité récente, les bases d’apprentissages étant arrêtées dans le temps
  • Ou des sujets inaccessibles au grand public.

Affiner la génération de question

Que ce soit pour les raisons évoquées plus haut, ou simplement pour obtenir des questions plus proches de ce que vous souhaitez, la solution réside dans l’énoncé. Il faut fournir un énoncé plus précis pour améliorer la génération.

Pour reprendre l’exemple de l’énoncé ‘Antarctique’, si l’on souhaitait en réalité des questions axées sur la flore de l’Antarctique, on pourrait le re-spécifier de la sorte : ‘Flore de l’Antarctique’.

ChatGPT ne reçoit que l’énoncé nécessaire à la génération : aucune donnée concernant votre entreprise ou vous-même n’est utilisée par ChatGPT. Les énoncés précédents ne sont pas non plus utilisés par ChatGPT, si bien que chaque énoncé doit être suffisant en lui-même pour générer les questions que vous souhaitez.