La capacité fonctionnelle se subdivise en trois attributs :
L'exhaustivité se subdivise en deux sous-attributs :
Cette section couvre les mesures que nous allons utiliser afin d'évaluer la couverture lexicale d'un correcteur orthographique.
Les sous-attributs correspondants à la couverture lexicale sont les suivants :
Pour chaque sous-attribut, il sera établi une liste représentative de mots pour les tests. La même mesure sera appliquée à chaque liste :
Combien de mots de la liste sont reconnus par le correcteur ?
Cette mesure sera exprimée par le pourcentage de mots reconnus sur le nombre total de mots de la liste. Il y aura des cas, toutefois, où la couverture sera exprimée en tant que pourcentage affecté de coefficient. Ceci sera nécessaire afin de prendre en compte les importances relatives des différents sous-ensembles de mots. C'est ainsi qu'une note globale pourra ensuite être déterminée.
L'utilisation de coefficients est donc essentielle afin de refléter les fréquences distinctes des différents groupes de mots appartenant au même domaine. L'adoption de coefficients peut paraıtre complexe, mais il nous semble important de permettre aux différents utilisateurs d'avoir à leur disposition des mesures différenciées en fonction des sections du lexique auxquelles ils sont intéressés.
Ainsi, des rédacteurs techniques auront la possibilité d'examiner des sous-ensembles qui leur seront plus pertinents, tout en ayant aussi une mesure pour la couverture totale. Inversement, un écrivain serait plutôt concerné par la couverture totale d'une langue, mais la couverture des mots les plus courants lui sera tout de même utile.
Un faux positif est un mot signalé comme une erreur par le correcteur mais qui est en fait correct. C'est un problème majeur qui est directement lié à la couverture lexicale. La mesure que nous proposons est :
Quelle est le fréquence des faux positifs pour ce correcteur ?
La mesure sera obtenue dans ce cas en se reportant aux listes établies pour la couverture lexicale afin de calculer le pourcentage de faux positifs pour chaque liste. Ici aussi nous pourrons utiliser des listes établies en fonction des différentes catégories d'utilisateurs afin de refléter leurs besoins.
Il s'agit pour cet attribut de mesurer la proportion de mots inexacts d'une langue rejettés par le correcteur. Cela peut sembler insignifiant, mais mérite toutefois d'être examiné. Un correcteur qui a tendance à trop accepter aura un bon pourcentage de couverture lexicale, mais son utilité pour la correction orthographique sera limitée du fait qu'il aura naturellement tendance à rejeter moins de mots qui peuvent dans certains cas être faux.
Il est possible de mesurer la pertinence d'une manière semblable à celle proposée pour l'exhaustivité. Nous définirons des catégories d'erreurs et, pour chacune d'entre elles, nous vérifierons une série de mots contenant cette erreur afin de déterminer combien sont rejetés.
Cette typologie des erreurs sera le reflet des sources d'erreurs suivantes :
Lorsqu'ils trouvent une erreur, la majorité des correcteurs vont proposer une liste de suggestions pour le remplacement. Une suggestion n'a de réelle utilité que si elle représente le mot recherché par l'utilisateur. Dans la plupart des cas de fautes de frappe, les suggestions sont sensées et peuvent être utilisées comme remplacement.
Le terme d'``adéquation des suggestions'' d'un correcteur représente la proportion de suggestions sensées qu'il propose, c'est-à-dire des suggestions qui peuvent réellement être utilisées pour remplacer les erreurs.
Afin d'établir une mesure pour l'adéquation des suggestions, nous allons distinguer trois éléments :
L'erreur est un élément que le correcteur a identifié comme étant une erreur. La source est l'élément que l'utilisateur voudrait avoir à la place de l'erreur. La suggestion est l'élément proposé par le correcteur pour le remplacement.
Les suggestions étant proposées dans un certain ordre, nous ferons référence à une nième suggestion par un nombre entier .
Une suggestion est une réussite si elle est identique à la source d'une erreur et dans le cas contraire, c'est un échec.
L'évaluation de l'adéquation des suggestions devra refléter la fréquence avec laquelle une suggestion est une réussite. De plus, le cas qui nous intéressera le plus sera le cas d'une réussite située en première place.
Nous décomposons ainsi l'adéquation des suggestions en quatre sous-attributs qui seront nos mesures :
