Nous reprenons ici la terminologie présentée dans les rapports précédents concernant l'adéquation des suggestions:
Dans cette section, nous allons présenter des méthodes pour obtenir des volumes importants de mesures afin d'évaluer plusieurs points.
Nous examinerons d'abord le lien entre l'erreur et la source. Pour ce faire, nous générerons des listes d'erreurs à partir de listes de mots valides.
Ensuite, il s'agira d'effectuer les tests sur un grand nombre d'éléments afin d'arriver à illustrer le comportement du correcteur en matière de suggestion de remplacement.
Finalement, nous obtiendrons des chiffres afin de fournir des réponses aux quatre points cités plus haut.
Dans l'état actuel de la technologie, nous ne pouvons nous attendre à ce qu'un correcteur devine l'intention de l'auteur lorsqu'une erreur n'a plus aucun lien avec la source. Ainsi, si au lieu d'écrire pomme le rédacteur écrit *immpoew, il n'est pas réaliste de vouloir retrouver le mot pomme.
A fortiori lorsque l'erreur du rédacteur est en fait un mot valable, le correcteur ne peut le savoir - toujours, rappelons le, dans l'état actuel des choses, c'est-à-dire pour les correcteurs d'orthographe (analyse hors contexte). (Rappelons ici la définition d'une erreur du point de vue du correcteur: il s'agit d'un élément lexical qu'il n'a pas dans son/ses dictionnaires.)
Exemples: si un utilisateur qui veut écrire palier écrit panier ou pallier à la place, on comprend tout de suite qu'il ne s'agit pas d'une erreur qu'un correcteur peut traiter (cf. voir la section opposant la correction orthographique à la correction grammaticale).
Il s'agit dans ce cas de vérifier un texte/une liste de mots à l'aide d'un vérificateur afin de noter, pour chaque élément d'erreur, lequel des cas suivants se présente:
Ces vérifications seront faites à partir de listes d'erreurs que nous avons élaborées dans un but précis: observer la réaction d'un correcteur face un type particulier d'erreur.
La fiabilité d'une mesure se rapporte à la proportion dans laquelle les variations constatées sont le fait de la mesure effectuée et non du phénomène lui-même: une mesure fiable doit produire des résultats cohérents et réguliers.
La fiabilité, dans notre cas, devrait être assurée par l'automatisation des tests. Toutefois, la taille des listes ainsi que leur provenance auront une grande influence sur la fiabilité.
La validité, pour sa part, implique qu'une mesure soit réellement le reflet du phénomène mesuré. Dans le cas de la capacité fonctionnelle d'un vérificateur d'orthographe, nous comprenons bien ce qu'il devrait être capable de faire. Le seul problème en ce qui concerne la validité des méthodes est de savoir si les erreurs prises en compte dans l'évaluation sont des erreurs que les utilisateurs peuvent réellement rencontrer. Dans ce sens, nous allons inclure des résultats de tests sur des listes d'erreurs exhaustives afin d'essayer de couvrir le plus grand nombre de types possibles.
Dernièrement, une méthode devrait être applicable efficacement. Il est particulièrement utile que ces mesures soient exécutées sans l'utilisateur final. Ces derniers n'ont pas envie de faire l'évaluation eux-mêmes, ils comptent sur d'autres pour le faire. De plus, avec l'apparition de nouveaux produits sur le marché, il est utile d'avoir une méthode qui s'applique à toute une classe de produits, et pas seulement à des individus. Enfin, il faut que les tests puissent être exécutés dans un délai raisonnable.
Ainsi, la méthode que nous proposons ici est relativement fiable. Elle est automatisée et n'implique pas l'utilisateur final.
