Un des problèmes récurrents en traduction automatique est celui d'évaluer la qualité des systèmes de traduction: il n'y a pas de façon claire d'évaluer de manière objective la qualité des traductions effectuées par tel ou tel système. Ce genre d'évaluation est particulièrement utile pour la comparaison de deux versions du même système : après avoir apporté des changements au système, il faut vérifier qu'ils améliorent la qualité du système en général.

L'idée derrière ce programme a été suggérée (sûrement pas pour la première fois) à une réunion du groupe de traduction automatique d'Andreas Eisele à l'Université de la Sarre : pourquoi ne pas prendre des tests de compréhension écrite, où l'usager doit lire un court texte puis répondre à quelques questions qui s'assurent de sa compréhension, traduire ces tests avec les divers systèmes à tester, demander à diverses personnes de répondres aux tests, et voir quel système de traduction donne les meilleurs résultats. Après tout, on pourrait dire que le but ultime de la traduction est de recréer le sens de l'original dans une autre langue -- c'est exactement ce que vérifie l'approche utilisée ici.

Ce programme sert à mener ce genre d'expérience. Malheureusement il n'a jamais été utilisé dans une vraie expérience à grande échelle, mais je crois qu'avec peut-être quelques ajustements il serait prêt à l'être.