A quality assessment of Korean-English patent machine translation

This paper aims to investigate the quality Korean-English patent translations by three machine translation (MT) engines based on automatic and human evaluations of Korean to English Patent Automatic Translation (K2E-PAT), a pattern-based statistical MT; and Patent Translate and WIPO Translate, both neural MTs. For title translations, WIPO Translate scored the highest in automatic and human evaluations, while results were mixed for the other two MTs. K2E-PAT slightly outperformed Patent Translate in automatic evaluation, whereas Patent Translate outperformed K2E-PAT in human evaluation. For abstract translations, Patent Translate scored the highest in automatic evaluation, followed by WIPO Translate and K2E-PAT. In human evaluation, the ranking order was the same as that of title translations, with WIPO Translate scoring the highest on average. The results indicated correlations between automatic and human evaluations, and the NMTs subject to the current study still do not render satisfactory gist translation from Korean to English. Cet article se focalise sur les resultats des evaluations automatiques et humaines des traductions de brevets coreen-anglais par trois logiciels de traduction automatique : Korean to English Patent Automatic Translation (K2E-PAT), une traduction statistique basee sur des modeles ; et Patent Translate et WIPO Translate, tous deux des traductions automatiques neuronales (NMT). Les traductions des documents de brevet coreens vers l'anglais - 30 titres d'inventions et 30 abreges - ont fait l'objet d'evaluations automatiques et humaines. L'evaluation automatique a utilise les scores BLEU et METEOR. Dans l'evaluation humaine, quatre traducteurs de brevets professionnels ont evalue les resultats de la traduction automatique en utilisant une echelle d'evaluation de cinq points et en commentant les erreurs specifiees. Pour les traductions de titres, WIPO Translate a obtenu les meilleures notes dans les evaluations automatiques et humaines, tandis que les resultats ont ete mitiges pour les deux autres MT. K2E-PAT etait legerement superieur a Patent Translate en evaluation automatique, tandis que Patent Translate etait superieur a K2E-PAT en evaluation humaine. Pour les traductions des abreges, Patent Translate a obtenu les meilleures notes en evaluation automatique, suivi de WIPO Translate et de K2E-PAT. En ce qui concerne l'evaluation humaine, l'ordre de classement etait le meme que celui des traductions de titres, WIPO Translate ayant obtenant les meilleures notes en moyenne. Les resultats indiquent qu'il y a une forte correlation entre les evaluations automatiques et humaines, et les NMT etudiees dans cet article n'arrivent toujours pas a traduire l'essentiel du texte coreen vers l'anglais d'une facon correcte.