Reliability and Validity of a Scale-based Assessment for Translation Tests
| Autor: | Tzu-Yun Lai |
|---|---|
| Rok vydání: | 2012 |
| Předmět: |
Linguistics and Language
Social Sciences and Humanities translation evaluation Scale (ratio) Computer science Proficiency test computer.software_genre Translation (geometry) Language and Linguistics error-analysis tests de traduction qualité des traductions translation test Reliability (statistics) assessment scales critères d’évaluation échelles d’évaluation business.industry Quality assessment Test (assessment) evaluation criteria Sciences Humaines et Sociales Christian ministry analyse des erreurs Artificial intelligence business computer Natural language processing |
| Zdroj: | Meta. 56:713-722 |
| ISSN: | 1492-1421 0026-0452 |
| DOI: | 10.7202/1008341ar |
| Popis: | Are assessment tools for machine-generated translations applicable to human translations? To address this question, the present study compares two assessments used in translation tests: the first is the error-analysis-based method applied by most schools and institutions, the other a scale-based method proposed by Liu, Chang et al. (2005). They have adapted Carroll’s scales developed for quality assessment of machine-generated translations. In the present study, twelve graders were invited to re-grade the test papers in Liu, Chang et al. (2005)’s experiment by different methods. Based on the results and graders’ feedback, a number of modifications of the measuring procedure as well as the scales were provided. The study showed that the scale method mostly used to assess machine-generated translations is also a reliable and valid tool to assess human translations. The measurement was accepted by the Ministry of Education in Taiwan and applied in the 2007 public translation proficiency test. Les outils d’évaluation des traductions automatiques sont-ils applicables à la traduction humaine ? Pour répondre à cette question, la présente étude compare deux modalités d’évaluation : la première est la méthode d’analyse des erreurs utilisée par la plupart des écoles et des institutions, la seconde fait appel à une échelle basée sur la méthode proposée par Liu, Chang, et al. (2005). Ces auteurs ont adapté les échelles d’évaluation de la qualité des traductions de Caroll. Dans la présente étude, douze évaluateurs ont été invités à ré-évaluer les textes utilisés dans les travaux de Liu, Chang, et al. (2005) par différentes méthodes. Sur la base des résultats obtenus et des commentaires des évaluateurs, un certain nombre de modifications ont été apportées à la méthode de mesure ainsi qu’aux échelles. L’étude a montré que la méthode fondée sur l’échelle principalement utilisée pour évaluer les traductions automatiques constitue un outil fiable pour évaluer les traductions humaines. Cette méthode a été acceptée par le ministère de l’Éducation de Taïwan et appliquée en 2007 pour les tests du certificat de traduction. |
| Databáze: | OpenAIRE |
| Externí odkaz: |
|