人工智能评测技术在大规模中英文作文阅卷中的应用探索

被引:24
|
作者
何屹松 [1 ]
孙媛媛 [1 ]
汪张龙 [2 ]
竺博 [2 ]
机构
[1] 安徽省教育招生考试院
[2] 科大讯飞股份有限公司
关键词
人工智能; 智能阅卷; 作文阅卷; 机器评分;
D O I
10.19360/j.cnki.11-3303/g4.2018.06.011
中图分类号
G434 [计算机化教学];
学科分类号
摘要
本研究通过实验探索人工智能评测技术在人工网上评卷质量监控中的应用及其他相关应用。实验数据采集自2017年安徽省高考语文作文和英语作文共计841 610份试卷,对智能阅卷产生的机器评分、普通高考人工网上评卷产生的人工1评和人工2评以及报道分进行平均分、标准差、相关度、评分一致率等多个维度的数据分析,将智能阅卷产生的异常作答样本和大分差数据样本反馈给学科专家组进行质检评分。结果表明:智能阅卷基本上达到了与评卷教师相当的水平;智能阅卷始终采用统一的评分标准,更具客观公正性,能为人工网上评卷提供有效的质量监控。
引用
收藏
页码:63 / 71
页数:9
相关论文
共 7 条
  • [1] Ridge regression: biased estimation for nonorthogonal problems. Arthur E. Hoerl,Robert W. Kennard. Technometrics . 2000
  • [2] A Hierarchical neural autoencoder for paragraphs and documents. LI J,LUONG M,JURAFSKY D. https://web.stanford.edu/-jurafsky/pubs/ P15-1107.pdf . 2018
  • [3] Distributed representations of words and phrases and their compositionality. MIKOLOV T,SUTSKEVER I,CHEN K,et al. https://arxiv.org/pdf/ 1310.4546.pdf . 2018
  • [4] Conditional random fields as recurrent neural networks. ZHENG S,JAYASUMANA S,ROMERA-PAREDES B,et al. https://www.cv-foundation.org/openaccess/contenticcv2015/papers/ZhengConditionalRandomFieldsICCV2015paper.pdf . 2018
  • [5] Hybrid CNN-HMM model for street view house number recognition. GUO Q,TU D,LEI J,et al. https://link.springer.com/chapter/ 10.1007%2F978-3-319-16628-5_ 22 . 2016
  • [6] A neural approach to automated essay scoring. TAGHIPOUR K,NG H T. https://www.researchgate.net/publication/305748202_A_Neural_Approach_to_Automated_Essay_Scoring . 2016
  • [7] Fully convolutional networks for semantic seg-mentation. Long J,Shelhamer E,Darrell T. IEEE Transactions on Pattern Analysis&Machine Intelligence . 2017