人工智能辅助能力测量:写作自动化评分研究的核心问题

被引:12
作者
杨丽萍
辛涛
机构
[1] 北京师范大学中国基础教育质量监测协同创新中心
关键词
写作自动化评分; 能力测量; 特征体系; 评估模型; 信度与效度;
D O I
暂无
中图分类号
G434 [计算机化教学]; H05-4 [];
学科分类号
040110 ; 030303 ; 0501 ; 050102 ;
摘要
写作自动化评分是目前智慧教育方兴未艾的研究领域,为缓解人工作文评分中存在的经济与时间成本等巨大压力提供了更加量化、及时和稳健的方案。然而,当前写作自动化评分模型大多是以特征值作为预测变量,拟合人工评分的分数预测模型。为了使写作自动化评分与提高学生写作能力的最终目标相匹配,写作自动化评分体系的建构需从能力测量视角出发,厘清测量范畴,突破写作自动化评分向能力测量转向的技术瓶颈。其中,需要解决的核心科学问题包括:(1)如何以写作评价标准为依据,建立具备解释性的特征体系,解决自动化评分与评价标准脱钩的问题;(2)如何突破拟合人工评分的局限,从分数预测模型拓展到能力测量模型,探索写作各能力维度的评估模型;(3)如何在实际应用中,在保证评分准确性的基础上,系统化论证写作自动化评分的信度与效度,强调跨子群体的公平性。为探索写作自动化评分的有效建构与使用的合理路径,今后的研究可以从自动化评分与人工评分的结合应用、写作自动化评分的稳定性和泛化性的检验、写作能力发展的持续性以及测验成绩的可比性等方面推进。
引用
收藏
页码:51 / 62
页数:12
相关论文
共 39 条
[1]  
基于词分布的文本表示研究.[D].陈志鹏.苏州大学.2017, 04
[2]  
基于回归分析的中文作文自动评分技术研究.[D].陈一乐.哈尔滨工业大学.2016, 02
[3]  
面向语文作文自动评阅的修辞手法识别系统的设计与实现.[D].巩捷甫.哈尔滨工业大学.2016, 02
[4]  
基于“要素评价量表”的写作教学内容研究.[D].王鹤琰.上海师范大学.2016, 02
[5]  
高考作文自动评分关键技术研究.[D].刘明杨.哈尔滨工业大学.2015, 02
[6]  
Linguistic features in writing quality and development: An overview.[J].Scott Crossley.Journal of Writing Research.2020, vol. 11 issue 3
[7]   Prediction of Essay Scores From Writing Process and Product Features Using Data Mining Methods [J].
Sinharay, Sandip ;
Zhang, Mo ;
Deane, Paul .
APPLIED MEASUREMENT IN EDUCATION, 2019, 32 (02) :116-137
[8]   Beyond subjective judgments: Predicting evaluations of creative writing from computational linguistic features [J].
Zedelius, Claire M. ;
Mills, Caitlin ;
Schooler, Jonathan W. .
BEHAVIOR RESEARCH METHODS, 2019, 51 (02) :879-894
[9]   Penalized Best Linear Prediction of True Test Scores [J].
Yao, Lili ;
Haberman, Shelby J. ;
Zhang, Mo .
PSYCHOMETRIKA, 2019, 84 (01) :186-211
[10]   Designing, evaluating, and deploying automated scoring systems with validity in mind: Methodological design decisions [J].
Rupp, Andre A. .
APPLIED MEASUREMENT IN EDUCATION, 2018, 31 (03) :191-214