基于多面Rasch模型的交替传译测试效度验证 被引量：13

1

作者 赵南 董燕萍 《解放军外国语学院学报》 CSSCI 北大核心 2013年第1期86-90,128,共5页

本研究对一次交替传译测试结果进行多面Rasch模型检验,从评分标准、评分员、被试和任务4个方面验证了测试的效度,并用偏差分析发现了影响测试结果的因素。检验结果显示:1)所用分项评分标准和任务设计能够显著体现和区分被试口译水平,适... 本研究对一次交替传译测试结果进行多面Rasch模型检验,从评分标准、评分员、被试和任务4个方面验证了测试的效度,并用偏差分析发现了影响测试结果的因素。检验结果显示:1)所用分项评分标准和任务设计能够显著体现和区分被试口译水平,适合用于口译教学测试的评分;2)评分标准中的"口译技巧与素质"子项对测试结果的整体效度略有影响,可做进一步改善。 展开更多

关键词 多面rasch模型 效度 交替传译测试 分项评分标准

在线阅读 下载PDF 职称材料

德国COMET评分量表在我国应用的多面Rasch模型分析 被引量：5

2

作者 何兴国 赵志群 何壮 《职业技术教育》 北大核心 2016年第25期69-74,共6页

德国COMET评分量表是职业能力测评的重要评价工具,其蕴含着设计导向的职业教育思想和综合职业能力的人才培养目标,对我国职业教育评价及改革都具有重要借鉴意义。运用项目反应理论之多面Rasch模型,对COMET评分量表在我国学生职业能力测... 德国COMET评分量表是职业能力测评的重要评价工具,其蕴含着设计导向的职业教育思想和综合职业能力的人才培养目标,对我国职业教育评价及改革都具有重要借鉴意义。运用项目反应理论之多面Rasch模型,对COMET评分量表在我国学生职业能力测评中的适用性进行了分析。结果表明:COMET评分量表总体区分度较高,能够有效地区分我国职业教育背景下的学生职业能力水平;我国学生对COMET评分量表部分项目存在着不适应现象,部分学生答题行为内部一致性较差;我国教师对COMET评分量表宽严尺度把握内部一致性较好,但不同评分教师个体之间的宽严程度还存在差异;评分教师与评分项目交互作用也存在一些显著偏差。 展开更多

关键词 COMET评分量表 多面rasch模型 项目分析 职业能力测评 职业院校

在线阅读 下载PDF 职称材料

技能评分项目裁判员评分结果的多面Rasch模型分析——项目反应理论在体育运动领域的应用 被引量：5

3

作者 何壮 赵守盈 《成都体育学院学报》 CSSCI 北大核心 2014年第3期43-48,共6页

技能类运动项目以裁判员评分作为评定比赛成绩的主要因素,对裁判员评分分析可以得到许多有价值的信息。研究使用多面Rasch模型对伦敦奥运会男子10米台跳水决赛结果进行分析。分析结果表明:运动员能力排序与奥运会比赛结果有差异;比赛中... 技能类运动项目以裁判员评分作为评定比赛成绩的主要因素,对裁判员评分分析可以得到许多有价值的信息。研究使用多面Rasch模型对伦敦奥运会男子10米台跳水决赛结果进行分析。分析结果表明:运动员能力排序与奥运会比赛结果有差异;比赛中运动员之间状态起伏规律有差异;裁判员之间评分宽严程度一致,但对个别评分等级把握不准确;规则中的动作难度系数与Rasch分析的动作难度之间有差异。Rasch分析得到的信息对裁判选拔、规则修订、运动员备战具有参考价值。 展开更多

关键词 多面rasch模型 项目反应理论 跳水 主观评分

在线阅读 下载PDF 职称材料

基于多面Rasch模型的大学教师课堂教学能力评价方法研究 被引量：8

4

作者 盛艳燕 赵映川 《高教探索》 CSSCI 北大核心 2015年第2期70-74,共5页

大学教师课堂教学能力评价是提高教学质量的重要手段。基于多面Rasch模型,实证结果表明不同听课人之间打分的宽严度不一致并对三个评分维度把握不准确,使用教师能力估计值结合聚类分析法划分等级才能更加准确地对大学教师的课堂教学能... 大学教师课堂教学能力评价是提高教学质量的重要手段。基于多面Rasch模型,实证结果表明不同听课人之间打分的宽严度不一致并对三个评分维度把握不准确,使用教师能力估计值结合聚类分析法划分等级才能更加准确地对大学教师的课堂教学能力进行评价。该方法的实施需要数据分析常态化、听课人管理制度化和评价项目动态更新的管理措施共同推进。 展开更多

关键词 教学能力评价 能力估计值 多面rasch模型

在线阅读 下载PDF 职称材料

基于多面Rasch模型的大学教师课堂教学能力评价量表优化研究 被引量：7

5

作者 盛艳燕 喻秋山 《高教探索》 CSSCI 北大核心 2015年第9期83-89,共7页

文章利用多面Rasch模型从量表使用者角度研究了大学教师课堂教学能力评价量表的优化问题。实证研究发现,量表具有单维性,但2个题项存在性别上的不公平、7个题项存在分数能力"倒挂"现象。访谈和扎根编码分析后发现,量表内容、... 文章利用多面Rasch模型从量表使用者角度研究了大学教师课堂教学能力评价量表的优化问题。实证研究发现,量表具有单维性,但2个题项存在性别上的不公平、7个题项存在分数能力"倒挂"现象。访谈和扎根编码分析后发现,量表内容、尺度和形式是产生分数能力"倒挂"的原因。因此,基于多面Rasch模型的假设和功能,量表优化应以多面Rasch模型检验结果为依据,采取简化题项内容、分离尺度与权重并细化评分等级的措施。 展开更多

关键词 多面rasch模型 课堂教学能力评价量表 优化

在线阅读 下载PDF 职称材料

多面Rasch模型在结构化面试中的应用 被引量：25

6

作者 孙晓敏 薛刚 《心理学报》 CSSCI CSCD 北大核心 2008年第9期1030-1039,共10页

使用项目反应理论中的多面Rasch模型,对66名考生在结构化面试中的成绩进行分析,剔除了由于评委等具体测量情境因素引入的误差对原始分数的影响,得到考生的能力估计值以及个体水平的评分者一致性信息。对基于考生能力估计值和考生面试分... 使用项目反应理论中的多面Rasch模型,对66名考生在结构化面试中的成绩进行分析,剔除了由于评委等具体测量情境因素引入的误差对原始分数的影响,得到考生的能力估计值以及个体水平的评分者一致性信息。对基于考生能力估计值和考生面试分得到的决策结果进行比较,发现测量误差的确对决策造成影响,对个别考生的影响甚至相当巨大。进一步使用Facets偏差分析以及评委宽严程度的Facets分析追踪误差源。结果表明,将来自不同面试组的被试进行面试原始成绩的直接比较,评委的自身一致性和评委彼此之间在宽严程度上的差异均将导致误差。研究表明,采用Facets的考生能力估计值作为决策的依据将提高选拔的有效性。同时,Facets分析得到的考生个体层次的评分者一致性指标,以及评委与考生的偏差分析等研究结果还可以为面试误差来源的定位提供详细的诊断信息。 展开更多

关键词 结构化面试 项目反应理论 多面rasch模型

在线阅读 下载PDF 职称材料

基于多面Rasch模型对两类结构化面试性能的对比 被引量：3

7

作者 郭庆科 周京 王楠 《山东师范大学学报（人文社会科学版）》 北大核心 2010年第1期108-113,共6页

在多面Rasch模型框架下比较了两类结构化面试。结果发现行为性面试中被试能力估计值分布范围略广,且更为均匀,支持了情景性面试中更容易出现社会期望性反应的结论。从评分者偏差上看,行为性面试中发生偏差的次数更多一些,说明行为性问... 在多面Rasch模型框架下比较了两类结构化面试。结果发现行为性面试中被试能力估计值分布范围略广,且更为均匀,支持了情景性面试中更容易出现社会期望性反应的结论。从评分者偏差上看,行为性面试中发生偏差的次数更多一些,说明行为性问题可能更不易评定,导致评分者间分歧较大。但几处较大的偏差却出现在情景性问题的评分中。除此之外两类面试的评分者一致性都很好,评分者宽严度和评分偏差等方面的差异都不是太大,说明两类面试的总体心理测量学性能都很好,都可以在人事测评中应用。总体上看行为性面试较好。 展开更多

关键词 多面rasch模型 情景性面试 行为性面试 评分者偏差

在线阅读 下载PDF 职称材料

基于多面Rasch模型的作文网上评卷“趋中评分”判定研究 被引量：12

8

作者 俞韫烨 谢小庆 《中国考试》 2012年第1期6-13,共8页

写作测试则是评价学生语言能力最有效的工具之一,但在作文评分中,评分员容易出现"趋中评分",即打"中间分"的现象。趋中评分是评分过程中形成的一种系统性误差,它在一定程度上会影响作文评分的质量。本文基于多面Ra... 写作测试则是评价学生语言能力最有效的工具之一,但在作文评分中,评分员容易出现"趋中评分",即打"中间分"的现象。趋中评分是评分过程中形成的一种系统性误差,它在一定程度上会影响作文评分的质量。本文基于多面Rasch模型,采用MHK(三级)考试的实测数据,估计了考生的能力值和期望得分,计算出残差标准差、残差与期望得分的相关,同时参考原始评分的峰度值、评分员infit值、评分员期望评分的峰度值和专家校验卷的分析结果,最后确定了具有趋中评分倾向的评分员,同时提出了判定趋中评分的方法和标准。 展开更多

关键词 趋中评分 网上阅卷 多面rasch模型

在线阅读 下载PDF 职称材料

教育教学能力测试的GT和多面Rasch模型分析 被引量：5

9

作者 陈宛玉 戴海琦 《考试研究》 2013年第3期70-78,共9页

本研究以概化理论和多面Rasch模型为工具,对某市教育教学能力测试的一批实测结果进行了分析,旨在探索影响此类测试评分的因素及其作用机制,为完善测试设计和评分培训提供依据。研究结果表明,影响教育教学能力测试的主要因素是任务难度... 本研究以概化理论和多面Rasch模型为工具,对某市教育教学能力测试的一批实测结果进行了分析,旨在探索影响此类测试评分的因素及其作用机制,为完善测试设计和评分培训提供依据。研究结果表明,影响教育教学能力测试的主要因素是任务难度、评委宽严、评委的跨任务一致性和任务的跨考生难度。当前的教育教学能力测试只适宜做相对决策,不适宜做绝对决策。建议在以后的测试中通过提高测试任务的数量和加强对评分员的针对性培训来提高评分可靠性。 展开更多

关键词 教育教学能力测试 概化理论 多面rasch模型

在线阅读 下载PDF 职称材料

多面Rasch模型在学科能力测评中的应用 被引量：3

10

作者 王立君 黄星艳 《考试研究》 2013年第1期41-50,共10页

本研究利用多面rasch模型(MFRM)评估大学生"多元统计方法分析"课程的能力水平,并分析题目的难度和评分者的严苛度。研究结果显示,多面Rasch分析可以很好地解决开放式考试中对于学科能力的评估,其评估结果与学生的反馈一致。

关键词 多面rasch模型 表现性评价 学科能力评价

在线阅读 下载PDF 职称材料

基于多面Rasch模型的商务英语口语测试评分研究 被引量：5

11

作者 揭薇 《山东外语教学》 2018年第3期22-32,49,共12页

信度和效度研究较多考察通用英语测试,而对专门用途英语测试的效度微观研究则相对缺失。本文应用FACETS软件对某高校VECTOR商务英语主观题型测试进行分析,从微观上对评分者严厉程度、考生能力差异、试题难易度差异进行进一步分析。结果... 信度和效度研究较多考察通用英语测试,而对专门用途英语测试的效度微观研究则相对缺失。本文应用FACETS软件对某高校VECTOR商务英语主观题型测试进行分析,从微观上对评分者严厉程度、考生能力差异、试题难易度差异进行进一步分析。结果显示,与其他通用英语主观题型测试的经验性结论相比,商务英语话题任务难度差异大,评卷者严厉度存在显著差异。本研究的结论有助于解释商务英语口语测试效度,并且利用该模型对评分者进行培训,从而改善考试设计、控制评分质量,改进评分标准和提高考试效度,这对相关教学和测试意义重大。 展开更多

关键词 商务英语口语测试 评分员 多面rasch模型 FACETS

在线阅读 下载PDF 职称材料

国家公务员遴选策论的多面Rasch模型应用 被引量：1

12

作者 李英武 张海丽 胡心约 《上海行政学院学报》 CSSCI 北大核心 2021年第6期89-99,共11页

基于多面Rasch模型(MFRM),对某中央直属系统公务员遴选策论的主观评分偏差进行分析,探讨考生的能力水平,评分者宽严度、评分内部一致性、维度难度和评分量尺等因素对遴选考试决策的影响。结果发现:评分者的宽严度差异显著;评分者对特定... 基于多面Rasch模型(MFRM),对某中央直属系统公务员遴选策论的主观评分偏差进行分析,探讨考生的能力水平,评分者宽严度、评分内部一致性、维度难度和评分量尺等因素对遴选考试决策的影响。结果发现:评分者的宽严度差异显著;评分者对特定评分维度的使用差异显著;评分者与评分维度间交互作用显著,不同评分者在特定评分指标上评分偏差明显。通过MFRM分析公务员遴选策论的测评结果,可深入了解考生的真实能力差异,策论评分维度的难度,并对公务员遴选测评中的主观评分偏差来源进行甄别,以完善国家公务员策论试题命制,建立评分者培训体系,提高公务员遴选考试决策的科学性,夯实考试测量学的理论与方法基础。 展开更多

关键词 公务员遴选 策论 评分者偏差 多面rasch模型

原文传递

评分员对不同体裁作文评分的多面Rasch模型分析 被引量：2

13

作者 王佶旻 邓志娜 《考试研究》 2018年第1期80-89,共10页

主观性测试中,评分员差异是影响测试信度、效度和公平性的重要因素。本文采用多面Rasch模型考察8位评分员对记叙文和议论文两种体裁各60篇作文的评分情况。结果表明,评分员对不同体裁作文的评分存在不一致性:在评分员层面上,评分员的严... 主观性测试中,评分员差异是影响测试信度、效度和公平性的重要因素。本文采用多面Rasch模型考察8位评分员对记叙文和议论文两种体裁各60篇作文的评分情况。结果表明,评分员对不同体裁作文的评分存在不一致性:在评分员层面上,评分员的严厉度基本不受体裁的影响,但在评分员的信度与内在一致性方面,议论文评分好于记叙文评分;在评分量表层面上,评分员在评定语言和内容项目上,议论文比记叙文严格,而在条理项目上,议论文比记叙文宽松,并且议论文高分的使用频率比记叙文高。本文还就评分员评分的不一致性的原因进行了探讨,以求为降低评分偏差提供参考。 展开更多

关键词 多面rasch模型 作文体裁 评分一致性 评分员 评分量表

在线阅读 下载PDF 职称材料

多面Rasch模型分析软件Facets在英语测试中的应用研究 被引量：2

14

作者 石志亮 《郑州航空工业管理学院学报（社会科学版）》 2011年第2期143-147,168,共6页

文章描述了多面Rasch模型的原理,并就其分析软件Facets在国内外英语测试中的研究现状做了评述;然后,通过实例重点讲述了如何运用Facets软件进行实验设计、编写分析语句、运行程序,以及如何从考生面、评分者面、评分标准面等对其产生的... 文章描述了多面Rasch模型的原理,并就其分析软件Facets在国内外英语测试中的研究现状做了评述;然后,通过实例重点讲述了如何运用Facets软件进行实验设计、编写分析语句、运行程序,以及如何从考生面、评分者面、评分标准面等对其产生的图表进行了解读。 展开更多

关键词 多面rasch模型 FACETS 英语测试 应用

在线阅读 下载PDF 职称材料

基于多面RASCH模型的高校学生评教方法探索 被引量：2

15

作者 赵玉 《高教学刊》 2019年第20期56-58,共3页

本研究利用多面Rasch模型对118名大学生评价10名任课教师的课堂教学能力的数据进行分析.研究结果表明不同学生对评教的宽严程度不一致的现象,多面RASCH模型可消除评分者效应,从而提高学生评教的信度.

关键词 多面rasch模型 学生评教 方法

在线阅读 下载PDF 职称材料

基于多面Rasch模型的师范生学科教学能力测评研究

16

作者 黄明明 《教育与考试》 2018年第4期65-70,共6页

本文运用多面Rasch技术,探究并验证师范生教学能力基本结构,分析教学能力测评中的评分者效应,以保证教学能力测评的公平性,促进教学的有效性。研究显示,教育教学能力是一种多维度结构的潜在特质,师范生教学能力的不同维度水平差异明显,... 本文运用多面Rasch技术,探究并验证师范生教学能力基本结构,分析教学能力测评中的评分者效应,以保证教学能力测评的公平性,促进教学的有效性。研究显示,教育教学能力是一种多维度结构的潜在特质,师范生教学能力的不同维度水平差异明显,评价过程中的偏差控制有待提高。 展开更多

关键词 教学能力 多面rasch模型 评分者效应 师范生

在线阅读 下载PDF 职称材料

基于GT和多面Rasch模型的结构化面试分析 被引量：6

17

作者 徐思 张敏强 黎光明 《心理学探新》 CSSCI 2009年第5期77-82,共6页

该研究应用GT和多面Rasch模型对结构化面试数据进行分析,并提出一些建议。针对某辅导员招聘面试数据,运用GT从宏观上分析应聘者、考官和项目所带来的总体误差大小。在此基础上,运用多面Rasch模型从微观上进一步探查考官严厉度、应聘者... 该研究应用GT和多面Rasch模型对结构化面试数据进行分析,并提出一些建议。针对某辅导员招聘面试数据,运用GT从宏观上分析应聘者、考官和项目所带来的总体误差大小。在此基础上,运用多面Rasch模型从微观上进一步探查考官严厉度、应聘者能力差异、项目难易度及侧面偏差。结果表明:1)GT分析表明应聘者产生的变异较大(90.65%),说明面试可靠性较高,且当考官数为2时可靠性已较好。2)多面Rasch模型分析出了各侧面效应中的非拟合因素及交互效应中的偏差因素,表明面试误差主要来自考官间严厉度的差异及其自身一致性的不稳定。将GT与多面Rasch模型相结合分析面试数据不仅能测查出评价过程各方面的问题因素,并能更好地作整体把握。 展开更多

关键词 概化理论 多面rasch模型 结构化面试

在线阅读 下载PDF 职称材料

采用多面Rasch模型提高英语运用测试的评分质量 被引量：5

18

作者 杨睿 《开放教育研究》 CSSCI 北大核心 2011年第5期73-78,共6页

目前电大系统英语考试的口试和作文部分多采用语言运用测试的方式。语言运用测试由于引入评分者而使评分的主观性变大。如何控制评分者差异对考生分数的影响成为保证语言运用测试评分质量的重要环节。本文在比较了行为测试中评分质量控... 目前电大系统英语考试的口试和作文部分多采用语言运用测试的方式。语言运用测试由于引入评分者而使评分的主观性变大。如何控制评分者差异对考生分数的影响成为保证语言运用测试评分质量的重要环节。本文在比较了行为测试中评分质量控制方面常用的三种理论的基础上,着重介绍了多面Rasch模型在提高评分质量方面的贡献,并探讨了在电大系统如何采用该模型对英语运用测试中的评分者进行培训,以控制评分质量和提高考试信度。 展开更多

关键词 多面rasch模型 评分者差异 评分者培训 行为测试

在线阅读 下载PDF 职称材料

多面Rasch模型FACETS分析软件的控制数据文件生成与应用研究

19

作者 郭婉瑢 蔡旻君 欧阳鑫颖 《考试研究》 2019年第5期68-78,共11页

多面Rasch模型(MFRM)是Rasch单参数模型的延伸,对于检测不同测量层面一致性差异具有很好的支持作用。本文聚焦于运用多面测量模型的分析软件FACETS,重点阐述如何利用TXT数据文件和Excel数据文件生成控制数据文件的方法步骤。力求通过详... 多面Rasch模型(MFRM)是Rasch单参数模型的延伸,对于检测不同测量层面一致性差异具有很好的支持作用。本文聚焦于运用多面测量模型的分析软件FACETS,重点阐述如何利用TXT数据文件和Excel数据文件生成控制数据文件的方法步骤。力求通过详细的过程介绍并配合图文说明,使学习者对Facets控制数据文件生成有更加清晰的认识,为后续应用Rasch模型开展数据分析奠定基础。 展开更多

关键词 多面rasch模型 FACETS 控制数据文件 应用

在线阅读 下载PDF 职称材料

中学理科实验操作考查的评分者效应和评分者信度——基于多面Rasch模型的分析

20

作者 麦裕华 黎光明 钱扬义 《教育测量与评价》 2020年第11期56-64,共9页

中学理科课程的实验操作考查是典型的表现性评价,主要评估学生完成理科常见实验的基本实验操作能力。为提高评分质量,优化实验操作考查的组织管理,以初三化学实验操作考查常见试题为例,应用多面Rasch模型探讨评分者效应和评分者信度。... 中学理科课程的实验操作考查是典型的表现性评价,主要评估学生完成理科常见实验的基本实验操作能力。为提高评分质量,优化实验操作考查的组织管理,以初三化学实验操作考查常见试题为例,应用多面Rasch模型探讨评分者效应和评分者信度。研究发现:(1)评分者不存在群体上的宽严效应、趋中效应、光环效应及区分性宽严效应,但表现出一定的随机效应,在同时考虑多侧面时有较弱的区分性宽严效应;(2)有可接受的评分者间信度和良好的评分者内信度;(3)与监考4位、6位考生相比,评分者监考2位考生时,较低评分者间信度出现的比例最大。建议在实施实验操作考查时,组织系统的考前评分实践培训,增加评分者对评分内容和过程,尤其是对不同类型评分者效应的一致性理解,提高个人准确评分的能力;可将多面Rasch模型作为评分质量控制的分析方法,用于评分结果的事后检查。 展开更多

关键词 实验操作考查 评分者效应 评分者信度 多面rasch模型 表现性评价

在线阅读 下载PDF 职称材料