认知诊断理论的前世今生

认知诊断逐渐成为现代心理与教育测量领域的重点研究方向,它是由认知心理学与心理测量理论相融合而产生。其目的是为了更好更全面的了解被测个体的心理或活动行为规律,对被测个体认知的优缺点进行综合评估和诊断,从而更好的针对性的促进被测个体的全面发展。此方向受到国内外学术界和工业界的广泛关注。

文末有资料分享

测验理论

早在1961年,测验理论的本质是讨论测试结果与测试指标之间的关系,关注的是所得的结果对各个指标的解释性。经过了上百年的发展,诞生了许多经典的测验理论,比如经典测量理论(Classical Test Theory,CTT)、概化理论(Generalizability Theory,GT)和项目反映理论(Item Response Theory,IRT)。尤其是项目反映理论,在很多领域方向比如计量模型、项目分析、等值测验、项目功能差异侦查、项目自动生成、测验组成、题库构建、自适应测试等都有大量的应用,开辟了测量理论的新纪元。测量理论的发展阶段分为两个部分:标准测验理论阶段和新一代测验理论阶段。

标准测验理论

标准测验理论阶段又包含两类研究范式:能力水平研究范式和认知水平研究范式。

能力水平研究范式:强调对被试宏观层次的能力水平测量和评估,其中的代表性工作为经典测量理论(classical test theory,CTT)、概化理论 (generalizability theory,GT)和项目反应理论(item response theory,IRT)。经典测量理论是第一代应用广泛的心理与教育测量学理论,其直接使用被试对项 目的应答得分(观察分数)衡量被试的心理状态,并认为观察分数等于真分数加 上误差分数。经典测量理论简单易懂且效果良好,但被试的测量结果依赖于测试 项目集合的选择,获取的参数不具有迁移性,且从被试水平到作答结果之间缺少 内在的关联通道。而概化理论则主要解决测量误差问题,引入测量情境关系。

能力水平研究范式中,最经典的应该就是项目反映理论,最早是由Rasch在1960年提出IRT的函数形式;后来在Rasch的基础上,Fischer等人对IRT进行了扩展,提出了线性逻辑斯蒂特质模型(linear logistic trait model,LLTM),这也是IRT最经典以及使用最广泛的形式之一,由于LLTM只使用了一个难度参数来描述测试项,因此被称为单参数(1PL)模型。在1PL模型的基础上,又由Birnbaum及Lord等人进一步提出了2PL和3PL模型,引入了测试项区分度和猜测度等因素。

随着心理测量学和认知心理学的发展,大家越来越不满足于只关注宏观层次的水平评估,希望进一步了解微观角度的心理过程,这种研究的角度被称为认知水平研究范式。

认知水平研究范式:强调理解个体内部微观层次的认知加工过程,对被试的认知状态做出细致诊断。有学者将 IRT 向多维扩展(multidimensional IRT,MIRT) ,如三参数模型的多维补偿型扩展和半补偿型扩展,但是项目的多维参数是隐式的,不同的能力维度用属性进行概括时,属性的定义无法深入到认知过 程的细节,不具有实际的解释意义。

认知水平研究范式中,比较典型的应该是DINA (deterministic inputs, noisy “and” gate)模型和NIDA(noisy inputs, deterministic “and” gate)模型。DINA和NIDA的发展也是得益于Q矩阵理论的提出,它将被测者的能力水平与测量指标之间关联了起来。随后,de la Torre等人又提出了DINA的一般化模型G-DINA,具有补偿性和饱和性的特点。

新一代测验理论

在新一代测量理论中,认知诊断是核心,尤其是在当前大数据背景下,基于机器学习的认知诊断被推到了风口浪尖。在此背景下,认知诊断技术可被分为静态和动态两类。

静态认知诊断:目标是对学习者某一给定段时间的学习数据进行整体研究, 综合分析这些数据得到且仅得到学生当前的知识掌握度水平,进而预测学生在未 观测的题目上的表现情况。静态认知诊断方法主要可以分为三种类别:矩阵分解、用户画像和机器学习优化的认知诊断方法。矩阵分解中最典型的应该是PMF以及NMF;用户画像中典型的方法是LDA(Latent Dirichlet Allocation);而机器学习优化的方法则以近年来提出的FuzzyCDM(Fuzzy Cognitive Diagnosis Model)、KPGRM(Knowledge Plus Gaming Response Model)以及NeuralCD(Neural Cognitive Diagnose)。

动态认知诊断:学习过程是动态而不是静态的,学习者会不间断做大量的习题,学习大量新的知识,因而他们的认知水平也在随着学习过程在动态变化。为了能够在任意时刻,及时给出对学习者认知水平诊断情况的反馈,从而及时调整学习资料以及学习方案,动态地对学生认知水平进行诊断是迫切需要的。动态认知诊断又被称为知识追踪(Knowledge Tracing, KT),已有的研究主要可以分为两类:传统知识跟踪与深度知识追踪。

知识追踪

传统知识追踪:贝叶斯知识追踪(Bayesian knowledge tracing, BKT)是一 个在1994年最早被提出来的知识追踪模型。它是一个两阶段的动态贝叶斯网络, 学习者的表现情况看作可观测变量,学习者的知识状态看作隐变量,并且假设每 一个知识点都只被一个试题所测试。表现因子分析(Performance Factors Analysis, PFA)是另一种传统知识跟踪方法,着重于对学习者进行建模,它由 学习因子分析(Learning Factors Analysis, LFA)重构而来,对学习者的表现情 况有高度的敏感性,并且PFA还可以很大程度上取代BKT,并不需要BKT中所作 的假设,能够实现多知识点测试。近年来,Chen等人 设计了(Knowledge Proficiency Tracing, KPT)模型,以教育心理学领域的学习 曲线和遗忘曲线为基础,建模学习和遗忘因素,更加精准度对学习者进行诊断, 并且有着良好的可解释性。

深度知识追踪:传统知识跟踪模型虽然取得了不错的实验效果,然而难以满 足当前教育大数据需求,应用场景单一。2015年提出了第一个深度知识追踪(Deep Knowledge Tracing, DKT)DKT模型。DKT是一种seq2seq的循环神经网络模型, 每一个时刻的输出是对下一个时刻学习者表现情况的预测。由于DKT的效果完全碾压了传统知识追踪方法,表现突出,后来有越来越多的DKT变体不断提出。比如有DKT-Tree通过决策树加入了更多的题目属性;DKT+forgetting向DKT中引入了三种遗忘特征;PDKT-C融合了知识点先后序关系;DKVMN(Dynamic Key-Value Memory Networks)将学习者的学习过程建模为读和写两个过程;还有EERNN(Exercise-Enhanced Recurrent Neural Network)提出用试题文本来增强深度知识追踪;EKT(Exercise-aware Knowledge Tracing) 使用了内存网络衡量学习者在学习每一个练习题时,对其多维知识掌握的影响程度,其精确性和可解释性都很大程度优于以往的模型。




-END-




知识追踪论文数据代码资料:公众后回复【KT】
认知诊断理论、方法与应用:公众号回复【CD】
多维项目反映理论英文pdf :公众号回复【MIRT】


~赞~

么么哒,请我喝杯咖啡吧~

支付宝
微信