隐性知识测量:模型与算法

知识推理又称隐性知识测量(Latent Knowledge Estimation),隐性的含义为:“无法直接测量”。
任务为:测量在某一特定时刻学生掌握了哪些知识构件(Knowledge Component)
知识构件:对于当前学习,学生可以掌握的任何有意义的事情,包括:
  • 技巧(Skill)
  • 事实(Fact)
  • 概念(Concept)
  • 原则(Principle)
  • 图式(Schema)

1 Bayesian Knowledge Tracing(BKT) 贝叶斯知识追踪

任务:基于学生的过往表现来测量学生掌握特定技巧/知识构件的程度。
局限:所测量的技巧/知识构件必须是特定的,无法用于测量技巧或知识的综合情况。
关键假设:
  1. 每一个项目都对应唯一一个知识构件/技巧
  2. 每一个项目都采用0-1记分模式,要么是0分,要么是1分
  3. 每次学生尝试一个项目,都能够通过帮助、反馈等进行学习
  4. 学习模型只有两个状态,要么没学会,要么是学会了
  5. 一旦学会了就不会忘记
  6. 即便掌握了技巧,也会有犯错的几率
  7. 即便没有掌握技巧,也有猜对的几率
学习模型:
BKT model
图中左边代表没有掌握技巧,右边代表掌握了技巧
两个学习参数:
  1. P(L0):技巧在第一次用来解决问题之前便已经掌握了的概率
  2. P(T):每一次用技巧来解决问题之后,掌握该技巧的概率
两个表现参数:
  1. P(G):即便没有掌握该技巧,却猜对的概率
  2. P(S):即便掌握了该技巧,却犯错答错的概率
可以利用上述概率计算:
  • 答对的概率P(CORR)为:P(Ln)*P(~S) + P(~Ln)*P(G)
即掌握了且没犯错的概率加上没掌握却猜对的概率

P(Ln):隐性知识的计算公式:

第n次尝试该问题结果正确的情况下,在前一次尝试后便已经掌握了该知识的概率:
  • (掌握且不犯错的概率)除以(答对的概率)
BKT 1
第n次尝试该问题结果错误的情况下,在前一次尝试后便已经掌握了该知识的概率:
  • (掌握且却犯错的概率)除以(答错的概率)
BKT 2
第n次尝试后,掌握了该知识的概率:
  • 为(第n-1次尝试后掌握知识的概率)加上(第n-1次尝试后未掌握知识而在第n-1次尝试过程中学会)的概率
  • 如果第n次尝试错误,用Incorrectn替换Actionn
  • 如果第n次尝试正确,用Correctn替换Actionn
BKT 3
例:
P(L0)= 0.4, P(T) = 0.1, P(S) = 0.3, P(G) = 0.2
假使第一次尝试结果是错误,得分为0,即:
P(L0|Incorrect1)=P(L0)*P(S)/(P(L0)*P(S)+(1-P(L0))*(1-P(G))=(0.4*0.3)/(0.4*0.3+(1-0.4)*(1-0.2))=0.2
P(L1) = P(L0|Incorrect1)+((1-P(L0|Incorrect1))*P(T)) = 0.2 + (1-0.2)*(0.1)=0.28
如果第二次尝试结果为正确,得分1,类似地可以计算出:
P(L1) =0.28, P(L1|Correct2) = 0.48
P(L2)=0.62
 
BKT拟合工具:
  1. BNT-SM: Bayes Net Toolkit - Student Modeling http://www.cs.cmu.edu/~listen/BNT-SM/
  2. Fitting BKT at Scale https://sites.google.com/site/myudelson/projects/fitbktatscale
  3. BKT-BF: BKT-Brute Force http://www.columbia.edu/~rsb2162/BKTBruteForce.zip

2 Performance Factors Analysis(PFA) 表现因素分析

任务:在学生学习的过程中,测量学生有多少隐性知识
关键假设:
  1. 每一个项目都可以对应于多个隐性技巧/知识构件
  2. 每一个技巧都有学习成功率γ和学习失败率ρ
  3. 每一个项目都有难度系数β
计算公式
PFA formula
其中:
  • i为尝试次数
  • j为要测量的知识构件
  • βk为项目k的难度系数
  • γj为知识构件j的学习成功率
  • ρj为知识构件j的学习失败率
  • Si,j为i次尝试中答对的次数
  • fi,j为i次尝试中答错的次数
P(m)为学习者答对该项目的概率,计算公式为:
 fomula2
举例1   正常的学习,γ = 0.2, ρ = 0.1, β = -0.5 :
m=-0.5
P(m)=0.38
如果答错一次:
m=-0.5+(0.1*1)=-0.4
P(m)=0.40
如果再答错一次:
m=-0.5+(0.1*2)=-0.3
P(m)=0.43
如果第三次尝试答对了:
m=-0.5+((0.1*2)+(0.2*1))=-0.1
P(m)=0.48
 
举例2 消极的学习,γ = 0.1, ρ = 0.2, β = -0.5:
m=-0.5
P(m)=0.38
如果答错一次:
m = -0.5 + (-0.5*1) = -1
P(m) = 0.27
如果再答错一次:
m = -0.5 + (-0.5*2) = -1.5
P(m) = 0.18
如果再答对一次:
m = -0.5 + ((-0.5*2) + (0.1*1)) = -1.4
P(m) = 0.20
PFA的拟合通常采用期望值最大法,也可采用Fitting BKT at Scale

3 Item Response Theory(IRT) 项目反应理论

任务:测量一个人对于某些隐性特质(Latent trait),掌握了多少。
关键假设:
  1. 每一个项目集合都只用于测量一个隐性特质
  2. 每一个学习者都有一个能力参数θ
  3. 每一个项目都有难度b和区分度a

3.1 最简单的模型1PL,又称Racsch model:

没有区分度参数a
计算公式:P(θ) = 1/(1+e^(b-θ))
下图揭示学生的能力和表现之间的关系,此图中b=0,表示项目难度中等,当θ=b时,表现为0.5
bigdata-edu-Lecture-Slide-PDFs-W004V004
下面是不同的难度系数曲线:
bigdata-edu-Lecture-Slide-PDFs-W004V005
其中绿色的线代表b=-2代表较容易的项目桔黄色的线代表b=2表示较难的题目。
曲线含义的解读:
  • 能力强的学生看待容易的项目和中等难度的项目都不太难
  • 能力差的学生看待困难的项目和中等难度的项目都比较难

3.2 2PL模型

引入区分度参数a
计算公式:

P(θ) = 1/(1+e^a(b-θ))
plot3
  • 绿色曲线代表a=2高区分度
  • 蓝色曲线代表a=0.5低区分度
 bigdata-edu-Lecture-Slide-PDFs-W004V007
  • 红色曲线代表a=0无区分度
  • 绿色曲线代表a趋近于正无穷

3.3 3PL模型:

在2PL模型基础上,引入一个猜测参数c
计算公式:P(θ) = c+(1-c)/(1+e^a(b-θ))
IRT模型的拟合也可以采用最大期望法。

BKT 模型几种扩展

  1. Beck's Help Model
  2. Individualization of L0
  3. Contextual Guess and Slip
  4. Moment by Moment Learning

Leave a Reply

Your email address will not be published. Required fields are marked *