假设检验

认知诊断

输入 1：学生做题矩阵 $R_{students\times items}$，$R(i,j)=0/1$ 表示第 $i$ 个学生做第 $j$ 道题目的对错 输入 2：$Q_{items\times skills}$ 矩阵，$Q(i,j)=0/1$，表示第 $i$ 个道题目是否考察第 $j$ 个知识点 认知诊断模型有很多，如简化的非补偿性认知诊断模型 $DINA$、或者 $DINO$ 、$GDINA$ 等 以 $DINA$ 为例，项目反应函数 输出 1：预测学生对 $skills$ 个知识点是否掌握 输出 2：估计 $DINA$ 类模型中的猜测参数 $guess$，和失误参数 $slip$

Q 矩阵理论

研究内容

$Q$ 矩阵是是认知诊断模型的基础，且 $Q$ 矩阵的精确性对模型的结果影响很大 但实际应用中 $Q$ 矩阵工作需要专家完成，且存在主观判断问题， 为了后续应用的准确性，需要对 Q 矩阵估计和修正

$Q$ 矩阵的性质

• $Q$ 错误类型
  • 属性冗余：题目没考某个知识点，但 Q 矩阵标记考了
  • 属性缺失：题目考了知识点，Q 矩阵标记没考
  • 属性冗余且缺失：同时存在
• Q 错误类型对模型影响
  • 属性冗余：导致猜测参数 $g$ 增大
  • 属性缺失：导致失误参数 $s$ 增大
  • 结论：$g,s$ 越小，$Q$ 矩阵越正确

修改 Q 矩阵相关工作

• 参数化方法
  • $\delta$ 法(de la Torre)：以修改一道题目$q$向量为例
    • 输入：$Q$ 矩阵、学生作答矩阵 $R$
    • step 1：将掌握 $i(i=1)$ 个知识点所有可能的 $q_i$ 向量进行遍历替换
    • step 2：将替换后的 Q 矩阵进行 DINA 模型诊断
      • ${\hat{\delta }}_i=\max (1-g-s)$
      • ${\hat{q}}_i=\arg \max \delta$
    • step 3：将掌握 $i+1$ 个知识点的所有可能 $q_i$ 向量遍历替换
    • step 4：替换后的 Q 矩阵进 DINA 模型诊断
      • ${\hat{\delta }}_{i+1}=max(1-g-s)$
      • ${\hat{q}}_{i+1}=\arg \max \delta$
    • step 5：若 ${\hat{\delta }}_{i+1}-{\hat{\delta }}_i<ϵ$，说明 $\delta$ 增大了，则 $i=i+1$
    • 循环 step1-step 5，否则该题 $q$ 矩阵修改为 ${\hat{q}}_i$
  • $\gamma$ 法 (涂东波)：以修改 $i$ 道题中的 $j$ 个知识点 $Q(i,j)$ 为例
    • 输入：$Q$ 矩阵、学生作答矩阵 $R$
    • step 1：对 $Q,R$ 进行 DINA 模型诊断估计一道题目的 $g,s$，估计学生知识点 $j$ 掌握情况
    • step 2：对是否掌握 $j$ 分为掌握组和非掌握组
    • step 3：计算效应大小, $s_1,s_2$ 为掌握组和非掌握组的作答标准差， $ES=\frac{{\bar{x}}_1-{\bar{x}}_2}{s_p},s_p=\sqrt{\frac{(n_1-1)s_1^2+(n_2-1)s_2^2}{n_1+n_2-2}}$
    • step 4：修改准则
      • 若 $g>0.2andES<0.2$，则 $Q(j,k)=1\to 0$
        • 解释：$g_j$ 过大，说明 $j$ 题 $q_j$ 向量可能冗余，如果掌握和没掌握 $k$ 知识点的人差别很小，
        • 说明题目没考 $k$ 知识点，因此确定为冗余。
      • 若 $s>0.2andES>0.2$ ，则 $Q(j,k)=0\to 1$
        • 解释：$s_j$ 过大，说明 $j$ 题 $q_j$ 向量可能缺失属性，如果掌握和没掌握 $k$ 知识点的人差别很大，
        • 说明题目 $j$ 考了 $k$ 知识点，$q_j$ 真缺失了第 $k$ 个知识点
  • S 统计量方法 (Liu)
  • R 方法 (Yu)..
  • 极大似然估计
• 非参数方法
  • 欧氏距离法、海明距离法、曼哈顿距离法等

假设检验（孙）

包含集和非包含集概念

以项目考核模式为（1，1，0）为例 我们来看，若 $q_j$ 存在冗余属性 则其包含集合为

检验 Q 向量是否存在缺失属性

• 参数估计

  • 根据已知 $Q$ 矩阵、作答矩阵 $R$ 和 $DINA$ 模型，

    • 估计第 $k$ 道题目的猜测参数 $g$ 和失误参数 $s$

    • 估计学生掌握模式：估计所有学生掌握模式 $S$ $S_i=[0,1,...,0{]}_{1\times m},表示第i个学生的掌握模式$

• 建立假设（以第 $k$ 道题目的 $q$ 向量为例）

  • $H_0:q^k不存在缺失属性\leftrightarrow H_1:q^k存在缺失属性$

• 构造统计量

  • 筛选学生掌握模式：筛选 $q^k$ 向量这种掌握模式的学生 $S^{\prime }$
    • （很可能找不到！找不到假设检验直接认为该 $q_0$ 没错）
  • 对这些掌握模式学生样本构造统计量：作答错误的学生数量 $X$ $$ X=n-\Sigma_{i \in S’}I(第k题是否做对),\quad n为q^k掌握模式的学生数量

- 确定拒绝域 - 当 $H_0$ 成立时，$q^k不存在缺失属性$，则 DINA 估计失误参数 $s$ 正确，则统计量服从二项分布：$X\thicksim B(n,s),\quad n为q_0掌握模式的学生数量，s为学生错误概率$ - 当 $H_0$ 不成立时，即错误的 $q^k$ 缺失属性，如果按照这个掌握模式筛选学生，大多数都做第 $k$ 题都做错，则 $X$ 有偏大的趋势，拒绝域为 $[c,+\infty]$，即$$ W = \{(x_1,x_2,...,x_n):X > c\}

• 给定显著性水平 $\alpha$ 下$$ P_{H_0}(X>r)=\alpha,\quad r=b_{\alpha}为二项分布的\alpha 上侧分位点

### 接受原假设不存在缺失属性，可能存在冗余属性 - 取 $q^k$ 的包含集 $q_{down}=\{q_{down}^1,q_{down}^2,...\}$ - 建立假设 (同样为第 $k$ 道题目的 $q$ 向量) - $$H_0:q\neq q^i_{down} \leftrightarrow H_1:q= q_{down}^i$$ - 构造统计量（同上） - 筛选具有 $q_{down}^i$ 这种掌握模式的学生 $S'$，计算作答正确的学生数量 $Y$ $$ Y=\Sigma_{S'}I(第k题是否做对)

• 确定拒绝域
  • 当 $H_0$ 成立时，即真实 $q$ 向量并非 $q_{down}^i$ 这种冗余情况，则 DINA 估计猜测参数 $g$ 比较正确。则在 $q_{down}^i$ 这种错误掌握模式下的统计量服从二项分布：$Y\sim B(n,g),n为q_{down}^i掌握模式的学生数量，g为猜对概率$
  • 当 $H_0$ 不成立时，即真实 $q$ 是属性更少的 $q_{down}^i$ ，如果按照这个掌握模式筛选学生，大多数都做第 $k$ 题都做对，则 $Y$ 有偏大的趋势，拒绝域为 $[c,+\infty ]$，即 $$ W = {(x_1,x_2,…,x_n):Y > c}

- 给定显著性水平 $\alpha$ 下 $$ P_{H_0}(Y>r)=\alpha,\quad r=b_{\alpha}为二项分布的\alpha 上侧分位点

拒绝原假设，存在缺失属性（不确定是否存在冗余属性）

• 取 $q^k$ 的非包含集 $q_{up}=\{q_{up}^1,q_{up}^2,...\}$

• 建立假设 (同样为第 $k$ 道题目的 $q$ 向量)

  • $H_0:q\ne q_{up}^i\leftrightarrow H_1:q=q_{up}^i$

• 构造统计量（同上）

  • 筛选具有 $q_{up}^i$ 这种掌握模式的学生 $S^{\prime }$，计算作答正确的学生数量 $Z$$$ Z=\Sigma_{S’}I(第k题是否做对)

- 确定拒绝域 - 当 $H_0$ 成立时，即真实的 $q$ 向量并非 $q_{up}^i$ 这种缺失属性的情况，则 DINA 估计失误参数 $s$ 比较正确，不确定是否冗余，所以估计猜测参数 $g$ 可能偏大。二项分布 $Z\thicksim B(n,g)$ 可能不那么合理。应该使用 $Z\thicksim B(n,s)$ - 当 $H_0$ 不成立时，即真实的 $q$ 是属性更多的 $q_{up}^i$，按照这个掌握模式筛选学生，大多数学生更容易做对，则 $Z$ 有偏大趋势，拒绝域为 $[c,+\infty]$ ### 拒绝原假设，存在缺失属性（不确定是否存在冗余属性） 取 $q^k$ 的非包含集 $q_{up}=\{q_{up}^1,q_{up}^2,...\}$ - 建立假设 (同样为第 $k$ 道题目的 $q$ 向量) - $$H_0:q= q^i_{up} \leftrightarrow H_1:q \neq q_{up}^i$$ - 构造统计量（同上） - 筛选具有 $q_{up}^i$ 这种掌握模式的学生 $S'$，计算作答错误的学生数量 $Z$$$ Z=n-\Sigma_{S'}I(第k题是否做对)

• 确定拒绝域
  • 当 $H_0$ 成立时，真实的 $q$ 向量是 $q_{up}^i$ 这种冗余的情况，则失误参数估计 $g$ 偏大
  • 当 $H_0$ 成立时，真实的 $q$ 向量是 $q_{up}^i$，说明无缺失的情况，则猜测参数 $s$ 估计比较正确
  • 当 $H_0$ 不成立时，真实的 $q$ 并无缺失，这种掌握模式

假设检验

符号定义

• 学生数量：$I$
• 题目数量：$J$
• 知识点数量：$K$
• 作答矩阵：$R_{I\times J}$，其中 $r_{ij}$ 表示第 $i$ 个学生对第 $j$ 道题目的作答对错，正确为 1，错误为 0
• $Q$ 矩阵：$Q_{J\times K}=(q_{jk}{)}_{J\times K}=\left(\begin{array}{l}{q}_1\\ q_2\\ ⋮\\ q_J\end{array}\right)$, 学生掌握情况矩阵 ${\beta }_{I\times K}=({\beta }_{ik}{)}_{I\times K}=\left(\begin{array}{l}{\beta }_1\\ {\beta }_2\\ ⋮\\ {\beta }_I\end{array}\right)$
• $q_j=(q_{j1},q_{j2},...,q_{jK})$ 为第 $j$ 题对 $K$ 个知识点的考察情况，考察记为 1，未考察记为 0
• ${\beta }_i=({\beta }_{j1},{\beta }_{j2},...,{\beta }_{jK})$ 为第 $i$ 个学生对 $K$ 个知识点的掌握情况，掌握记为 1，未掌握记为 0
• ${\beta }_i⪰q_j$ 表示 ${\beta }_i$ 中的每个分量不小于 $q_j$ 中的对应分量，即对 $\forall k$ 都有 ${\beta }_{ik}\ge q_{jk}$
• $Q_{j;1,...,K}$ 表示 $Q$ 矩阵的子矩阵，特别的表示 $Q$ 矩阵的第 $j$ 行
• 定义运算 $Q\setminus Q_{[j;1,...,K]}={\left(\begin{array}{l}{q}_1\\ ...\\ q_{i-1}\\ q_{i+1}\\ ⋮\\ q_J\end{array}\right)}_{(J-1)\times 1}$, 表示 $Q$ 矩阵去除第 $j$ 行 $q_j$ 向量，记 $Q_{\setminus [j,:]}=Q\setminus Q_{[j;1,...,K]}$
• 同理 $R\setminus R_{[1,...,I;j]}=\left(r_1,...,r_{j-1},r_{j+1},...,r_J\right)$,，表示作答矩阵 $R$ 去除第 $j$ 列作答向量，记 $R_{\setminus [:,j]}=R\setminus R_{[1,...,I;j]}$
  • 借用集合中的定义： $A\setminus B$ 表示 $\{x:x\in Aandx\notin B\}$，推到矩阵上的定义

思路

以第 $j$ 道题目为例

1. 第一步： $DINA$ 模型输入 $Q,R$ ，输出第 $j$ 题的猜测参数 $g_j$，失误参数 $s_j$，每个学生的掌握情况 $\beta$
2. 第二步：设计方法推出某个 $q_{jk}$ 可能存在问题，并且能推出是属性缺失问题，还是属性冗余问题 (也可以直接遍历所有题目，不用判断是否缺失冗余)
3. 第三步：$DINA$ 模型输入 $Q_{\setminus [j,:]},R_{\setminus [:,j]}$ ，输出 $J-1$ 道题目的猜测参数 $\tilde{g}$ 和失误参数 $\tilde{s}$，以及每个学生的掌握情况 $\tilde{\beta }$。此步骤作用是为了降低第 $j$ 题 $q_j$ 向量错误导致其他参数估计的误差。
4. 第四步：确定假设检验问题
   1. 情形一：判断出来是属性缺失问题
   2. 情形二：若判断出来是属性冗余问题
   3. 情形三：同时存在属性缺失和冗余问题，首先按..待推导
5. 第五步：选择样本

   1. 若为情形一缺失情况

      1. 则建立假设： $H_0:q_{jk}=0,\leftrightarrow H_1:q_{jk}=1$

      2. 选择满足以下规则的样本，输入某道题目的 $q_j$ 向量，指定第 $k$ 个知识点，以及 $\tilde{\beta }$ $T=\{i:{\tilde{\beta }}_i⪰q_j,且{\tilde{\beta }}_{ik}=0\}$

      3. 建立统计量：根据 $T$ 中的学生，计算作答第 $j$ 题的错误数量 $X$，$X=n_T-{\sum }_{i\in T}{r}_{ij}$

      4. 原假设成立时，样本 $T$ 中的学生具有做对 $q_j$ 考察模式题目的掌握模式，因此做第 $j$ 题错误只能是失误，因此错误概率为 $DINA$ 估计的失误参数。但 $DINA$ 模型的输入为 $Q_{\setminus [j,:]},R_{\setminus [:,j]}$，输出无第 $j$ 题的失误参数，因此采用其他题目的平均作为估计，${\tilde{s}}_j={\sum }_{l=1}^{J-1}{\tilde{s}}_l$，统计量服从二项分布： $X\sim B(n_T,{\tilde{s}}_j),P(X=x)=C_{n_T}^x{\tilde{s}}_j^x(1-{\tilde{s}}_j{)}^{(n_T-x)}$

      5. 原假设不成立时，$q_{jk}=1$，即第 $j$ 题考察了第 $k$ 个知识点，而 $T$ 中的学生均未掌握第 $k$ 个知识点，因此做错的数量会更多，$X$ 有偏大的趋势，拒绝域形式为 $[c,+\infty ]$。即 $W_1=\{(r_{1j},r_{2j},...,r_{n_{T}j}):X>c\}=\{n_T-{\sum }_{i\in T}{r}_{ij}>c\}$

      6. 给定置信度 $\alpha$ 进行检验：$P(X\ge c)={\sum }_{x=c}^{n_T}P(X=x)\le \alpha$

      7. 【缺失属性例子 1】

         1. 真实 $q_{j_{真}}$ 向量为 $[1,1,0,0]$,
         2. 当下错误 $q_j$ 向量为 $[1,0,0,0]$
         3. 判断出第 $j$ 题是缺失情况，则 $H_0:q_{j2}=0,\leftrightarrow H_1:q_{j2}=1$
         4. 根据 $Q_{\setminus [j,:]},R_{\setminus [:,j]}$ 估计了除第 $j$ 题外的 $\tilde{g},\tilde{s}$，因此第 $j$ 题的估计 ${\tilde{s}}_j={\sum }_{l=1}^{J-1}{\tilde{g}}_l$，估计了学生的掌握模式 $\tilde{\beta }$
         5. 若第 $k=2$ 个知识点存在缺失属性的情况
         6. 根据错误的 $q_j$ 筛选样本 $T=\{i:{\tilde{\beta }}_i⪰q_j,且{\tilde{\beta }}_{i2}=0\}$
            1. 筛选的掌握模式属于以下类型：
               1. $[1,0,0,0]$
               2. $[1,0,1,0]$
               3. $[1,0,0,1]$
               4. $[1,0,1,1]$
         7. 计算统计量：样本 $T$ 做第 $j$ 题的错误数量 $X$，如果假设正确，则做错只可能是失误，$X\sim B(n_T,{\tilde{s}}_j)$，例如 $n_T=30,{\tilde{s}}_j=0.2,X=10,\alpha =0.05$
         8. 则计算累计概率 $P(X\ge 10)=0.0256<0.05$
         9. 因为错误题目太多了，拒绝原假设，则修改 $q_j$ 矩阵为 $[1,1,0,0]$

      8. 【缺失和冗余同时存在的例子】

   2. 若为情形二冗余情况

      1. 则建立假设： $H_0:q_{jk}=1,\leftrightarrow H_1:q_{jk}=0$

      2. 选择满足以下规则的样本 $S=\{i:{\tilde{\beta }}_i⪰q_j,且{\tilde{\beta }}_{ik}=0\}$

      3. 建立统计量：根据 $S$ 中的学生，计算作答第 $j$ 题的正确数量 $Y$，$Y={\sum }_{i\in S}{r}_{ij}$

      4. 原假设成立时，样本 $S$ 中的学生掌握模式 ${\beta }_i$ 相比 $q_j$ 少了第 $k$ 个知识点，所以做第 $j$ 题时一定答错，如果对了那么只可能是猜对！因此猜测概率为 $DINA$ 估计的猜测参数。但 $DINA$ 模型的输入为 $Q_{\setminus [j,:]},R_{\setminus [:,j]}$，输出无第 $j$ 题的猜测参数，因此采用其他题目的平均作为估计，${\tilde{g}}_j={\sum }_{l=1}^{J-1}{\tilde{g}}_l$，统计量服从二项分布： $X\sim B(n_S,{\tilde{g}}_j),P(X=x)=C_{n_S}^x{\tilde{g}}_j^x(1-{\tilde{g}}_j{)}^{(n_S-x)}$

      5. 原假设不成立时，$q_{jk}=0$，即第 $j$ 题未考察了第 $k$ 个知识点，而 $S$ 中的学生此时做第 $j$ 题一定做对的，$Y$ 有偏大的趋势，拒绝域形式为 $[c,+\infty ]$。即 $W_2=\{(r_{1j},r_{2j},...,r_{n_{S}j}):Y>c\}=\{n_T-{\sum }_{i\in S}{r}_{ij}>c\}$

      6. 给定置信度 $\alpha$ 进行检验（做对的人太多说明这题没考这么多知识点） $P(Y\ge c)={\sum }_{x=c}^{n_S}P(X=x)\le \alpha$

思考

问题 1

问题 1：假设检验原假设不能写成 $H_0:q^k=q_0$，否则当 $H_0$ 不成立，有两种情形

1. Q 矩阵错误类型，属性缺失：
   1. 第 $k$ 题的真实 $q^k$ 在 $q_{up}$ 中，即真实的 $q^k$ 向量应该有更多属性，那么以当前少属性的 $q$ 向量这种掌握模式的人去做第 $k$ 题，显然错误比较多，所以统计量应该变大
2. Q 矩阵错误类型，属性冗余：
   1. 第 $k$ 题的真实 $q^k$ 在 $q_{down}$ 中，即真实的 $q^k$ 向量应该有更少的属性，那么当前更多属性的 $q$ 向量这种掌握模式的人去做第 $k$ 题，正确率和前者相比正确率并没有太大变化。 因此第二种情形的 $q$ 向量几乎没法拒绝，所以需要分情况讨论。

问题 2

题目质量太差的时候（一般不如 $\delta$ 法） 题目质量不好导致学生猜对太多，$g$ 偏大，会导致二项分布 $B(n,g)$ 右偏，拒绝域右移，更难拒绝 就算 q 向量是错的，这个 q 向量的掌握模式也做对了很多题目，导致错误题目不足够多，没有把握认为 q 向量是错的。

问题 3

gs 的估计准确率对假设检验的影响是存在的，需要找到那些改不出来的题目查看原因

问题 4

对比 $\delta$ 法是根据每道题目的 $1-g-s$ 的大小判断所有$q$向量的好坏

$\gamma$ 法是根据每道题目的 $s$ 判断 q 向量缺失的属性，根据 $g$ 判断 $q$ 向量冗余的属性

假设检验法是根据每道题的考察知识点掌握的人做错的是否足够多，判断 q 向量是否缺失属性 根据每道题目考察知识点掌握的人做对的是否足够多，决定 q 向量缺失的属性 根据每道题目考察知识点掌握的人做对的是否足够多，决定 q 向量冗余的属性