AIC 与 BIC：模型比较准则

AIC（赤池）与 BIC（贝叶斯）信息准则用于衡量模型质量，并对复杂度施加惩罚以防过拟合。

• AIC/BIC 越小 → 模型越好。数值本身没有意义，有意义的只是两个模型之间的差。
• AIC = n·ln(RSS/n) + 2k    BIC = n·ln(RSS/n) + k·ln(n)
• BIC 对额外参数的惩罚比 AIC 更重
• BIC 倾向于选择更简单的模型

该用 AIC 还是 BIC？AIC 问的是“哪个模型预测得更准”，BIC 问的是“哪个模型更可能是正确的”。要预测过程 → AIC。要判断哪些变量真正重要 → BIC。两者结论不一致本身就是信息：多出来的变量有助于预测，但证据并不充分。

差多少才算数？ΔAIC 小于 2 → 打平，取更简单的模型。2 到 10 → 较小的确实更好。大于 10 → 差距具有决定性。

关键规则：只有在同一数据集上比较模型时，AIC/BIC 才有意义。行数相同、响应变量相同；增删任何一行，这些数值就不再可比。