AIC и BIC: критерии сравнения моделей

Информационные критерии AIC (Акаике) и BIC (байесовский) оценивают качество модели, штрафуя за сложность, чтобы избежать переобучения.

• Меньше AIC/BIC → лучше модель
• AIC = n·ln(RSS/n) + 2k    BIC = n·ln(RSS/n) + k·ln(n)
• BIC штрафует лишние параметры сильнее, чем AIC
• BIC склонен выбирать более простые модели

Главное правило: AIC/BIC имеют смысл только при сравнении моделей на одном и том же наборе данных.