AIC и BIC: критерии сравнения моделей

Информационные критерии AIC (Акаике) и BIC (байесовский) оценивают качество модели, штрафуя за сложность, чтобы избежать переобучения.

• Меньше AIC/BIC → лучше модель. Само по себе значение ничего не говорит — важна только разница между двумя моделями.
• AIC = n·ln(RSS/n) + 2k    BIC = n·ln(RSS/n) + k·ln(n)
• BIC штрафует лишние параметры сильнее, чем AIC
• BIC склонен выбирать более простые модели

AIC или BIC? AIC спрашивает: «какая модель лучше предсказывает?», BIC: «какая модель вероятнее верна?». Нужен прогноз процесса → AIC. Нужно решить, какие переменные действительно важны → BIC. Если они расходятся, это тоже информация: лишняя переменная улучшает прогноз, но убедительных оснований для неё нет.

Какая разница считается? ΔAIC меньше 2 → ничья, берите более простую модель. От 2 до 10 → меньшая действительно лучше. Больше 10 → решающее преимущество.

Главное правило: AIC/BIC имеют смысл только при сравнении моделей на одном и том же наборе данных. Те же строки и та же зависимая переменная: стоит добавить или убрать строки — и числа уже несравнимы.