AIC et BIC : critères de comparaison de modèles

Les critères d'information AIC (Akaike) et BIC (bayésien) mesurent la qualité du modèle en pénalisant la complexité pour éviter le surapprentissage.

• AIC/BIC plus faible → meilleur modèle. La valeur absolue ne dit rien en soi : seul l'écart entre deux modèles compte.
• AIC = n·ln(RSS/n) + 2k    BIC = n·ln(RSS/n) + k·ln(n)
• Le BIC pénalise les paramètres supplémentaires plus que l'AIC
• Le BIC tend à choisir des modèles plus simples

AIC ou BIC ? L'AIC demande « quel modèle prédit le mieux ? » ; le BIC, « quel modèle est le plus probablement le bon ? ». Pour prédire un procédé → AIC. Pour décider quelles variables comptent vraiment → BIC. Quand les deux divergent, cette divergence est elle-même une information : la variable supplémentaire aide la prédiction mais n'est pas solidement étayée.

Quel écart compte ? ΔAIC inférieur à 2 → égalité, gardez le modèle le plus simple. Entre 2 et 10 → le plus faible est réellement meilleur. Au-delà de 10 → décisif.

Règle clé : l'AIC/BIC n'a de sens que pour comparer des modèles sur le même jeu de données. Mêmes lignes, même variable réponse : ajouter ou retirer des lignes rend les chiffres incomparables.