AIC & BIC: Kriterien zum Modellvergleich

Die Informationskriterien AIC (Akaike) und BIC (bayessch) messen die Modellqualität und bestrafen Komplexität, um Overfitting zu vermeiden.

• Niedrigeres AIC/BIC → besseres Modell. Der absolute Wert sagt für sich nichts aus — es zählt nur der Abstand zwischen zwei Modellen.
• AIC = n·ln(RSS/n) + 2k    BIC = n·ln(RSS/n) + k·ln(n)
• BIC bestraft zusätzliche Parameter stärker als AIC
• BIC wählt tendenziell einfachere Modelle

AIC oder BIC? AIC fragt: „welches Modell sagt am besten vorher?“ BIC fragt: „welches Modell ist am wahrscheinlichsten das richtige?“ Zum Vorhersagen eines Prozesses → AIC. Zum Entscheiden, welche Variablen wirklich zählen → BIC. Widersprechen sich beide, ist auch das eine Information: die zusätzliche Variable hilft der Vorhersage, ist aber nicht gut belegt.

Wie groß muss der Unterschied sein? ΔAIC unter 2 → Gleichstand, nimm das einfachere Modell. 2 bis 10 → das niedrigere ist wirklich besser. Über 10 → eindeutig.

Kernregel: AIC/BIC sind nur beim Vergleich von Modellen auf demselben Datensatz sinnvoll. Dieselben Zeilen, dieselbe Zielgröße — Zeilen hinzufügen oder entfernen macht die Zahlen unvergleichbar.