AIC & BIC: Model Karşılaştırma Kriterleri

AIC (Akaike) ve BIC (Bayes) Bilgi Kriterleri, aşırı uyumu önlemek için karmaşıklığı cezalandırarak model kalitesini ölçer.

• Daha düşük AIC/BIC → daha iyi model. Sayının kendisi tek başına bir şey söylemez — anlamlı olan iki model arasındaki farktır.
• AIC = n·ln(RSS/n) + 2k    BIC = n·ln(RSS/n) + k·ln(n)
• BIC parametreleri AIC'den daha fazla cezalandırır
• BIC daha sade modellere yönelir

AIC mi BIC mi? AIC "hangi model daha iyi tahmin eder?" diye sorar; BIC "hangi model doğru olana daha yakın?" diye. Süreci tahmin edeceksen → AIC. Hangi değişkenin gerçekten önemli olduğuna karar vereceksen → BIC. İkisi farklı model seçiyorsa bu da bir bilgidir: fazladan değişken tahmini iyileştiriyor ama güçlü bir kanıtı yok.

Fark ne kadar olmalı? ΔAIC 2'nin altında → modeller berabere, sade olanı al. 2-10 arası → düşük olan gerçekten daha iyi. 10'un üstünde → tartışmasız.

Kural: AIC/BIC yalnızca aynı veri seti üzerindeki modelleri karşılaştırmak için anlamlıdır. Aynı satırlar, aynı yanıt değişkeni — satır ekleyip çıkardığında sayılar karşılaştırılamaz hale gelir.