AIC e BIC: criteri per confrontare i modelli

I criteri di informazione AIC (Akaike) e BIC (bayesiano) misurano la qualità del modello penalizzando la complessità per evitare l'overfitting.

• AIC/BIC più bassi → modello migliore. Il valore assoluto non dice nulla da solo: conta solo la differenza fra due modelli.
• AIC = n·ln(RSS/n) + 2k    BIC = n·ln(RSS/n) + k·ln(n)
• Il BIC penalizza i parametri aggiuntivi più dell'AIC
• Il BIC tende a scegliere modelli più semplici

AIC o BIC? L'AIC chiede «quale modello prevede meglio»; il BIC «quale modello è più probabilmente quello giusto». Per prevedere un processo → AIC. Per decidere quali variabili contano davvero → BIC. Se i due non concordano, anche questo è un'informazione: la variabile in più aiuta la previsione ma non ha un sostegno solido.

Quanta differenza conta? ΔAIC sotto 2 → modelli pari, scegli il più semplice. Fra 2 e 10 → quello più basso è davvero migliore. Oltre 10 → decisivo.

Regola chiave: AIC/BIC hanno senso solo confrontando modelli sullo stesso set di dati. Stesse righe, stessa variabile risposta: aggiungendo o togliendo righe i numeri non sono più confrontabili.