AIC و BIC: معیارهای مقایسهٔ مدل

معیارهای اطلاع AIC (آکائیکه) و BIC (بیزی) کیفیت مدل را می‌سنجند و برای پیشگیری از بیش‌برازش، پیچیدگی را جریمه می‌کنند.

• AIC/BIC کمتر ← مدل بهتر. خودِ عدد به‌تنهایی چیزی نمی‌گوید؛ آنچه اهمیت دارد اختلاف دو مدل است.
• AIC = n·ln(RSS/n) + 2k    BIC = n·ln(RSS/n) + k·ln(n)
• BIC پارامترهای اضافی را بیش از AIC جریمه می‌کند
• BIC به انتخاب مدل‌های ساده‌تر گرایش دارد

AIC یا BIC؟ AIC می‌پرسد «کدام مدل بهتر پیش‌بینی می‌کند؟» و BIC می‌پرسد «کدام مدل به‌احتمال بیشتر درست است؟». برای پیش‌بینی یک فرایند ← AIC. برای تصمیم دربارهٔ اینکه کدام متغیرها واقعاً مهم‌اند ← BIC. اگر این دو به یک نتیجه نرسند، همین اختلاف هم یک اطلاع است: متغیر اضافی به پیش‌بینی کمک می‌کند اما پشتوانهٔ محکمی ندارد.

چه اندازه اختلاف مهم است؟ ΔAIC کمتر از ۲ ← مساوی؛ مدل ساده‌تر را بردارید. بین ۲ تا ۱۰ ← مدل کمتر واقعاً بهتر است. بیش از ۱۰ ← قاطع.

قاعده کلیدی: AIC/BIC تنها برای مقایسه مدل‌ها روی همان مجموعه داده معنا دارد. همان سطرها و همان متغیر پاسخ؛ با افزودن یا حذف سطر، این اعداد دیگر قابل مقایسه نیستند.