AIC और BIC: मॉडल तुलना कसौटियाँ

AIC (अकाइके) और BIC (बेयेसियन) सूचना मानदंड मॉडल गुणवत्ता मापते हैं और ओवरफिटिंग रोकने के लिए जटिलता पर दंड लगाते हैं।

• कम AIC/BIC → बेहतर मॉडल। अकेला मान कुछ नहीं बताता — मायने सिर्फ़ दो मॉडलों के बीच का अंतर रखता है।
• AIC = n·ln(RSS/n) + 2k    BIC = n·ln(RSS/n) + k·ln(n)
• BIC अतिरिक्त पैरामीटर पर AIC से अधिक दंड लगाता है
• BIC अधिक सरल मॉडल चुनने की प्रवृत्ति रखता है

AIC लें या BIC? AIC पूछता है "कौन-सा मॉडल बेहतर पूर्वानुमान देता है?", BIC पूछता है "कौन-सा मॉडल सही होने की अधिक संभावना रखता है?"। प्रक्रिया का पूर्वानुमान → AIC। कौन-से चर सचमुच मायने रखते हैं, यह तय करना → BIC। दोनों अलग उत्तर दें तो यह भी एक सूचना है: अतिरिक्त चर पूर्वानुमान सुधारता है, पर उसका प्रमाण मज़बूत नहीं।

अंतर कितना होना चाहिए? ΔAIC 2 से कम → बराबरी, सरल मॉडल लें। 2 से 10 → कम वाला वाकई बेहतर। 10 से ऊपर → निर्णायक।

मुख्य नियम: AIC/BIC केवल एक ही डेटासेट पर मॉडलों की तुलना करते समय अर्थपूर्ण हैं। वही पंक्तियाँ, वही अनुक्रिया चर — पंक्तियाँ जोड़ते या हटाते ही ये संख्याएँ तुलना योग्य नहीं रहतीं।