ट्री मॉडल — सीमाएँ और अंतःक्रियाएँ

प्रतिगमन एक ही प्रश्न का उत्तर देता है: इनपुट की एक इकाई पर प्रतिक्रिया कितनी बदलती है। शॉप फ़्लोर के दो बेहद आम पैटर्न इससे छूट जाते हैं — वह प्रभाव जो किसी सीमा के ऊपर ही शुरू होता है (700 °C तक ठीक, उससे ऊपर विनाशकारी) और वह प्रभाव जो तभी दिखता है जब दो इनपुट एक साथ ऊँचे हों।

ट्री इसके बजाय विभाजन बिंदु खोजता है और दोनों पकड़ लेता है। अकेला ट्री पढ़ा जा सकता है पर अपना डेटा रट लेता है; रैंडम फ़ॉरेस्ट सैकड़ों पेड़ों का औसत लेता है और कहीं बेहतर सामान्यीकरण करता है — क़ीमत यह कि उसका चित्र नहीं बनता।

यहाँ महत्व क्रमचय से उन पंक्तियों पर मापा जाता है जिन्हें मॉडल ने देखा ही नहीं: एक चर फेंटा जाता है और देखा जाता है कि स्कोर कितना गिरा। इससे अशुद्धता-आधारित महत्व का पक्षपात टलता है, जो अनेक भिन्न मानों वाले स्तंभों को बढ़ावा देता है। फिर भी महत्व कार्य-कारण नहीं है: एक ही माप की दो प्रतियाँ श्रेय बाँट लेती हैं और दोनों महत्वहीन दिख सकती हैं।