مدل‌های درختی — آستانه‌ها و اثرهای متقابل

رگرسیون تنها به یک پرسش پاسخ می‌دهد: با تغییر یک واحد در ورودی، پاسخ چقدر تغییر می‌کند؟ دو الگوی بسیار رایج کارگاهی از دستش می‌گریزد — اثری که فقط بالای یک آستانه آغاز می‌شود (تا ۷۰۰ درجه بی‌خطر، بالاتر ویرانگر) و اثری که تنها وقتی دو ورودی هم‌زمان بالا باشند پدیدار می‌شود.

درخت به‌جای آن نقاط تقسیم را می‌جوید و هر دو را می‌یابد. درخت یگانه خواناست اما داده خود را حفظ می‌کند؛ جنگل تصادفی از صدها درخت میانگین می‌گیرد و بسیار بهتر تعمیم می‌دهد، به بهای آنکه ترسیم‌پذیر نیست.

اهمیت در اینجا با جایگشت روی سطرهایی که مدل ندیده اندازه‌گیری می‌شود: یک متغیر درهم ریخته می‌شود و افت امتیاز سنجیده می‌شود. این کار سوگیری اهمیت مبتنی بر ناخالصی را کنار می‌زند، همان که ستون‌های دارای مقادیر متمایز فراوان را می‌نوازد. با این همه اهمیت، علیت نیست: دو نسخه از یک اندازه‌گیری سهم را تقسیم می‌کنند و ممکن است هر دو بی‌اهمیت به نظر برسند.