Древовидные модели — пороги и взаимодействия
Регрессия отвечает на один вопрос: насколько меняется отклик на единицу входа. Два очень частых цеховых случая от неё ускользают — эффект, начинающийся только выше порога (до 700 °C всё нормально, выше — беда), и эффект, возникающий лишь когда два входа высоки одновременно.
Дерево вместо этого ищет точки разбиения и находит оба. Одиночное дерево читаемо, но запоминает свои данные; случайный лес усредняет сотни деревьев и обобщает намного лучше, ценой того, что его нельзя нарисовать.
Важность здесь измеряется перестановкой на строках, которых модель не видела: одну переменную перемешивают и смотрят, насколько падает оценка. Это устраняет смещение важности по примесности, которая льстит столбцам со множеством различных значений. Важность всё равно не причинность: две копии одного измерения делят вклад и обе могут выглядеть неважными.
Дерево вместо этого ищет точки разбиения и находит оба. Одиночное дерево читаемо, но запоминает свои данные; случайный лес усредняет сотни деревьев и обобщает намного лучше, ценой того, что его нельзя нарисовать.
Важность здесь измеряется перестановкой на строках, которых модель не видела: одну переменную перемешивают и смотрят, насколько падает оценка. Это устраняет смещение важности по примесности, которая льстит столбцам со множеством различных значений. Важность всё равно не причинность: две копии одного измерения делят вклад и обе могут выглядеть неважными.
Попробовать в приложении
Попробуйте: вкладка «Древовидные модели» → Загрузить пример → Построить модель. Сравните оценку на невиданных данных с обучающей, затем переключитесь на «одно дерево» и прочитайте разбиения.