Modelli ad albero — soglie e interazioni
La regressione risponde a una sola domanda: di quanto si muove la risposta per unità di ingresso. Due schemi molto comuni in officina le sfuggono: un effetto che parte solo sopra una soglia (tutto bene fino a 700 °C, disastroso sopra) e un effetto che compare solo quando due ingressi sono alti insieme.
Un albero cerca invece punti di taglio, quindi li trova entrambi. Un singolo albero è leggibile ma memorizza i suoi dati; una foresta casuale media centinaia di alberi e generalizza molto meglio, al prezzo di non essere disegnabile.
Qui l'importanza si misura per permutazione su righe che il modello non ha mai visto: si mescola una variabile e si guarda quanto cala il punteggio. Così si evita la distorsione dell'importanza per impurità, che favorisce le colonne con molti valori distinti. Importanza non è comunque causalità: due copie della stessa misura si dividono il merito e possono sembrare entrambe irrilevanti.
Un albero cerca invece punti di taglio, quindi li trova entrambi. Un singolo albero è leggibile ma memorizza i suoi dati; una foresta casuale media centinaia di alberi e generalizza molto meglio, al prezzo di non essere disegnabile.
Qui l'importanza si misura per permutazione su righe che il modello non ha mai visto: si mescola una variabile e si guarda quanto cala il punteggio. Così si evita la distorsione dell'importanza per impurità, che favorisce le colonne con molti valori distinti. Importanza non è comunque causalità: due copie della stessa misura si dividono il merito e possono sembrare entrambe irrilevanti.
Provalo nell'app
Prova: scheda Modelli ad albero → Carica esempio → Addestra il modello. Confronta il punteggio fuori campione con quello di addestramento, poi passa a «albero singolo» e leggi i tagli.