如果一個(gè)純度在全是貓和非貓之間我們?nèi)绾味x這個(gè)純度呢我們看看熵的定義他是衡量樣本集不純度的一個(gè)指標(biāo)我么你看這個(gè)圖片左邊是熵函數(shù)橫軸代表的是一種占比宗哲則是熵值我們看左邊的例子如果有個(gè)樣本你3貓3狗則P10.5 在左邊的圖中對(duì)應(yīng)的熵值是1說明這個(gè)樣本相當(dāng)?shù)牟患內(nèi)绻袀€(gè)樣本你5貓1狗則P10.83 在左邊的圖中對(duì)應(yīng)的熵值是0.65說明這個(gè)樣本純度有所提升如果有個(gè)樣本你6貓0狗則P11 在左邊的圖中對(duì)應(yīng)的熵值是0說明這個(gè)樣本是純的純貓我們看一下熵函數(shù)的定義P0是非貓的比例 P01-P1下面是熵函數(shù)H(P1)的定義有一個(gè)叫做基尼準(zhǔn)則的東西作用和這個(gè)差不多后面我們看一下如何根據(jù)這些東西在決策樹的節(jié)點(diǎn)上根據(jù)什么特征來進(jìn)行分割