8.决策树与随机森林.pdf

立即下载 作者: 庸人自扰1
上传时间: 2025-05-16
关键词: log 71 july edu.com 条件 复习 函数 目标 回归 
大小 2.7 MB
描述
决策树与随机森林
3月机器学习在线班 邹博
2015年3月29日
2/71 julyedu.com
目标任务与主要内容
 复习信息熵
 熵、联合熵、条件熵、互信息
 决策树学习算法
 信息增益
 ID3、C4.5、CART
 Bagging与随机森林的思想
 投票机制
3/71 julyedu.com
先提个额外的问题
 线性回归的目标函数：
 Logistic回归的目标函数：
 请问：既然二者都隶属广义线性回归的理论
体系，为什么他们的目标函数，一个是最小
二乘，一个是似然函数？
4/71 julyedu.com
复习：条件熵
 H(X,Y) – H(X)
 (X,Y)发生所包含的熵，减去X单独发生包含的
熵：在X发生的前提下，Y发生“新”带来的熵
 该式子定义为X发生前提下，Y的熵：
 条件熵H(Y|X)
5/71 julyedu.com
复习：推导条件熵的定义式



 















yx
yx
yxyx
x yyx
xyx
xypyxp
xp
yxp
yxp
xpyxpyxpyxp
xpyxpyxpyxp
xpxpyxpyxp
XHYXH
,
,
,,
,
,
)|(log),(
)(
),(
log),(
)(log),(),(log),(
)(log),(),(log),(
)(log)(),(log),(
)(),(
6/71 julyedu.com
复习：根据条件熵的定义式，可以得到
 
 
 

















x
x y
x y
x y
x y
yx
xXYHxp
xypxypxp
xypxypxp
xypxypxp
xypyxp
xypyxpXHYXH
|)(
)|(log)|()(
)|(log)|()(
)|(log)|()(
)|(log),(
)|(log),()(),(
,
7/71 julyedu.com
复习：熵的等式
目录
log/71/july/edu.com/条件/复习/函数/目标/回归// log/71/july/edu.com/条件/复习/函数/目标/回归//