0 前言
- 本文主要介绍决策树信息增益比的计算,并给出例子帮助读者理解。
- 读者需要具备:信息熵、条件熵、信息增益 相关知识。
- 本文使用数据集:游玩数据集 1.1节。
1 信息增益比计算公式
2 信息增益比计算
2.1 gR(play,outlook)的计算
根据信息增益(跳转)相关知识,得出:
-
特征outlook对数据集D的信息增益g(D,outlook)就等同于g(play,outlook),这里play是最终分类的属性。
先计算分子:g(play,outlook),有如下计算过程:
H(play)=-(5/14)log2(5/14)-(9/14)log2(9/14)=0.9403
H(play|outlook)=(4.0/14)* 0.0000+(5.0/14)* 0.9710+(5.0/14)* 0.9710=0.6935
g(play,outlook)=H(play)-H(play|outlook)=0.9403-0.6935=0.2467
H(play)的计算方法请参考:信息熵。
H(play|outlook)的计算方法请参考:条件熵。 -
根据分母HA(D)的公式,不难看出其就是某个随机变量D的信息熵。
故有HA(D)等同于H(A),即随机变量A的信息熵,在本例题等同于H(outlook)。
计算分母:H(outlook)=-(4/14)log2(4/14)-(5/14)log2(5/14)-(5/14)log2(5/14)=1.5774 -
计算gR(play,outlook)。
根据公式gR(play,outlook)=g(play,outlook) / H(outlook) = 0.2467 / 1.5774=0.1564
2.2 gR(play,temperature)的计算
-
计算分子g(play,temperature)。
H(play)=-(5/14)log2(5/14)-(9/14)log2(9/14)=0.9403
H(play|temperature)=(4.0/14)* 0.8113+(4.0/14)* 1.0000+(6.0/14)* 0.9183=0.9111
g(play,temperature)=H(play)-H(play|temperature)=0.9403-0.9111=0.0292 -
计算分母H(temperature)。
H(temperature)=-(4/14)log2(4/14)-(4/14)log2(4/14)-(6/14)log2(6/14)=1.5567 -
计算gR(play,temperature)。
gR(play,temperature)=g(play,temperature) / H(temperature)=0.0292/1.5567=0.0188
3 计算程序
4 结语
如有错误请指正,禁止商用。
1.本站内容仅供参考,不作为任何法律依据。用户在使用本站内容时,应自行判断其真实性、准确性和完整性,并承担相应风险。
2.本站部分内容来源于互联网,仅用于交流学习研究知识,若侵犯了您的合法权益,请及时邮件或站内私信与本站联系,我们将尽快予以处理。
3.本文采用知识共享 署名4.0国际许可协议 [BY-NC-SA] 进行授权
4.根据《计算机软件保护条例》第十七条规定“为了学习和研究软件内含的设计思想和原理,通过安装、显示、传输或者存储软件等方式使用软件的,可以不经软件著作权人许可,不向其支付报酬。”您需知晓本站所有内容资源均来源于网络,仅供用户交流学习与研究使用,版权归属原版权方所有,版权争议与本站无关,用户本人下载后不能用作商业或非法用途,需在24个小时之内从您的电脑中彻底删除上述内容,否则后果均由用户承担责任;如果您访问和下载此文件,表示您同意只将此文件用于参考、学习而非其他用途,否则一切后果请您自行承担,如果您喜欢该程序,请支持正版软件,购买注册,得到更好的正版服务。
5.本站是非经营性个人站点,所有软件信息均来自网络,所有资源仅供学习参考研究目的,并不贩卖软件,不存在任何商业目的及用途
暂无评论内容