当前位置: 代码迷 >> 综合 >> 机器学习学习笔记.day12
  详细解决方案

机器学习学习笔记.day12

热度:87   发布时间:2023-12-23 03:06:07.0

周志华《机器学习》 学习笔记

最近开始学习机器学习,参考书籍西瓜书,做点笔记。



第十二章 计算学习理论

学习时结合http://www.dataguru.cn/article-11253-1.html方便理解;

12.1 基础知识

泛化误差:学习器在新样本上的误差,

经验误差:学习器在训练集上的误差,

Jensen不等式:

Hoeffding不等式:;v为总体比例,u为抽样样本比例;

12.2 PAC学习

概念:从样本空间到标记空间的映射;

若果样例的映射等于真实标记,则称为目标概念;

目标概念所构成的集合称为概念类;

已较大概率学的误差满足预设上限的模型,即概率近似正确的含义;

PAC辨识:

PAC可学习;存在学习算法和多项式函数ploy,使得对于任何,算法能从假设空间中PAC辨识概念类C;

12.3 有限假设空间

12.4 VC维

12.3和12.4参考上面链接,那里比书上讲的更形象;

12.5 Rademacher复杂度

这一节主要看看概念和公式即可,推导做了解;

12.6 稳定性

稳定性考察的时算法在输入发生变化时,输出是否会随之发生较大的变化;

对任何样输入中的样本,若学习算法满足:;则称算法关于损失函数l满足β-均匀稳定性;

对损失函数l,若学习算法所输出的假设满足经验损失最小化,则称算法满足经验风险最小化原则,简称算法ERM;

若学习算法是ERM且稳定的,则假设空间H可学习;

稳定性与假设空间通过损失函数l联系起来;



第十二章笔记写的相当少,主要还是参考上面的连接里面的内容,感觉那里比书上讲的更形象一些,这一章我作为了解看一下,有一个大致的轮廓即可。其中VC维和Rademacher复杂度较难理解,多花了点时间。这次笔记感觉做的很不好,以后改进。

我的笔记做的比较粗糙,还请见谅。

有不正确或者不完整的地方,欢迎补充。