统计学习方法.pdf

统计学习方法.pdf
 

书籍描述

编辑推荐
《统计学习方法》是统计学习及相关课程的教学参考书,适用于高等院校文本数据挖掘、信息检索及自然语言处理等专业的大学生、研究生,也可供从事计算机应用相关专业的研发人员参考。

作者简介
李航,日本京都大学电气工程系毕业,日本东京大学计算机科学博士。曾任职于日本NEC公司中央研究所,现任微软亚洲研究院高级研究员及主任研究员。北京大学、南开大学、西安交通大学客座教授。研究方向包括信息检索、自然语言处理、统计机器学习及数据挖掘。

目录
第1章 统计学习方法概论
1.1 统计学习
1.2 监督学习
1.2.1 基本概念
1.2.2 问题的形式化
1.3 统计学习三要素
1.3.1 模型
1.3.2 策略
1.3.3 算法
1.4 模型评估与模型选择
1.4.1 训练误差与测试误差
1.4.2 过拟合与模型选择
1.5 正则化与交叉验证
1.5.1 正则化
1.5.2 交叉验证
1.6 泛化能力
1.6.1 泛化误差
1.6.2 泛化误差上界
1.7 生成模型与判别模型
1.8 分类问题
1.9 标注问题
1.10 回归问题
本章概要
继续阅读
习题
参考文献
第2章 感知机
2.1 感知机模型
2.2 感知机学习策略
2.2.1 数据集的线性可分性
2.2.2 感知机学习策略
2.3 感知机学习算法
2.3.1 感知机学习算法的原始形式
2.3.2 算法的收敛性
2.3.3 感知机学习算法的对偶形式
本章概要
继续阅读
习题
参考文献
第3章 众近邻法
3.1 k近邻算法
3.2 k近邻模型
3.2.1 模型
3.2.2 距离度量
3.2.3 k值的选择
3.2.4 分类决策规则
3.3 k近邻法的实现:kd树
3.3.1 构造af树
3.3.2 搜索af树
本章概要
继续阅读
习题
参考文献
第4章 朴素贝叶斯法
4.1 朴素贝叶斯法的学习与分类
4.1.1 基本方法
4.1.2 后验概率最大化的含义
4.2 朴素贝叶斯法的参数估计
4.2.1 极大似然估计
4.2.2 学习与分类算法
4.2.3 贝叶斯估计
本章概要
继续阅读
习题
参考文献
第5章 决策树
5.1 决策树模型与学习
5.1.1 决策树模型
5.1.2 决策树与isthen规则
5.1.3 决策树与条件概率分布
5.1.4 决策树学习
5.2 特征选择
5.2.1 特征选择问题
5.2.2 信息增益
5.2.3 信息增益比
5.3 决策树的生成
5.3.1 1d3算法
5.3.2 c4.5 的生成算法
5.4 决策树的剪枝
5.5 cart算法
5.5.1 cart生成
5.5.2 cart剪枝
本章概要
继续阅读
习题
参考文献
第6章 逻辑斯谛回归与最大熵模型
6.1 逻辑斯谛回归模型
6.1.1 逻辑斯谛分布
6.1.2 项逻辑斯谛回归模型
6.1.3 模型参数估计
6.1.4 多项逻辑斯谛回归
6.2 最大熵模型
6.2.1 最大熵原理
6.2.2 最大熵模型的定义
6.2.3 最大熵模型的学习
6.2.4 极大似然估计
6.3 模型学习的最优化算法
6.3.1 改进的迭代尺度法
6.3.2 拟牛顿法
本章概要
继续阅读
习题
参考文献
第7章 支持向量机
7.1 线性可分支持向量机与硬间隔最大化
7.1.1 线性可分支持向量机
7.1.2 函数间隔和几何间隔
7.1.3 间隔最大化
7.1.4 学习的对偶算法
7.2 线性支持向量机与软间隔最大化
7.2.1 线性支持向量机
7.2.2 学习的对偶算法
7.2.3 支持向量
7.2.4 合页损失函数
7.3 非线性支持向量机与核函数
7.3.1 核技巧
7.3.2 定核
7.3.3 常用核函数
7.3.4 非线性支持向量分类机
7.4 序列最小最优化算法
7.4.1 两个变量二次规划的求解方法
7.4.2 变量的选择方法
7.4.3 smo算法
本章概要
继续阅读
习题
参考文献
第8章 提升方法
8.1 提升方法adaboost算法
8.1.1 提升方法的基本思路
8.1.2 adaboost算法
8.1.3 adaboost的例子
8.2 adaboost算法的训练误差分析
8.3 adaboost算法的解释
8.3.1 前向分步算法
8.3.2 前向分步算法与ad9boost
8.4 提升树
8.4.1 提升树模型
8.4.2 提升树算法
8.4.3 梯度提升
本章概要
继续阅读
习题
参考文献
第9章 em算法及其推广
9.1 em算法的引入
9.1.1 em算法
9.1.2 em算法的导出
9.1.3 em算法在非监督学习中的应用
9.2 em算法的收敛性
9.3 em算法在高斯混合模型学习中的应用
9.3.1 高斯混合模型
9.3.2 高斯混合模型参数估计的em算法
9.4 em算法的推广
9.4.1 f函数的极大极大算法
9.4.2 gem算法
本章概要
继续阅读
习题
参考文献
第10章 隐马尔可夫模型
10.1 隐马尔可夫模型的基本概念
10.1.1 隐马尔可夫模型的定义
10.1.2 观测序列的生成过程
10.1.3 隐马尔可夫模型的3个基本问题
10.2 概率计算算法
10.2.1 直接计算法
10.2.2 前向算法
10.2.3 后向算法
10.2.4 一些概率与期望值的计算
10.3 学习算法
10.3.1 监督学习方法
10.3.2 baum-welch算法
10.3.3 baum-welch模型参数估计公式
10.4 预测算法
10.4.1 近似算法
10.4.2 维特比算法
本章概要
继续阅读
习题
参考文献
第11章 条件随机场
11.1 概率无向图模型
11.1.1 模型定义
11.1.2 概率无向图模型的因子分解
11.2 条件随机场的定义与形式
11.2.1 条件随机场的定义
11.2.2 条件随机场的参数化形式
11.2.3 条件随机场的简化形式
11.2.4 条件随机场的矩阵形式
11.3 条件随机场的概率计算问题
11.3.1 前向后向算法
11.3.2 概率计算
11.3.3 期望值的计算
11.4 条件随机场的学习算法
11.4.1 改进的迭代尺度法
11.4.2 拟牛顿法
11.5 条件随机场的预测算法
本章概要
继续阅读
习题
参考文献
第12章 统计学习方法总结
附录a 梯度下降法
附录b 牛顿法和拟牛顿法
附录c 拉格朗日对偶性
索引

文摘
版权页:

统计学习方法

插图:

统计学习方法

第1章 统计学习方法概论
本章简要叙述统计学习方法的一些基本概念.这是对全书内容的概括,也是全书内容的基础.首先叙述统计学习的定义、研究对象与方法;然后叙述监督学习,这是本书的主要内容;接着提出统计学习方法的三要素:模型、策略和算法;介绍模型选择,包括正则化、交叉验证与学习的泛化能力;介绍生成模型与判别模型;最后介绍监督学习方法的应用:分类问题、标注问题与回归问题.
1.1 统计学习
1.统计学习的特点
统计学习(statistical learning)是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科.统计学习也称为统计机器学习(statistical machine learning).
统计学习的主要特点是:(1)统计学习以计算机及网络为平台,是建立在计算机及网络之上的;(2)统计学习以数据为研究对象,是数据驱动的学科;(3)统计学习的目的是对数据进行预测与分析;(4)统计学习以方法为中心,统计学习方法构建模型并应用模型进行预测与分析;(5)统计学习是概率论、统计学、信息论、计算理论、最优化理论及计算机科学等多个领域的交叉学科,并且在发展中逐步形成独自的理论体系与方法论.
赫尔伯特•西蒙(Herbert A.Simon)曾对“学习”给出以下定义:“如果一个系统能够通过执行某个过程改进它的性能,这就是学习.”按照这一观点,统计学习就是计算机系统通过运用数据及统计方法提高系统性能的机器学习.现在,当人们提及机器学习时,往往是指统计机器学习.
2.统计学习的对象
统计学习的对象是数据(data).它从数据出发,提取数据的特征,抽象出数据的模型,发现数据中的知识,又回到对数据的分析与预测中去.作为统计学习的对象,数据是多样的,包括存在于计算机及网络上的各种数字、文字、图像、视频、音频数据以及它们的组合.
统计学习关于数据的基本假设是同类数据具有一定的统计规律性,这是统计学习的前提.这里的同类数据是指具有某种共同性质的数据,例如英文文章、互联网网页、数据库中的数据等.由于它们具有统计规律性,所以可以用概率统计方法来加以处理.比如,可以用随机变量描述数据中的特征,用概率分布描述数据的统计规律.
在统计学习过程中,以变量或变量组表示数据.数据分为由连续变量和离散变量表示的类型.本书以讨论离散变量的方法为主.另外,本书只涉及利用数据构建模型及利用模型对数据进行分析与预测,对数据的观测和收集等问题不作讨论。

内容简介
《统计学习方法》是计算机及其应用领域的一门重要的学科。《统计学习方法》全面系统地介绍了统计学习的主要方法,特别是监督学习方法,包括感知机、k近邻法、朴素贝叶斯法、决策树、逻辑斯谛回归与最大熵模型、支持向量机、提升方法、EM算法、隐马尔可夫模型和条件随机场等。除第1章概论和最后一章总结外,每章介绍一种方法。叙述从具体问题或实例入手,由浅入深,阐明思路,给出必要的数学推导,便于读者掌握统计学习方法的实质,学会运用。为满足读者进一步学习的需要,书中还介绍了一些相关研究,给出了少量习题,列出了主要参考文献。

购买书籍

当当网购书 京东购书 卓越购书

PDF电子书下载地址

相关书籍

搜索更多