扫一扫
关注中图网
官方微博
本类五星书更多>
-
>
全国计算机等级考试最新真考题库模拟考场及详解·二级MSOffice高级应用
-
>
决战行测5000题(言语理解与表达)
-
>
软件性能测试.分析与调优实践之路
-
>
第一行代码Android
-
>
C Primer Plus 第6版 中文版
-
>
深度学习
-
>
MATLAB计算机视觉与深度学习实战-赠在线交流卡和本书源码
稀疏学习、分类与识别 版权信息
- ISBN：9787030523471
- 条形码：9787030523471 ; 978-7-03-052347-1
- 装帧：一般胶版纸
- 册数：暂无
- 重量：暂无
- 所属分类：>
稀疏学习、分类与识别 内容简介
本书对近年来稀疏学习、分类与识别领域常见的理论及技术进行了较为全面的阐述和总结，并结合作者多年的研究成果，对相关理论及技术在应用领域的实践情况进行了展示和报告。全书从认稀疏学习、分类与识别三个方面展开，主要内容包含如下方面：机器学习理论基础；快速密度加权低秩近似谱聚类；双图正则非负矩阵分解；学习鲁棒低秩矩阵分解；学习谱表示应用于半监督聚类；用低秩矩阵填充学习数据表示；结合约束与低秩核学习的半监督学习；基于子空间类标传播和正则判别分析的单标记图像人脸识别；基于双线性回归的单标记图像人脸识别；基于旋转扩展和稀疏表示的鲁棒遥感图像目标识别；压缩感知理论基础；基于分块策略和过完备字典的非凸压缩感知框架；基于协同优化的稀疏重构；几何结构指导的协同压缩感知；基于过完备字典的方向结构估计模型及重构方法；基于多特征核稀疏表示学习的高光谱图像分类；基于类级稀疏表示学习的高光谱图像空谱联合分类等方法。
稀疏学习、分类与识别 目录
目录
前言
第1章 引言 1
1.1 机器学习理论 1
1.1.1 维数约简 2
1.1.2 稀疏与低秩 2
1.1.3 半监督学习 4
1.2 压缩感知理论 5
1.2.1 压缩感知的研究意义 5
1.2.2 压缩感知的理论框架 6
1.2.3 压缩感知的重构算法介绍 8
1.3 高光谱遥感技术 9
1.3.1 遥感技术 9
1.3.2 高光谱遥感技术发展现状 10
1.3.3 高光谱遥感技术的应用 13
参考文献 15
第2章 机器学习理论基础 19
2.1 维数约简的研究进展 19
2.1.1 子空间分割 19
2.1.2 稀疏表示 21
2.1.3 矩阵恢复与填充21
2.1.4 非线性降维 22
2.2 半监督学习与核学习的研究进展 23
2.2.1 半监督学习 23
2.2.2 非参数核学习 24
参考文献 25
第3章 快速密度加权低秩近似谱聚类 29
3.1 引言 29
3.2 背景与相关工作 30
3.2.1 谱聚类算法 30
3.2.2 近邻传播算法 30
3.2.3 Nystrom方法 31
3.3 全局距离测度与采样算法 33
3.3.1 全局距离 33
3.3.2 快速采样算法 34
3.4 快速两阶段谱聚类框架 35
3.4.1 采样阶段 36
3.4.2 正交化的密度加权近似谱聚类阶段 36
3.5 算法分析 39
3.5.1 采样算法比较 39
3.5.2 有效性分析 40
3.5.3 快速近邻搜索 41
3.5.4 复杂度分析 42
3.6 实验结果 42
3.6.1 双螺旋线数据 42
3.6.2 实际数据 44
3.6.3 评价指标 44
3.6.4 比较算法 45
3.6.5 聚类结果 46
3.6.6 参数稳定性分析 48
3.6.7 谱嵌入 50
参考文献 50
附录 52
第4章 双图正则非负矩阵分解 54
4.1 引言 54
4.2 相关工作 55
4.2.1 非负矩阵分解 55
4.2.2 图正则非负矩阵分解 56
4.2.3 双正则联合聚类 57
4.3 双图正则非负矩阵分解方法 57
4.3.1 数据图与特征图 57
4.3.2 DNMF模型 58
4.3.3 迭代更新规则 59
4.3.4 收敛性分析 60
4.4 双图正则非负矩阵三分解 60
4.4.1 DNMTF模型 61
4.4.2 迭代规则 61
4.4.3 收敛性分析 62
4.4.4 复杂度分析 63
4.5 实验 63
4.5.1 比较算法 63
4.5.2 UCI 数据 64
4.5.3 图像数据 66
4.5.4 稳定性分析 69
4.5.5 雷达高分辨距离像数据 70
参考文献 72
附录A (定理4.1的证明) 74
附录B (定理4.2的证明) 75
第5章 学习鲁棒低秩矩阵分解 77
5.1 引言 77
5.2 相关工作及研究进展 78
5.3 鲁棒低秩矩阵分解框架 80
5.3.1 单子空间模型 80
5.3.2 多子空间模型 80
5.4 基于交替方向法的迭代算法 81
5.4.1 引入辅助变量 81
5.4.2 迭代求解算法 82
5.4.3 求解单子空间模型 85
5.4.4 拓展应用于矩阵填充 85
5.4.5 复杂度分析 87
5.5 实验 87
5.5.1 人工数据聚类 87
5.5.2 人脸聚类 90
5.5.3 背景建模 93
5.5.4 图像修复 94
参考文献 95
第6章 学习谱表示应用于半监督聚类 98
6.1 引言 98
6.2 图的创建与谱表示 99
6.2.1 对称偏好图 99
6.2.2 图拉普拉斯谱嵌入 100
6.3 问题模型与求解 101
6.3.1 目标函数 101
6.3.2 问题求解 102
6.4 算法 103
6.4.1 半监督聚类 103
6.4.2 直推式分类 104
6.4.3 复杂度分析 106
6.5 实验 106
6.5.1 比较算法与参数设置 106
6.5.2 人工数据集 107
6.5.3 向量型数据 108
6.5.4 图结构数据 113
6.5.5 半监督聚类应用 115
6.5.6 直推式分类应用 116
参考文献 117
第7章 应用低秩矩阵填充学习数据表示 120
7.1 引言 120
7.2 学习谱表示框架 122
7.2.1 核矩阵填充 122
7.2.2 提升矩阵学习模型 123
7.3 特征值迭代阈值算法 123
7.3.1 改进的不动点算法 124
7.3.2 加速策略 125
7.3.3 半监督聚类 127
7.3.4 推广到分类问题 127
7.3.5 复杂度分析 128
7.4 收敛性分析 128
7.5 实验 129
7.5.1 学习谱表示 129
7.5.2 比较算法与参数设置 130
7.5.3 向量型数据 131
7.5.4 图结构数据 134
7.5.5 分类应用 136
参考文献 137
附录A (定理7.2的证明) 140
附录B (定理7.3的证明) 140
附录C (定理7.4的证明) 140
附录D (定理7.6的证明) 141
第8章 结合约束与低秩核学习的半监督学习 143
8.1 引言 143
8.2 符号与相关工作 145
8.3 复合信息半监督学习框架 147
8.3.1 基本框架 147
8.3.2 核范数正则模型 147
8.4 半监督学习算法 148
8.4.1 改进的不动点迭代算法 149
8.4.2 连续性策略和BB 步长技术 151
8.4.3 标签传播 152
8.5 算法分析 154
8.5.1 收敛性分析 154
8.5.2 合法核154
8.5.3 复杂度分析 155
8.5.4 归纳分类 155
8.6 实验 155
8.6.1 比较算法与参数设置 156
8.6.2 交叉螺旋线数据 156
8.6.3 实际数据 157
8.6.4 直推式分类 158
8.6.5 归纳分类 162
参考文献 163
第9章 基于子空间类标传播和正则判别分析的单标记图像人脸识别 166
9.1 引言 166
9.2 正则判别分析和稀疏保持判别分析 167
9.3 子空间类标传播 168
9.4 基于子空间类标传播和正则判别分析的半监督维数约简 169
9.5 相关方法比较 171
9.6 实验 172
参考文献 177
第10章 基于双线性回归的单标记图像人脸识别 178
10.1 引言 178
10.2 LDA和RDA简述 180
10.2.1 LDA 180
10.2.2 RDA 180
10.3 双线性回归 181
10.3.1 基于子空间假设的类标传播 181
10.3.2 学习稀疏表示结构 182
10.3.3 稀疏保持正则项 183
10.3.4 基于双线性回归的半监督维数约简 184
10.3.5 核DLR 185
10.3.6 计算复杂性分析 186
10.4 相关方法比较 187
10.5 实验 188
10.5.1 数据库介绍 188
10.5.2 实验设置 189
10.5.3 实验结果与讨论 190
10.5.4 DLR方法的进一步探索 194
参考文献 196
第11章 基于旋转扩展和稀疏表示的鲁棒遥感图像目标识别 200
11.1 引言 200
11.2 基于稀疏表示的识别 201
11.2.1 稀疏表示 201
11.2.2 稀疏表示用于识别 202
11.3 基于旋转扩展和稀疏表示的遥感目标识别 203
11.4 实验结果与分析 205
11.4.1 基于RETSRC的遥感图像目标识别 206
11.4.2 旋转扩展倍数对识别性能的影响 207
参考文献 208
第12章 压缩感知理论基础 210
12.1 压缩感知概述 210
12.1.1 基于字典的稀疏表示 210
12.1.2 压缩观测 213
12.1.3 结构化稀疏重构模型 215
12.2 稀疏重构方法 218
12.2.1 凸松弛方法 218
12.2.2 贪婪方法 220
12.2.3 其他重构方法 221
12.2.4 基于自然计算优化方法的稀疏重构 222
参考文献 223
第13章 基于分块策略和过完备字典的非凸压缩感知框架 232
13.1 引言 232
13.2 基于过完备字典的分块压缩感知框架 233
13.2.1 分块压缩感知 233
13.2.2 过完备字典 233
13.2.3 结构化压缩感知模型 234
13.3 基于Ridgelet过完备字典的图像稀疏表示 234
13.4 结构化重构模型 237
13.4.1 基于图像自相似性的结构稀疏先验 237
13.4.2 基于图像块方向结构估计的重构模型 238
13.5 非凸重构策略 238
参考文献 239
第14章 基于协同优化的稀疏重构 240
14.1 引言 240
14.2 基于过完备字典的协同压缩感知 241
14.2.1 基于过完备字典的结构稀疏先验 241
14.2.2 基于协同优化的稀疏重构策略 241
14.2.3 相关工作 242
14.3 基于过完备字典的协同重构模型 244
14.3.1 基于字典的分块稀疏重构 244
14.3.2 基于结构稀疏模型的协同重构 244
14.3.3 基于自回归模型的协同重构 245
14.4 CR-CS协同重构算法 247
参考文献 254
第15章 基于过完备字典的方向结构估计模型及重构方法 256
15.1 引言 256
15.2 基于方向结构估计的重构模型 257
15.2.1 基于过完备字典的方向结构估计 257
15.2.2 稀疏字典的优化学习 257
15.2.3 基于方向结构估计的进化重构策略 258
15.3 相关工作 260
15.4 方向指导的稀疏字典优化及结构稀疏重构模型 260
15.4.1 方向指导的稀疏字典优化学习 260
15.4.2 基于稀疏子字典的结构稀疏重构模型 262
15.5 基于方向结构估计的非凸重构方法 263
15.5.1 基于字典的结
前言
第1章 引言 1
1.1 机器学习理论 1
1.1.1 维数约简 2
1.1.2 稀疏与低秩 2
1.1.3 半监督学习 4
1.2 压缩感知理论 5
1.2.1 压缩感知的研究意义 5
1.2.2 压缩感知的理论框架 6
1.2.3 压缩感知的重构算法介绍 8
1.3 高光谱遥感技术 9
1.3.1 遥感技术 9
1.3.2 高光谱遥感技术发展现状 10
1.3.3 高光谱遥感技术的应用 13
参考文献 15
第2章 机器学习理论基础 19
2.1 维数约简的研究进展 19
2.1.1 子空间分割 19
2.1.2 稀疏表示 21
2.1.3 矩阵恢复与填充21
2.1.4 非线性降维 22
2.2 半监督学习与核学习的研究进展 23
2.2.1 半监督学习 23
2.2.2 非参数核学习 24
参考文献 25
第3章 快速密度加权低秩近似谱聚类 29
3.1 引言 29
3.2 背景与相关工作 30
3.2.1 谱聚类算法 30
3.2.2 近邻传播算法 30
3.2.3 Nystrom方法 31
3.3 全局距离测度与采样算法 33
3.3.1 全局距离 33
3.3.2 快速采样算法 34
3.4 快速两阶段谱聚类框架 35
3.4.1 采样阶段 36
3.4.2 正交化的密度加权近似谱聚类阶段 36
3.5 算法分析 39
3.5.1 采样算法比较 39
3.5.2 有效性分析 40
3.5.3 快速近邻搜索 41
3.5.4 复杂度分析 42
3.6 实验结果 42
3.6.1 双螺旋线数据 42
3.6.2 实际数据 44
3.6.3 评价指标 44
3.6.4 比较算法 45
3.6.5 聚类结果 46
3.6.6 参数稳定性分析 48
3.6.7 谱嵌入 50
参考文献 50
附录 52
第4章 双图正则非负矩阵分解 54
4.1 引言 54
4.2 相关工作 55
4.2.1 非负矩阵分解 55
4.2.2 图正则非负矩阵分解 56
4.2.3 双正则联合聚类 57
4.3 双图正则非负矩阵分解方法 57
4.3.1 数据图与特征图 57
4.3.2 DNMF模型 58
4.3.3 迭代更新规则 59
4.3.4 收敛性分析 60
4.4 双图正则非负矩阵三分解 60
4.4.1 DNMTF模型 61
4.4.2 迭代规则 61
4.4.3 收敛性分析 62
4.4.4 复杂度分析 63
4.5 实验 63
4.5.1 比较算法 63
4.5.2 UCI 数据 64
4.5.3 图像数据 66
4.5.4 稳定性分析 69
4.5.5 雷达高分辨距离像数据 70
参考文献 72
附录A (定理4.1的证明) 74
附录B (定理4.2的证明) 75
第5章 学习鲁棒低秩矩阵分解 77
5.1 引言 77
5.2 相关工作及研究进展 78
5.3 鲁棒低秩矩阵分解框架 80
5.3.1 单子空间模型 80
5.3.2 多子空间模型 80
5.4 基于交替方向法的迭代算法 81
5.4.1 引入辅助变量 81
5.4.2 迭代求解算法 82
5.4.3 求解单子空间模型 85
5.4.4 拓展应用于矩阵填充 85
5.4.5 复杂度分析 87
5.5 实验 87
5.5.1 人工数据聚类 87
5.5.2 人脸聚类 90
5.5.3 背景建模 93
5.5.4 图像修复 94
参考文献 95
第6章 学习谱表示应用于半监督聚类 98
6.1 引言 98
6.2 图的创建与谱表示 99
6.2.1 对称偏好图 99
6.2.2 图拉普拉斯谱嵌入 100
6.3 问题模型与求解 101
6.3.1 目标函数 101
6.3.2 问题求解 102
6.4 算法 103
6.4.1 半监督聚类 103
6.4.2 直推式分类 104
6.4.3 复杂度分析 106
6.5 实验 106
6.5.1 比较算法与参数设置 106
6.5.2 人工数据集 107
6.5.3 向量型数据 108
6.5.4 图结构数据 113
6.5.5 半监督聚类应用 115
6.5.6 直推式分类应用 116
参考文献 117
第7章 应用低秩矩阵填充学习数据表示 120
7.1 引言 120
7.2 学习谱表示框架 122
7.2.1 核矩阵填充 122
7.2.2 提升矩阵学习模型 123
7.3 特征值迭代阈值算法 123
7.3.1 改进的不动点算法 124
7.3.2 加速策略 125
7.3.3 半监督聚类 127
7.3.4 推广到分类问题 127
7.3.5 复杂度分析 128
7.4 收敛性分析 128
7.5 实验 129
7.5.1 学习谱表示 129
7.5.2 比较算法与参数设置 130
7.5.3 向量型数据 131
7.5.4 图结构数据 134
7.5.5 分类应用 136
参考文献 137
附录A (定理7.2的证明) 140
附录B (定理7.3的证明) 140
附录C (定理7.4的证明) 140
附录D (定理7.6的证明) 141
第8章 结合约束与低秩核学习的半监督学习 143
8.1 引言 143
8.2 符号与相关工作 145
8.3 复合信息半监督学习框架 147
8.3.1 基本框架 147
8.3.2 核范数正则模型 147
8.4 半监督学习算法 148
8.4.1 改进的不动点迭代算法 149
8.4.2 连续性策略和BB 步长技术 151
8.4.3 标签传播 152
8.5 算法分析 154
8.5.1 收敛性分析 154
8.5.2 合法核154
8.5.3 复杂度分析 155
8.5.4 归纳分类 155
8.6 实验 155
8.6.1 比较算法与参数设置 156
8.6.2 交叉螺旋线数据 156
8.6.3 实际数据 157
8.6.4 直推式分类 158
8.6.5 归纳分类 162
参考文献 163
第9章 基于子空间类标传播和正则判别分析的单标记图像人脸识别 166
9.1 引言 166
9.2 正则判别分析和稀疏保持判别分析 167
9.3 子空间类标传播 168
9.4 基于子空间类标传播和正则判别分析的半监督维数约简 169
9.5 相关方法比较 171
9.6 实验 172
参考文献 177
第10章 基于双线性回归的单标记图像人脸识别 178
10.1 引言 178
10.2 LDA和RDA简述 180
10.2.1 LDA 180
10.2.2 RDA 180
10.3 双线性回归 181
10.3.1 基于子空间假设的类标传播 181
10.3.2 学习稀疏表示结构 182
10.3.3 稀疏保持正则项 183
10.3.4 基于双线性回归的半监督维数约简 184
10.3.5 核DLR 185
10.3.6 计算复杂性分析 186
10.4 相关方法比较 187
10.5 实验 188
10.5.1 数据库介绍 188
10.5.2 实验设置 189
10.5.3 实验结果与讨论 190
10.5.4 DLR方法的进一步探索 194
参考文献 196
第11章 基于旋转扩展和稀疏表示的鲁棒遥感图像目标识别 200
11.1 引言 200
11.2 基于稀疏表示的识别 201
11.2.1 稀疏表示 201
11.2.2 稀疏表示用于识别 202
11.3 基于旋转扩展和稀疏表示的遥感目标识别 203
11.4 实验结果与分析 205
11.4.1 基于RETSRC的遥感图像目标识别 206
11.4.2 旋转扩展倍数对识别性能的影响 207
参考文献 208
第12章 压缩感知理论基础 210
12.1 压缩感知概述 210
12.1.1 基于字典的稀疏表示 210
12.1.2 压缩观测 213
12.1.3 结构化稀疏重构模型 215
12.2 稀疏重构方法 218
12.2.1 凸松弛方法 218
12.2.2 贪婪方法 220
12.2.3 其他重构方法 221
12.2.4 基于自然计算优化方法的稀疏重构 222
参考文献 223
第13章 基于分块策略和过完备字典的非凸压缩感知框架 232
13.1 引言 232
13.2 基于过完备字典的分块压缩感知框架 233
13.2.1 分块压缩感知 233
13.2.2 过完备字典 233
13.2.3 结构化压缩感知模型 234
13.3 基于Ridgelet过完备字典的图像稀疏表示 234
13.4 结构化重构模型 237
13.4.1 基于图像自相似性的结构稀疏先验 237
13.4.2 基于图像块方向结构估计的重构模型 238
13.5 非凸重构策略 238
参考文献 239
第14章 基于协同优化的稀疏重构 240
14.1 引言 240
14.2 基于过完备字典的协同压缩感知 241
14.2.1 基于过完备字典的结构稀疏先验 241
14.2.2 基于协同优化的稀疏重构策略 241
14.2.3 相关工作 242
14.3 基于过完备字典的协同重构模型 244
14.3.1 基于字典的分块稀疏重构 244
14.3.2 基于结构稀疏模型的协同重构 244
14.3.3 基于自回归模型的协同重构 245
14.4 CR-CS协同重构算法 247
参考文献 254
第15章 基于过完备字典的方向结构估计模型及重构方法 256
15.1 引言 256
15.2 基于方向结构估计的重构模型 257
15.2.1 基于过完备字典的方向结构估计 257
15.2.2 稀疏字典的优化学习 257
15.2.3 基于方向结构估计的进化重构策略 258
15.3 相关工作 260
15.4 方向指导的稀疏字典优化及结构稀疏重构模型 260
15.4.1 方向指导的稀疏字典优化学习 260
15.4.2 基于稀疏子字典的结构稀疏重构模型 262
15.5 基于方向结构估计的非凸重构方法 263
15.5.1 基于字典的结
展开全部
稀疏学习、分类与识别 节选
第1章 引言 1.1 机器学习理论 机器学习（machine learning ）是当前人工智能主要的研究发展方向之一。机器学习与认知科学、心理学、计算机科学等许多学科都有着密切的联系，涉及领域比较广，已经成功地运用于许多实际问题，并取得了不错的学习效果，如自动驾驶汽车、疾病预测、下棋和语音识别等[1]。在解决这些实际问题的过程中，机器学习技术被深入地进行分析和研究，得到了迅速发展，并产生了很多优秀的学习算法，如常用的八大机器学习算法：决策树算法[2]、随机森林算法[3]、人工神经网络算法[4]、支持向量机算法[5]、Boosting 与Bagging 算法[6， 7]、关联规则算法[8， 9]、贝叶斯学习算法[10， 11]以及EM 算法[12]。 近年来随着计算机及采样技术的发展，人们可以越来越容易地获取海量的高维数据，如何从这些数据中找出合理有效的信息并进行探索，已成为机器学习、数据挖掘等领域研究的热点问题。高维数据对传统的机器学习与统计分析提出了严峻的挑战，如导致所谓的“维数灾难”(curse of dimensionality)[13]，也就是说为保证学习仍能获得良好的性能，样本集的大小需随着问题维数(变量或特征数目)的增加呈指数增长。与之相关的另一个挑战问题为空空间现象[14](empty space phenomenon)，即高维空间本质上是稀疏空间，如标准正态分布N(0，1)在只有一维变量时，[1， 1]区间内包含接近70%的数据点。然而当变量维数增加到十维时，以原点为球心的单位超球内只包含0.02% 的数据。另外，当样本数目远小于维数时，将导致典型的小样本(small sample size)问题，从而*终影响学习算法的推广能力[15]。 大量认知科学的实验验证了很多高维数据确实存在较低的本征维数，且分布于高维空间中的一个低维子流形上。例如，在不同角度、不同光照情况下，同一个人的图像集就是一个以姿态、尺度、光照等为参数的低维子流形。这也更加表明对高维数据进行维数约简具有必要性。人眼能在瞬间认出多年未曾谋面的老同学，然而计算机识别却很难做到。神经生物学研究发现视感知系统具有某种特性的不变性，且整个神经细胞群的触发率可由少量维度的变量来描述，这也进一步表明视神经元的群体活动由内在的低维结构所控制[16]。 1.1.1 维数约简 给定的数据是由n个m维的数据向量xi组成，且该数据集的本征维数为(一般情况下)，其中本征维数为嵌入在D维高维空间的数据集X分布或接近于低维子空间或流形的维数d。维数约简的基本思想是通过线性或非线性变换把高维的数据集X映射到一个低维空间，从而获得d(一般d≥d)维的数据表示，同时尽可能地保持原高维数据的信息。 如此一来，维数约简技术不仅囊括了经典的主成分分析(principal component analysis， PCA)[17]和线性判别分析(linear discriminant analysis， LDA)[18]等方法，而且诸如压缩感知中的随机投影[19]、图像下采样等策略也自然地归属于上述维数约简定义的范畴。维数约简通常分为特征提取(如PCA 和LDA)与特征选择(如图像下采样)两类方法。 维数约简可在很大程度上避免维数灾难，使得学习任务（如分类或聚类等）更加稳定、高效，并产生更优的推广性能。实际中，对于成千或上万甚至更高维的数据而言，如何通过维数约简技术获得数据的有效表示已变得越来越重要，也更具挑战性，且要满足两个基本特性[20]：数据的维数得到一定程度的约简，可有效地识别出数据的重要成分、内在结构特征及隐变量等；另外，通过将数据降维至二维或三维进行可视化，人们可准确直观地感知与发现隐藏在数据中的内在结构与规律。 1.1.2 稀疏与低秩 压缩感知(compressed sensing， CS)与稀疏表示(sparse representation，SR)是由Candès等提出的一种新的理论框架[21]，*早被用于从低维观测信号中恢复出高维原始信号，其优化问题如下所述： (1.1) 式中，表示范数，即向量中非零元素的个数；A∈ Rd×m为观测矩阵。该框架现已被广泛应用于信号与图像处理领域，如图像去噪、恢复(recovery)及超分辨率(supper-resolution)重建等，并取得了巨大成功。该理论框架表明：当感兴趣的信号是可稀疏表示的或具有可压缩性时，可以通过极少的采样或观测精确地重构该信号，也就是说，很多现实信号都拥有较多的冗余，类似的说法还有奥卡姆剃刀(Ockham’s razor)原理或*小描述长度(minimal description length)。稀疏表示已成为*近几年信号处理、机器学习、模式识别及计算机视觉等领域的一个研究热点。其实稀疏表示的概念早在1996 年Nature中就有涉及，将稀疏性正则引入到*小二乘问题中，计算得到具有方向特性的图像块，这样能很好地解释初级视皮层(V1)的工作原理[22]。另外，在同一年，著名的Lasso 算法[23]也被提出用于求解带有稀疏约束的*小二乘问题。 *近几年，衍生于压缩感知技术的低秩矩阵重建已成为机器学习、计算机视觉、信号处理、优化等领域*热的研究方向之一，并在图像与视频处理、计算机视觉、文本分析、多任务学习、推荐系统等方面得到了成功的应用[24]。矩阵恢复或填充可看成压缩感知理论由一维信号到二维矩阵的推广[25]。矩阵的稀疏性主要表现在两个方面：**是矩阵元素的稀疏性，即矩阵非0元素的个数相对较少，也就是矩阵的范数；第二是矩阵奇异值(若为对称矩阵，则为特征值)的稀疏性，即矩阵奇异值中的非0元素的个数相对较少，也就是秩函数值较小。先看矩阵奇异值的稀疏性，即通常假定待恢复或填充的矩阵为低秩的，可通过矩阵的某些线性运算的结果由如下的优化问题精确地重构该矩阵： (1.2) 式中，rank(.)为矩阵的秩函数；A(.)为一个线性算子。具体的低秩矩阵填充问题可表述为如下的形式： (1.3) 式中，Ω为已知元素下标的集合。PΩ()Z 定义为如下的形式： 若同时考虑矩阵元素与矩阵奇异值的稀疏性，可得到两类*近几年非常流行的问题模型：鲁棒主成分分析(robust principal component analysis， RPCA)或稀疏加低秩矩阵分解(sparse and low-rank matrix decomposition)模型和低秩表示(low-rank representation， LRR)模型。鲁棒主成分分析模型可由如下的优化问题描述： 式中，λ>0 为正则参数；为一种特定的正则策略，如用于对高斯噪声建模的Frobenius 范数[26， 27]，即，处理少量较大幅值噪声的l0范数[26， 28]，及可有效处理列噪声或奇异点的l2，0范数[29， 30]等。上述三类不同的噪声分别如图1.1所示。 然而上述的式(1.4)隐式地假设观测数据的潜在结构为单独一个低秩线性子空间[29， 31， 32]。很多实际数据都分布于多个线性子空间的并集中，且任何数据点属于某个子空间的关系也是未知的。*近，有一种低秩加稀疏矩阵分解的拓展模型被提出，并被称为低秩表示模型[29， 30]，即结合子空间分割与噪声识别于一个框架中用于处理多子空间问题。该低秩表示模型有如下所述的形式： (1.5) 图1.1 三类不同的噪声类型[29] 式中，Z∈Rm×n被文献[30]称为给定数据X的*低秩表示；D∈Rm×m为一个线性张成数据空间的字典，m为字典中原子或基的数目。 从本质上来讲，具有稀疏或低秩结构的数据可由很少的采样来完成该信号或数据的重建或鲁棒性恢复。因为稀疏性与低秩性假设同样适用于高维数据的分布特点，所以压缩感知技术非常适合于处理高维数据问题，可有效地避免传统机器学习与统计分析理论的不足。 1.1.3 半监督学习 传统的机器学习方法主要分为两大类：监督学习(supervised learning)和无监督学习(unsupervised learning)[33]。其中前者假设已有一些数据输入及其相应的输出，其目的为学习一个映射函数，使得该函数可预测新数据样本的输出，典型的问题有分类与回归；而无监督学习假设仅有一些数据输入而没有任何监督信息的指导，其目的是发现隐藏在数据中的某些性质，典型的问题包括聚类、概率密度估计及数据维数约简。有时标签数据不足以用于监督学习的训练，而采用无监督学习又会浪费标签数据中包含的信息。针对该问题，人们提出了半监督学习(semi-supervised learning， SSL)[33]，它能同时利用少量标签数据的信息和大量未标记数据中的隐含信息，达到比仅使用一种数据信息更好的学习效果，在理论和实践中已经引起了广泛的兴趣。文献[34]的研究表明半监督学习也非常符合人类的学习方式。 SSL又称为从标签和无标记数据中学习，是机器学习、数据挖掘与计算机视觉等领域中的一个研究热点[33]。传统的监督学习仅使用标签数据来进行训练，然而获取大量的标签数据通常很难，代价很高且需要耗费一定的人力和物力，还需要有经验的专家来标注。虽然主动学习(active learning)可有效地减少标注数据的代价，但是与传统的监督学习一样，它也不能利用无标签数据的信息。然而随着数据采集技术和计算机硬件技术的发展，收集大量的无标签样本已非常容易，SSL可同时利用少量标签数据和大量无标签数据来进行学习，以半监督分类为例，通过无标签样本和有标签样本一起构建性能更好的分类器[34]。另外，相对于标注数据，获得辅助信息(side information)，如成对约束(pairwise constraint)相对更加容易。成对约束表明相应的目标样本是属于同类或异类的，一般称之为Must-link(ML)或Cannot-link (CL)[35-37]。与半监督学习类似的一种方法是直推式学习(transductive learning)，它假定未标注样本为测试数据，其学习的目的是在那些无标签样本上取得*佳的推广能力。换句话说，SSL是一个开放的系统，即对任何未知的样本都能进行预测；而直推式学习则是一个封闭的系统，在学习时就已经知道了需要预测的测试数据[38]。 目前，SSL主要基于两种基本的假设，即聚类假设(cluster assumption)和流形假设(manifold assumption)。其中，聚类假设的内容为处在相同类簇中的样本有较大的可能性拥有相同的标签。由此假设可知，决策边界应该尽量通过数据分布较为稀疏的地方，从而避免把同一稠密类簇中的数据点分到决策边界两侧，即可表述为低密度分离(low density separation)：决策分界线应该在低密度分布区域。典型的方法主要有直推式SVMs(TSVMs)[39， 40]及其凸放松算法[41， 42]。流形假设的内容是所有数据位于或近似位于高维空间中的一个潜在低维子流形上。与聚类假设着眼于整体特性不同，流形假设主要考虑模型的局部特性，有很多种SSL 方法利用图拉普拉斯去刻画数据固有的几何分布结构，典型的方法有高斯随机场[43](Gaussian random fields， GRF)、局部与全局一致[44](local and global consistency，LGC)和流形正则[45， 46](manifold regularization)等。*近，Li 等[47]利用成对约束假设和聚类假设共同应用于分类问题，其中成对约束假设的内容为ML 约束的未标注数据点应为同类，而CL 约束的未标注实例应分到不同的类中。 1.2 压缩感知理论 1.2.1 压缩感知的研究意义
书友推荐
- >
诗经-先民的歌唱
诗经-先民的歌唱
¥15.9¥39.8 - >
唐代进士录
唐代进士录
¥18.7¥39.8 - >
龙榆生：词曲概论/大家小书
龙榆生：词曲概论/大家小书
¥9.1¥24.0 - >
企鹅口袋书系列·伟大的思想20:论自然选择(英汉双语)
企鹅口袋书系列·伟大的思想20:论自然选择(英汉双语)
¥6.3¥14.0 - >
李白与唐代文化
李白与唐代文化
¥9.9¥29.8 - >
我与地坛
我与地坛
¥16.8¥28.0 - >
罗曼·罗兰读书随笔-精装
罗曼·罗兰读书随笔-精装
¥40.6¥58.0 - >
回忆爱玛侬
回忆爱玛侬
¥10.5¥32.8
本类畅销
-
数学之美
¥48.3¥69 -
浪潮之巅-下册-第二版
¥22.1¥45 -
挑战程序设计竞赛(第2版)
¥55.3¥79 -
算法竞赛入门经典-(第2版)
¥34.9¥49.8 -
2022图书×抽奖盲袋
¥9.9¥25 -
2023读书月阅读盲盒——天黑，闭眼，刀谁？
¥42.3¥158
