知识图谱包含稀疏表示和稀疏字典。稀疏性使用范式。

稀疏表示和字典学习的简单理解

用于特征分类的稀疏表示字典学习

特征分类

相关特征：当前有用的属性冗余特征：所包含的信息有时可以从其他特征中推导出来。如果一个冗余特征恰好对应了学习任务所需的“中间概念”，有时可以降低学习任务的难度。

稀疏表示

稀疏性：数据集D对应的矩阵中有很多零元素，并且它们不以整列或整行的形式存在。稀疏表示：用较少的基本信号的线性组合来表示大部分或全部原始信号。求一个系数矩阵A(KN)和一个字典矩阵B(MK)，使得B*A尽可能还原X，A尽可能稀疏。 A是X的稀疏表示，其优点本质上是海量数据集的降维表示。稀疏表示的本质：用尽可能少的资源来表示尽可能多的知识，是自然信号的正则化器（约束）。例如，当我们解决逆问题（inverse Problem）时，我们希望将它们从所有损坏或噪声中提取出来。如果没有约束条件，满足条件的解决方案会有很多，你无法判断一种解决方案比其他解决方案更合适。稀疏表示被广泛用作自然信号的正则化器：这些信号被认为在某个域（domian）或某个基集（基数或字典）下具有稀疏表示。那些不具有这些特性的被认为是噪声、失真、非期望的解决方案.等等。这些可以被排除。摘自知乎：https://www.zhihu.com/question/26602796/answer/33431062

字典学习

为普通稠密表达样本找到合适的字典，将样本转换为合适的稀疏表达，从而简化学习任务，降低模型复杂度。它通常被称为“字典学习”（dictionarylearning），也被称为“稀疏编码”（sparsecoding）。字典学习最简单的形式是：

其中，B(d*k)是字典矩阵，k称为字典的词汇表，通常由用户指定，i是样本xi的稀疏表示。公式中第一项是希望i能够很好地重构xi，第二项是希望i能够尽可能稀疏。样本是d维的，稀疏表示是k维的。之所以使用L1范式，是因为L1范式正则化更容易获得稀疏解。

————————————————

什么是范数（norm）？以及L1,L2范数的简单介绍

L0、L1、L2规范具体定义：

(1) L0范数是指向量中非零元素的数量。其功能可以改善模型参数的稀疏性，但L0范数很难优化和求解。

（2）L1范数是指向量中每个元素的绝对值之和。其作用还可以改善模型参数的稀疏性。效果不如L0范数，但更容易解决，也更常用。

(3) L2范数是指向量各元素的平方和然后求平方根。它的作用是减小模型所有参数的大小，可以防止模型过拟合，也很常用。

什么是范数？

Norm是一个带有“距离”概念的函数。我们知道，距离的定义是一个广泛的概念。只要满足非负、自反、三角不等式，就可以称为距离。规范是距离概念的强化。它的定义比距离多了一种乘法算法。有时为了便于理解，我们可以将范数理解为距离。

在数学中，范数包括向量范数和矩阵范数。向量范数表示向量空间中向量的大小，矩阵范数表示矩阵引起的变化的大小。一个宽松的解释是，与向量范数相对应，向量空间中的所有向量都有一个大小。如何衡量这个尺寸，是通过常模来衡量的。不同的标准可以测量这个尺寸，就像米和尺子都可以测量相同的距离一样；至于矩阵范数，经过学习线性代数，我们知道，通过操作AX=B，可以将向量X变为B。矩阵范数就是用来衡量这个变化的大小的。

这里简单介绍一下以下向量范数的定义和含义：

2. L0范数当P=0时，为L0范数。从上面可以看出，L0范数并不是真正的范数。主要用来衡量向量中非零元素的个数。利用上述L-P的定义可以得到L-0的定义为：

这里有一点问题。我们知道非零元素的零次方是1，但是零的零次方和非零数的零次方又是什么鬼。 L0的含义很难解释，所以一般情况下，大家用的都是：

表示向量x 中非零元素的数量。对于L0范数，优化问题为：

在实际应用中，由于L0范数本身不易有良好的数学表示，因此很难给出上述问题的形式化表示，因此被认为是NP-hard问题。因此，在实际情况中，L0的优化问题会放宽到L1或L2下的优化。

3. L1范数L1范数是我们经常见到的范数。其定义如下：

表示向量x中非零元素的绝对值之和。 L1范数有很多名字，比如大家熟悉的曼哈顿距离、最小绝对误差等。L1范数可以用来衡量两个向量之间的差异，比如Sum of Absolute Difference：

对于L1范数，其优化问题如下：

由于L1范数的天然属性，L1优化的解是稀疏解，因此L1范数也称为稀疏规则算子。 L1可以用来实现稀疏特征，去除一些无信息的特征。例如，当对用户的电影偏好进行分类时，用户有100个特征，而只有十几个特征可能对分类有用。大多数特征如身高体重等可能是无用的，可以使用L1范数过滤掉。

4. L2范数L2范数是我们最常见、最常用的范数。最常用的度量距离（欧氏距离）是L2 范数。其定义如下：

表示向量元素平方和的平方根。与L1范数一样，L2也可以衡量两个向量之间的差异，例如Sum of Squared Difference :

对于L2范数，其优化问题如下：

L2范数通常作为正则化项来优化目标函数，防止模型过于复杂而无法迎合训练集而导致过拟合，从而提高模型的泛化能力。

5. L范数当p=时，也是L范数。主要用来衡量向量元素的最大值。与L0一样，通常表示为

在使用机器学习方法解决实际问题时，我们通常使用L1或L2范数进行正则化（regularization），以限制权重的大小，降低过拟合的风险。特别是当使用梯度下降来优化目标函数时，

L1和L2的区别

L1范数是指向量中每个元素的绝对值之和。它也被称为“套索正则化”。例如向量A=[1,-1,3]，则A的L1范数为|1|+|-1|+|3|。