摘要

描述机器学习需要解决的学习问题的模型。

学习问题

　　学习问题的一般模型。

1. 学习模型

　　学习模型包含三部分组成：
　　1. 数据生成器（G）
　　2. 目标函数（S）
　　3. 学习机器（LM）

　　数据生成器是源头，它依据某一未知但固定的概率分布函数 $F(x)$ 独立同分布的产生数据 $x \in X$。

　　数据生成器生成的数据输入到目标函数中，目标函数根据条件分布 $F(y|x)$ 返回输出值 $y$。将输入 $\bf{x}$ 转换为 $y$ 的这个目标函数是未知但固定的。

　　学习机器从数据生成器和目标函数中观测到 $l$ 个样本：

$$(x_1,y_1), \ldots, (x_l, y_l)$$

　　这些样本是依据联合分布函数 $F(x,y) = F(x)F(y|x)$ 获取到的。然后学习机器构造一个函数用于预测由生成器产生的某个特定的 $x_i$ 对应由目标函数所生成的 $y_i$。学习机器的目标是构造一个目标函数 $S$ 适当的逼近。

　　学习机器追求以下两个目标之一：
　　1. 模仿目标函数：试图构造一个函数，对一个给定的生成器 G，该函数可以对目标函数输出提供最佳的预测效果；
　　2. 辨识目标函数：试图构造一个非常接近于目标函数的函数；

2. 解析

　　比如说我们现在经营着一个酒庄，我从一片果园中采了一些葡萄，然后经过一系列酿造工艺，生产出了不同品质的红酒。

　　从果园中采摘葡萄的过程就相当于生成器生成 $x$，由于整个果园中不同品质的葡萄分布肯定是有一定的分布特点的，我们假设这个分布是 $F(x)$，而我每次采摘一颗葡萄是没有任何挑选的，并且前后葡萄的采摘过程是没有影响的，这样我每次采摘葡萄就是根据分布函数 $F(x)$ 进行的独立同分布采集。

　　将采集到的葡萄送到酿造车间中进行生产酿造酒相当于目标函数产生 $y$。葡萄酿造出来的红酒可能会有不同的品质，即使是完全相同的两个葡萄，经过一系列的酿造过程产生的酒的品质也可能是不同的，那么就相当于酿造的过程本身也包含某种分布规律，并且酿酒的过程提供的葡萄的不同，对酒的品质是有很大影响的，因此这个酒的品质应该是一个依赖于输入葡萄的条件分布 $F(y|x)$。

　　我们酒庄的酒卖的很好，现在有人想要研究破解我们的酿造工艺，他们获取到了我们每个用于酿造红酒的葡萄的信息以及对应的最终产生的酒的品质，也就是：

$$(x_1,y_1), \ldots, (x_l, y_l)$$

　　这每一组数据的概率就是葡萄的分布 $F(x)$ 和红酒品质的分布 $F(y|x)$ 共同产生的联合概率 $F(x,y) = F(x)F(y|x)$。

　　却始终无法获取到我们的酿造工艺，因此，他们打算模仿我们的酿造工艺进行生产，根据用于酿造的葡萄的情况和红酒的品质来矫正他们的酿造工艺。