假设我们想要一个能够预测二手车价格的系统。该系统的输入是我们认为会影响到车价的属性信息：品牌、车龄、发动机性能、里程以及其他信息。输出是车的价格。这种输出为数值的问题是回归(regression)问题。 设x表示车的属性，y表示车的价格。调查一下以往的交易情况，我们能够收集训练数据，而机器学习程序用一个函数拟合这些数据来学习x的函数y。图1-2给出了一个例子，其中对于w和w0的合适值，拟合函数具有以下形式： 回归和分类均为监督学习(supervised learning)问题，其中输入x和输出y给定，任务是学习从输入到输出的映射。机器学习的方法是，先假定某个依赖于一组参数的模型： 其中，g(·)是模型，θ是模型的参数。对于回归，y是数值;对于分类，y是类编码(如0/1)。g(·)为回归函数，或者(对于分类)是将不同类的实例分开的判别式函数。机器学习程序优化参数θ，使得逼近误差最小，也就是说，我们的估计要尽可能地接近训练集中给定的正确值。例如，图1-2所示的模型是线性的，w和w0是为最佳拟合训练数据优化的参数。在线性模型限制过强的情况下，我们可以利用比如二次函数： 或更高阶的多项式，或其他非线性函数，为最佳拟合优化它们的参数。 回归的另一个例子是对移动机器人的导航。例如，自动汽车导航。其中输出是每次转动车轮的角度，使得汽车前进而不会撞到障碍物或偏离车道。这种情况下，输入由汽车上的传感器(如视频相机、GPS等)提供。训练数据可以通过监视和记录驾驶员的动作收集。 我们来想象回归的其他应用，这里我们试图优化一个函数。假设我们想要造一个焙炒咖啡的机器，该机器有多个影响咖啡品质的输入：各种温度、时间、咖啡豆种类等配置。我们针对不同的输入配置进行大量试验，并测量咖啡的品质，例如，根据消费者的满意度测量咖啡的品质。为寻求最优配置，我们拟合一个联系这些输入和咖啡品质的回归模型，并在当前模型的最优样本附近选择一些新的点，以便寻找更好的配置。我们抽取这些点，检测咖啡的品质，将它们加入训练数据，并拟合新的模型。这通常被称为响应面设计(response surface design)。