导航菜单

机器学习(9)

文章目录一、闭式解(解析解)二、数值解三、一元线性回归中w和b的推导四、多元线性回归中w的推导五、角标问题

一、闭式解(解析解)

 1. 在机器学习中,闭式解也被称为解析解(analytical solution),是指可以通过严格的数学公式或方程直接求解出模型参数的解析解。  2. 闭式解通常用于线性回归等一些简单的模型中,其中模型参数的求解可以通过最小二乘法等数学方法直接得到。对于这些模型,闭式解能够提供最佳的解决方案,因为它们能够给出全局最优解。

二、数值解

 1. 数值解(numerical solution),是指通过数值计算方法来近似求解模型参数或优化问题的解。  2. 常见的数值解算法包括梯度下降、牛顿法、共轭梯度法、有限元方法、插值方法、数值逼近等。这些算法通过迭代地更新模型参数,使得损失函数或优化目标逐渐减小,直到达到收敛的条件。

总结:(1)数值解是在特定条件下通过近似计算得出来的一个数值;而解析解为该函数的解析式。 (2)解析解就是给出解的具体函数形式,从解的表达式中就可以算出任何对应值;数值解就是用数值方法求出解,给出一系列对应的自变量和解。

三、一元线性回归中w和b的推导

 注:根据代价函数,利用最小二乘法来求:

在这里插入图片描述

四、多元线性回归中w的推导

在这里插入图片描述

五、角标问题

 1.x i x^ixi 表示第iii 个输入变量/ 特征属性。x j x_jxj​ 表示第jjj 个特征。x j i x^i_jxji​ 表示iii 输入变量的jjj 特征。

 2. 如下面这个题答案是303030。

在这里插入图片描述

相关推荐: