机器学习问答，机器学习常见问题一【黑马大数据培训】

1. 简述梯度下降法和牛顿法的优缺点?

答：

随机梯度下降法：适用于样本量大的情况，需要内存小;但每一步可能并不是向着最优解方向 ;

牛顿法：收敛速度快;但对目标函数有严格要求，必须有连续的一、二阶偏导数，计算量大。

2. 正样本 10000，负样本 1000，怎样训练?

答：

正负样本悬殊具体数据记不太清楚了，异常检测算法(高斯分布算法)，可以适用于异常(也就是负样本)比较少的情况。

3. Relu 相对于 sigmoid 函数的优缺点?

答：

优点：分段线性，梯度较大，收敛速度快;Relu 会使一部分神经元的输出为 0，会造成了网络的稀疏性;

缺点：某些神经元可能永远不会被激活，导致相应的参数永远不能被更新。

4. 正则化方法?

答：

数据增强(Data Augmentation)、L1 正则化、L2 正则化、 Dropout、Drop Connect 和早停(Early stop)。

5. 说出物体检测、人脸识别、物体分割等某一领域的常见算法，并用一两句话简述其中一种算法的原理?

答：

物体检测：YOLO、R-CNN、Fast R-CNN、Faster R-CNN、Mask R-CNN、SSD 等;

YOLO 算法直接利用一个卷积神经网络就输出物体所在的位置以及所属的类别，是一个端到端的系统，因此检测速度特别快，可以达到实时性的要求

6.怎么从bias-variance trade-off的角度来理解和对比最小二乘回归和LASSO回归。

答：

当一个模型的bias较小、variance却很大，往往是因为模型过于复杂(变量太多)。我们知道最小二乘是无偏估计，也就是说bias很小。LASSO回归可以使得一部分变量的回归系数为0，所以就降低了模型的复杂度，从而减小了variance，但是无法避免地增加了bias。

7.随机森林算法和Boosting算法(包括adaboost, gbdt, xgboost, lightgbm)的主要区别是什么?

对于二元分类问题，请简述gbdt+lr的工作原理。

答：

随机森林和boosting都是由多个决策树组成的集成类算法，主要不同点是在随机森林中每棵树都是等权重的，而boosting中的每棵树并不是等权重的。

简单说来，gbdt+lr模型是利用gbdt中的决策树的输出来重新构造特征，再用逻辑回归进行训练。

8.二元分类问题经常会遇到非平衡数据的情况，也就是正样本和负样本的数量相差很大。在数据处理阶段，有哪些方法可以克服非平衡性?

在评价模型时，可以使用哪些度量标准?

答：

在数据预处理阶段，为了解决非平衡性的问题，通常会通过采样的方法让两者数量尽量平衡。比如对数量较少的标签样本进行过采样(over-sampling)，或者对数量较多标签的样本进行欠采样(down-sampling)，也可以进行聚类抽样或者smote采样。

对于非平衡数据，准确率(accuracy)和log-loss不再适用;常见的度量包括roc auc，precision-recall曲线auc，kappa值等等。

9.简述什么是凸优化。

简述梯度下降算法，并写出迭代公式。

如果该优化问题不是凸优化，用梯度下降法会遇到什么问题?

答：

目标函数为凸函数、可行域为凸集的优化问题就是凸优化问题。

梯度下降是一种用来求解f(x)f(x)的最小值的迭代算法。其迭代步骤为

xi+1=xi−α∇f(xi)xi+1=xi−α∇f(xi)

其中αα是步长，∇f(xi)∇f(xi)是ff在xixi点的梯度。

梯度下降算法只能用求解局部最优点。当原问题是凸优化问题的时候，求解全局最优就等价于求解局部最优。

如果该有问题不是凸优化，梯队下降法会陷入局部最优，从而无法找到全局最优。

10.第一类误差和第二类误差有什么区别?

答：

第一类误差指的是假正率，第二类指的是假负率。简单来说，第一类误差意味着假设为真的情况下，作出了拒绝原假设的一种错误推断。第二类误差意味着假设为假的情况下，做出了接受原假设的一种错误判断。

举个例子：第一类误差，你告诉一个男的他怀孕了。第二类误差，你告诉一个已经怀孕的女子，她没怀孕。

推荐了解热门学科