优化方法概述

**作用：**最优化就是用来解决复杂函数的极值问题

# 主要方法

1、一阶方法：梯度下降法、最速下降法

2、二阶方法：牛顿法、拟牛顿法（构造一个近似的黑赛尔矩阵用于牛顿迭代）、高斯牛顿法（高斯—牛顿法不需要求解Hessian二阶信息）