贝叶斯优化

问题定义：给定函数f(x)，该函数计算成本高、甚至可能不是解析表达式，同时假定函数导数未知。

你的任务：找到函数得全局最小值。

这无疑是一项艰巨的任务，比机器学习中的其他优化问题还要困难。一般得优化问题可以通过以下三种方式求解：

• 梯度下降方法依赖函数求导，通过数学方法快速估计表达式。

• 函数的评估成本很低得优化场景下，可以在很短时间内获得输入x的许多结果，然后使用简单的网格搜索选择较好结果。

• 使用粒子群或模拟退火等非梯度优化方法。

然而，这些方法并不适用上述定义的问题，对定义问句的优化受到以下几个方面的限制：

• 计算成本高。理想情况下，我们可以多次执行函数以确定其最优解，但我们的优化问题中计算过多采样是不现实的。

• 导数未知。 正是因为导数可知，梯度下降及类似方法广泛应用于深度学习或某些机器学习算法。导数能够直到优化方向——不幸的是，在我们问题定义中没有导数。

• 要找到全局最小值，即使对于梯度下降这样的方法也不是容易的事情。因此，我们的模型需要某种机制避免陷入局部最小值。

解决方案：贝叶斯优化。该方法提供了一个优雅的框架可用于来解决上述定义的问题，并且能够在尽可能少的步骤中找到全局最小值。

让我们构造一个函数c(x)或者一个接收输入x的模型，如下图所示为c(x)的形状。当然，优化器并不知道该函数，称之为“目标函数”。

（编辑：常州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!