1.3　基本優化問題

基本的優化問題是：

在這里，x是一個設計點。該點可以表示為一個向量，該向量對應于不同設計變量的值。下面是一個n維的設計點[1]：

在這里xi表示第i個設計變量。可以調整該向量中的元素以最小化目標函數f。在最小化目標函數的可行集X的所有點中，x的任何值都稱為解或極小元。特解寫作x*。圖1.3展示了一個一維優化問題的例子。

這個公式是通用的，這意味著任何優化問題都可以根據方程（1.1）重寫。特別需要注意的是，問題

可以寫作

這是相同問題的不同表現形式，因為它們的解相同。

運用這種數學公式對工程問題建模可能具有挑戰性。確切表達優化問題的方式往往決定了問題解決過程的難易[2]。在問題大致確定之后，我們將重點關注優化的算法方面[3]。

由于本書討論各種不同的優化算法，人們可能會想知道哪種算法最好。正如Wolpert和Macready的沒有免費午餐定理所闡述的那樣，除非我們對可能的目標函數空間的概率分布做出假設，否則沒有理由偏好某種算法。如果一種算法在一類問題上比另一種算法表現更好，那么它可能會在另一類問題上表現稍差[4]。為了使許多優化算法有效工作，在目標函數中需要有一些規律性，例如Lipschitz（利普希茨）連續條件或凸性，我們將在后面介紹這兩個主題。在討論不同的算法時，我們將概述它們的假設、原理的設計動機，以及它們的優缺點。

[1] 例如在Julia中，帶有逗號分隔項的方括號用于表示列向量。設計點是列向量。

[2] S. Boyd and L. Vandenberghe，Convex Optimization. Cambridge University Press，2004.

[3] 許多文獻提供了如何將現實世界中的優化問題轉化為優化問題的示例。例如：

R. K. Arora，Optimization：Algorithms and Applications. Chapman and Hall/CRC，2015.

A. D. Belegundu and T. R. Chandrupatla，Optimization Concepts and Applications in Engineering，2nd ed. Cambridge University Press，2011.

A. Keane and P.Nair，Computational Approaches for Aerospace Design. Wiley，2005.

P.Y. Papalambros and D. J. Wilde，Principles of Optimal Design. Cambridge University Press，2017.

[4] D. H. Wolpert and W. G. Macready，“No Free Lunch Theorems for Optimization，”IEEE Transactions on Evolutionary Computation，vol.1，no.1，pp. 67-82，1997.