優化與尋找最小化（或最大化）目標函數的點密切相關。掌握函數值如何隨輸入的變化而變化是很有用的，因為它告訴我們朝哪個方向移動可以改進先前的設計點。函數值的變化通過一維導數和多維梯度來度量。本章簡要回顧微積分[1]的一些基本知識。

[1] 更全面的描述，請參見：

S. J. Colley，Vector Calculus，4th ed.Pearson，2011.