第1章　補(bǔ)基礎(chǔ)：不怕學(xué)不懂微積分

機(jī)器學(xué)習(xí)是一門多學(xué)科交叉的學(xué)科，背后的數(shù)學(xué)原理涵蓋微積分、線性代數(shù)、概率統(tǒng)計(jì)等相關(guān)內(nèi)容，它的核心是“使用算法解析數(shù)據(jù)并從中學(xué)習(xí)，然后對世界上的某件事情做出預(yù)測”。機(jī)器學(xué)習(xí)有著廣闊的應(yīng)用空間，能發(fā)揮巨大作用，但要深入掌握算法的內(nèi)部原理就必須了解相關(guān)算法背后的數(shù)學(xué)原理。搞清楚這些數(shù)學(xué)原理相關(guān)的知識，可以幫助我們選擇正確的算法、選擇參數(shù)設(shè)置和驗(yàn)證策略、識別欠擬合和過擬合現(xiàn)象等。微積分就是機(jī)器學(xué)習(xí)背后極其重要且不可或缺的一類數(shù)學(xué)知識。絕大多數(shù)機(jī)器學(xué)習(xí)算法在訓(xùn)練或者預(yù)測時(shí)會碰到最優(yōu)化問題，而最優(yōu)化問題的解決需要用到微積分中函數(shù)極值的求解知識，可以說微積分是機(jī)器學(xué)習(xí)數(shù)學(xué)大廈的基石。

微積分是一門由工程實(shí)踐問題“催生”的學(xué)科，大量的工程實(shí)踐問題促使了微積分的產(chǎn)生，總結(jié)來說主要有以下4類問題。

（1）求解變速運(yùn)動的瞬時(shí)速度。

（2）求解曲線上某點(diǎn)處的切線。

（3）求解函數(shù)的最大值和最小值。

（4）求解曲線的長度、曲面的面積、物體體積等。

從微分和積分的應(yīng)用來看，前3類問題主要應(yīng)用微分知識，最后一類問題主要應(yīng)用積分知識。微積分的應(yīng)用如圖1-1所示。

圖1-1　微積分的應(yīng)用

微積分包含眾多知識點(diǎn)，例如極限概念、求導(dǎo)公式、乘積法則、鏈?zhǔn)椒▌t、隱函數(shù)求導(dǎo)、積分中值定理、泰勒公式等。其中，研究導(dǎo)數(shù)、微分及其應(yīng)用的部分一般稱為微分學(xué)，研究不定積分、定積分及其應(yīng)用的部分一般稱為積分學(xué)。微分學(xué)和積分學(xué)統(tǒng)稱為微積分學(xué)，而微積分基本定理則將微分和積分進(jìn)行關(guān)聯(lián)。由于泰勒定理本質(zhì)上是微積分基本定理的連用，因此從總體上來看微積分包括核心概念和關(guān)鍵技術(shù)，其中核心概念是微分和積分，關(guān)鍵技術(shù)是微積分基本定理和泰勒定理。微積分知識體系如圖1-2所示。

圖1-2　微積分知識體系

最簡單的函數(shù)是一次函數(shù)，最簡單的方程是一次方程，微積分的基本思想就是將其他復(fù)雜的函數(shù)或者方程變成一次函數(shù)或一次方程來研究。根據(jù)近似的精確度不同，微積分可以分為以下幾種情況。

第一種情況，用常數(shù)項(xiàng)近似代替某個(gè)函數(shù)在某點(diǎn)附近的數(shù)值，這就是極限，誤差是無窮小。

第二種情況，用一次函數(shù)近似代替某個(gè)函數(shù)在某點(diǎn)附近的數(shù)值，這就是微分，誤差為高階無窮小。

第三種情況，用泰勒公式近似代替某個(gè)函數(shù)在某點(diǎn)附近的數(shù)值，誤差比前兩種情況都要小。從近似的精確度來看，泰勒公式的極限最低，但精確度是最高的。