2.4 線性相關、生成子空間和范數

2.4.1 什么是線性相關

線性相關是指存在一組向量, 其中至少有一個向量可以表示為其他向量的線性組合。更具體地說, 如果我們有向量組V：V1，V2，…… Vn, 并且存在不全為零的標量C1，C2 ，……Cn, 使得C1V1+C2V2+……+CnVn=0, 則這些向量是線性相關的。如果不存在這樣的非零系數, 則這些向量是線性無關的。線性相關的向量組包含冗余信息, 因此在某些情況下可能需要通過線性組合來消除它們。

通俗地說, 現在假設我們有一個大廚, 他非常喜歡做蛋糕。一天, 他決定要做兩種不同口味的蛋糕: 巧克力味和香草味。他知道巧克力蛋糕需要的材料包括巧克力、面粉、糖和牛奶, 而香草蛋糕需要的材料包括香草精、面粉、糖和牛奶。

于是大廚開始準備材料, 他買來了足夠的面粉、糖和牛奶, 但是他發現自己只有少量巧克力和香草精。這讓他有些犯愁, 因為他不知道這些材料是否足夠做出兩種口味的蛋糕。

于是他開始思考, 他想知道如果他用一份巧克力來做一個巧克力蛋糕, 那么他需要多少香草精才可以做一個相應的香草蛋糕。他把這個問題表示成數學形式, 就是尋找一個線性函數, 將巧克力的用量映射到香草精的用量上。

大廚通過試驗發現, 他需要用一份巧克力來配合一份香草精才可以做出兩種蛋糕。這意味著它們之間存在著線性相關的關系, 也就是說, 當他使用更多的巧克力時, 他必須使用相應數量的香草精來保持兩種蛋糕的制作比例不變。

這就是線性相關的概念, 它表示兩個向量之間存在著一條直線的關系, 或者說一個向量可以由另一個向量進行線性組合得到。在大廚的例子中, 巧克力和香草精就相當于兩個向量, 它們之間的線性關系告訴我們如何在有限的材料下, 制作出多種口味的蛋糕, 就像圖2-10所示的這樣。

所以, 如果你要成為一名好廚師, 就需要理解線性相關的概念, 這樣你才能在做菜時靈活運用各種材料, 制作出美味可口的佳肴!

原理輸出2. 10

為了幫助大家更好地理解和消化線性相關的概念, 請大家在ChatGPT的幫助下, 錄制一個長度約為2分鐘的短視頻, 介紹什么是線性相關。

小貼士

實操練習2. 10

為了讓大家可以用代碼的形式學習線性相關, 接下來大家可以讓ChatGPT生成代碼演示, 并在Colab新建一個Notebook文件運行這些代碼。

小貼士

2.4.2 什么是生成子空間

生成子空間是指一個向量空間中的一個子集, 它由該向量空間中的一組向量所生成。具體來說, 給定向量空間V和其中的一組向量V1，V2，…… Vn, 則這些向量生成的子空間Span (V1，V2，…… Vn) 就是V的一個生成子空間。該子空間包含所有可由這些向量線性組合得到的向量。在生成子空間中, 向量數量可以小于或等于向量空間的維度。

生成子空間聽起來是一個比較抽象的概念, 但其實它和我們平時生活中的事物有著異曲同工之妙。想一想, 你家里是否有一個收納雜物的抽屜? 這個抽屜就可以被看作一個生成子空間。

首先, 生成子空間就像是一個集合, 里面裝了一些向量。就像你的抽屜里放了一些零散的小東西。這些向量或小東西并不一定要相互關聯, 只要它們都在這個空間 (抽屜) 里就可以, 就像圖2-11所示的這樣。

而“生成”的意思就是說, 你可以通過這些向量的線性組合, 得到這個空間中的其他向量。就像你可以通過把抽屜里的雜物整理擺放, 來得到更多的空間。

那么, “子空間”又是什么呢? 簡單來說, 子空間就是指一個向量空間中的一個子集, 滿足向量加法和標量乘法封閉。這聽起來比較玄乎, 但其實很好理解——就好像你在抽屜里放的東西都是小物件, 它們可以被放到抽屜里的任何一個角落, 而且你還可以用手捏捏塞塞, 讓抽屜里的東西更緊密地擠在一起。

綜上所述, 生成子空間就是一個向量空間中由一組向量通過線性組合得到的所有向量的集合。就像家里的那個收納抽屜, 它可以幫你把零散的小物件整理出一個有序的空間。

原理輸出2. 11

為了幫助大家更好地理解生成子空間的概念, 請大家在ChatGPT的幫助下, 錄制一個長度約為2分鐘的短視頻, 介紹什么是生成子空間。

小貼士

實操練習2. 11

為了讓大家可以用代碼的形式學習生成子空間, 接下來大家可以讓ChatGPT生成代碼演示, 并在Colab新建一個Notebook文件運行這些代碼。

小貼士

2.4.3 什么是范數

范數是一個用來衡量向量大小的函數, 通常用‖X‖表示, 其中X是一個向量。范數在很多機器學習和數學問題中都有廣泛應用。

常見的三種范數是L1范數、 L2范數和無窮范數, 它們分別表示向量元素絕對值之和、元素平方和的平方根和元素絕對值的最大值。在機器學習領域中, L2范數常用于正則化, 而L1范數則常用于特征選擇, 因為它傾向于使一些特征的權重為零, 從而達到特征選擇的效果。

通俗來講, 范數這個概念其實很簡單, 就是用來衡量一個向量有多“長”的一種方法。想象一下你去買面包, 你會看到面包上有一個重量標識, 這個標識告訴你這個面包有多重。類比一下, 我們可以把向量看成是一個“面包”, 而范數就相當于是它的重量標識, 就像圖2-12所示的這樣。

你可能會問, 這個范數有什么用處呢? 其實很多地方都可以用到。比如說, 你有時候需要比較兩個向量的大小關系, 就可以通過比較它們的范數來判斷。如果一個向量的范數比另一個大, 那么它就“更長” “更重”。

還有一些特殊的范數，比如L1范數和L2范數。 L1范數其實就是把向量中每個分量的絕對值加起來，而L2范數則是把每個分量的平方加起來再開方。它們在機器學習和數據分析中經常用到。舉個例子，假設有一個二維向量 (3, 4)，它的L1范數就是3+4=7；而它的L2范數就是，也就是5。

所以, 范數并不是什么神秘的概念, 就像面包的重量一樣, 在我們的日常生活中也隨處可見。

原理輸出2. 12

為了幫助大家更好地理解范數的概念, 請大家在ChatGPT的幫助下, 錄制一個長度約為2分鐘的短視頻, 介紹什么是范數。

小貼士

實操練習2. 12

為了讓大家可以用代碼的形式學習范數, 接下來大家可以讓 ChatGPT 生成代碼演示, 并在Colab新建一個Notebook文件運行這些代碼。

小貼士