終於開始放年假了，之前線性代數的eigenvalue, eigenvector沒有弄得很清楚，因此昨天把補習班的教材拿出來重翻了一遍，看著看著就想起國中的回憶......。第一次上國中理化課時印象很深刻，那位理化老師介紹完自己是中央物理所之後就根本不甩課本，直接用線性代數的觀念來教什麼是向量，並定義出現各種名詞: 單位向量、生成、基底，原以為這些東西在後續的國高中課程會用到，殊不知這些名詞一直到大學線性代數才重新見到，害我一度以為這些是物理系才會用到的術語(terminology)。
在2維(two-dimension)空間中，我們會定義一組單位向量(unit vector)並構成基底(basis)，之後此空間中任意的向量都可以表示為這組基底的線性組合(Linear combination)。
所謂線性組合(Linear combination)就是指由基底向量乘上各自純量(Scalar)後再相加，而該空間的任意向量都能由基底向量乘上各自純量後再相加所構成。
※※※※※
此時這位老師就開始逆向拆解向量，說著:「以後你們在題目上遇到的所有力、向量，全部都可以拆解成數個分量，而分量又能在拆解成基底的線性組合。再搭配三角函數就可以計算出來任何位置的向量了。阿，以前三角函數是國三的課程，表示並沒有很難，之後可以開個先修班補充給你們。」
※※※※※
對於某個向量空間 V 而言，生成 (Span) 是指可以透過一組屬於 V 的向量 v_i 的各種線性組合構成 V。其中，若移除某些向量對於生成空間的維度沒有損失 (存在冗員)，則稱這組向量是線性相依 (linear dependent)；反之，若這組向量裡，每個向量都會增加生成空間的維度，則稱這組向量是線性獨立 (linear independent)。很明顯地，基底正好是那組沒有多餘冗員的向量組，因此基底技術上定義為:「一個向量空間的基底，是由『可完整地生成該向量空間且線性獨立的向量集合』所構成。」
--- 補充線性轉換及特徵根/特徵向量 ---
首先，轉換 (transform) 可以是各式各樣，深度學習網路的每個神經元都可以套用非線性激活函數，產生非線性轉換。不過線性代數裡只講線性轉換。線性轉換有一些限制，例如空間中的每個點 (向量)，經過轉換之後，點的數量不變 (均勻分布) 且 點所構成的網格上的線都保持平行，任一向量的線性組合純粹是由純量所控制，這樣的變化就是線性的變化。
再來是特徵根 (Eigenvalue)、特徵向量 (Eigenvector)：
以向量空間 V 來舉例，λ為純量，一個向量 v ∈ V，v≠0，線性算子(轉換前與轉換後都維持在向量空間，即符合線性轉換) T∈ℒ(V,V) ，「對 v 做線性轉換」可以寫作「T(v)=λv」，其中的意思是「T(v)為『對v做線性轉換』或解釋為『T(v)是經過線性轉換之後的新向量』」，λ這個純量就是Eigenvalue。我們要做的事情就是「對於一個特定的線性轉換 T，找到一組特別的Eigenvector及匹配的純量(Eigenvalue)，可以滿足『對Eigenvector進行T的線性轉換，可以恰好轉變成純量(Eigenvalue)乘上Eigenvector』」，如此一來就能大幅簡化線性轉換所需的運算量。
而相同的定義，可以改成矩陣空間來描述，一個線性變換方陣 A，λ為純量，存在一個行向量 x，且 x≠0，滿足 Ax = λx。則稱 λ 為 A 相對於 x (Eigenvector) 的 Eigenvalue。
另外可以注意的是對於同一個線性轉換，Eigenvector、Eigenvalue 可能不只一組。
達人
