Dimensionality Reduction

主成分分析（Principal Component Analysis，PCA）

是一種常用的降維技術，用於將高維數據轉換成低維空間，同時保留數據中的最重要信息。它通過找到數據中的主要特徵向量（主成分），將數據投影到這些主成分上，從而實現數據的降維和壓縮。

以下是PCA的主要步驟和特點：

• 計算協方差矩陣：首先，PCA計算原始數據的協方差矩陣。協方差矩陣反映了數據中不同特徵之間的相關性和變異程度。

• 求解特徵值和特徵向量：通過對協方差矩陣進行特徵值分解（Eigen Decomposition），得到特徵值（Eigenvalues）和對應的特徵向量（Eigenvectors）。

• 選擇主成分：根據特徵值的大小，選擇前K個最大的特徵值和對應的特徵向量作為主成分，K通常是希望保留的新維度數量。

• 數據投影：將原始數據投影到選擇的主成分空間中，得到降維後的數據表示。

PCA的優點包括能夠去除冗余信息、減少數據的維度、提高模型的計算效率、幫助理解數據的結構和相關性等。它廣泛應用於數據壓縮、特征提取、可視化和模式識別等領域。

然而，PCA也有一些限制，例如它假設數據服從線性轉換、可能丟失一些信息、對離群值敏感等。在應用PCA時，需要根據具體問題和數據特性來選擇合適的參數和方法。

• 程式範例

Kernel PCA（Kernel Principal Component Analysis）是主成分分析（PCA）的一種擴展，它通過使用核函數將數據映射到高維特徵空間，從而能夠處理非線性數據集並提高降維效果。

以下是Kernel PCA的主要特點和步驟：

• 非線性映射：與傳統的PCA只能處理線性數據不同，Kernel PCA利用核函數（如多項式核、高斯核等）將數據映射到更高維的特徵空間中，從而能夠處理非線性結構的數據集。

• 計算核矩陣：Kernel PCA首先計算數據點之間的核矩陣（Kernel Matrix），該矩陣描述了數據點之間的相似性。

• 中心化核矩陣：對計算得到的核矩陣進行中心化，保證在新的高維空間中數據的中心為零。

• 特徵值分解：對中心化的核矩陣進行特徵值分解，獲得特徵值（Eigenvalues）和對應的特徵向量（Eigenvectors）。

• 選擇主成分：根據特徵值的大小，選擇前K個最大的特徵值和對應的特徵向量作為主成分，K通常是希望保留的新維度數量。

• 數據投影：將原始數據點投影到選擇的主成分上，得到降維後的數據表示。

Kernel PCA的主要優點是能夠處理非線性數據並保留更多的數據結構信息，從而更好地反映數據之間的關係。然而，Kernel PCA也有一些限制，例如計算成本較高、對核函數的選擇敏感、可能需要調節的參數較多等。在應用Kernel PCA時，需要根據數據的特性和問題的需求來選擇合適的核函數和參數。

• 程式範例

局部線性嵌入（Locally Linear Embedding，LLE）

是一種非線性降維算法，用於發現數據的低維表示，同時保持局部的線性結構。LLE主要基於以下假設：高維空間中的鄰近點在低維空間中仍然是鄰近點，並且它們之間的關係可以用線性方式來表示。

LLE算法的主要步驟如下：

• 構建鄰域：對於每個數據點，找到其K個最近鄰居，形成鄰域集合。

• 重建鄰域：對於每個數據點，將其表示為其鄰域點的線性組合，即尋找能夠最好重建該數據點的線性權重。

• 嵌入低維空間：通過最小化重建誤差，將高維數據映射到低維空間中。嵌入後的表示使得鄰域點之間的關係在低維空間中得到保持。

LLE的特點包括能夠保留數據的局部結構、對非線性結構數據有較好的處理能力、對噪聲和異常值具有魯棒性等。但是，LLE也有一些缺點，例如對於全局結構的表達能力有限、對K的選擇較為敏感等。

總的來說，LLE是一種有效的降維算法，特別適用於探索非線性結構的數據集，並且能夠在保持局部結構的同時實現數據的降維表示。

• 程式範例