선형변환에 대한 고찰

선형변환($A\overrightarrow{\mathbf{v}}=\overrightarrow{\mathbf{w}}$)은 두 가지 관점으로 해석할 수 있다.

 

1). Movement(=Rotate+Scale): 선형변환 $A$에 의해, 벡터 $\overrightarrow{\mathbf{v}}$에서 벡터 $\overrightarrow{\mathbf{w}}$로의 이동.

또는, 서로 다른 두 벡터 공간을 매핑하는 함수(=function) 개념으로 봐도 된다.

 

2). Translation: 표준기저벡터를 $\overrightarrow{{\mathbf{a}}_{\mathbf{1}}}$, $\overrightarrow{{\mathbf{a}}_{\mathbf{2}}}$로 둔 좌표계에서 $\hat{\mathbf{i}}$, $\hat{\mathbf{j}}$로 둔 좌표계로의 전환.

벡터 그 자체는 변하는 것이 아니라, 표현 방식이 달라진 것이다. ($A=\left[\begin{array}{cc}\overrightarrow{{\mathbf{a}}_{\mathbf{1}}}& \overrightarrow{{\mathbf{a}}_{\mathbf{2}}}\end{array}\right]$)

 

본문에서는 첫번째 관점 즉, Movement로 고윳값 분해, 특잇값 분해 등의 개념을 해석해볼 것이다.

 

1. 선형변환 ($A\overrightarrow{\mathbf{x}}$, $\mathrm{\Lambda }\overrightarrow{\mathbf{x}}$)

$A\overrightarrow{\mathbf{x}}=(a\hat{\mathbf{i}}+c\hat{\mathbf{j}})x+(b\hat{\mathbf{i}}+d\hat{\mathbf{j}})y$이다.

여기서 선형변환 $A=\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]$는 "선형변환 $A$로 인해, $\hat{\mathbf{i}}$과 $\hat{\mathbf{j}}$이 각각 $a\hat{\mathbf{i}}+c\hat{\mathbf{j}}$과 $b\hat{\mathbf{i}}+d\hat{\mathbf{j}}$로 이동함"을 의미한다.

본문에서는 이를 "선형변환 $A$는 $\hat{\mathbf{i}}$, $\hat{\mathbf{j}}$를 기준기저벡터로 삼는다"라고 표현할 것이다.

 

2. 고윳값 분해

2.1. $VA{V}^{-1}\overrightarrow{\mathbf{x}}$, $V\mathrm{\Lambda }{V}^{-1}\overrightarrow{\mathbf{x}}$

$V\mathrm{\Lambda }{V}^{-1}\overrightarrow{\mathbf{x}}$: movement(=$V$) → scale(=$\mathrm{\Lambda }$) (by $\hat{\mathbf{i}}$ and $\hat{\mathbf{j}}$) → inverse movement(=$V^{-1}$)

($V$ is matrix where every row is basis vector)

 

여기서, scale(=$\mathrm{\Lambda }$) (by $\hat{\mathbf{i}}$ and $\hat{\mathbf{j}}$)는 "$\mathrm{\Lambda }$가 기준기저벡터를 $\hat{\mathbf{i}}$, $\hat{\mathbf{j}}$로 삼고 있음"을 의미한다.

2.2. $QA{Q}^{\mathrm{\top }}\overrightarrow{\mathbf{x}}$, $Q\mathrm{\Lambda }{Q}^{\mathrm{\top }}\overrightarrow{\mathbf{x}}$

$Q\mathrm{\Lambda }{Q}^{\mathrm{\top }}\overrightarrow{\mathbf{x}}$: Rotate(=$Q$) → scale(=$\mathrm{\Lambda }$) (by $\hat{\mathbf{i}}$ and $\hat{\mathbf{j}}$) → inverse Rotate(=$Q^{\mathrm{\top }}$)

($Q$ is orthogonal matrix where every row is orthonormal vector)

 

해석1. $QA{Q}^{\mathrm{\top }}$와 $Q\mathrm{\Lambda }{Q}^{\mathrm{\top }}$는 $\overrightarrow{{\mathbf{v}}_{\mathbf{1}}}$, $\overrightarrow{{\mathbf{v}}_{\mathbf{2}}}$를 기준기저벡터로 삼고 있는 선형변환 A와 $\mathrm{\Lambda }$이다.

$Q=\left[\begin{array}{cc}\overrightarrow{{\mathbf{v}}_{\mathbf{1}}}& \overrightarrow{{\mathbf{v}}_{\mathbf{2}}}\end{array}\right]$일 때, $QA{Q}^{\mathrm{\top }}\overrightarrow{\mathbf{x}}$를 $(a\overrightarrow{{\mathbf{v}}_{\mathbf{1}}}+c\overrightarrow{{\mathbf{v}}_{\mathbf{2}}}){\overrightarrow{{\mathbf{v}}_{\mathbf{1}}}}^{\mathrm{\top }}\overrightarrow{\mathbf{x}}+(b\overrightarrow{{\mathbf{v}}_{\mathbf{1}}}+d\overrightarrow{{\mathbf{v}}_{\mathbf{2}}}){\overrightarrow{{\mathbf{v}}_{\mathbf{2}}}}^{\mathrm{\top }}\overrightarrow{\mathbf{x}}$로 전개할 수 있다.

위 수식으로 선형변환 $QA{Q}^{\mathrm{\top }}$을 "내적(${\overrightarrow{{\mathbf{v}}_{\mathbf{i}}}}^{\mathrm{\top }}\overrightarrow{\mathbf{x}}$)으로, 벡터 $\overrightarrow{\mathbf{x}}$를 서로 직교하는 $\overrightarrow{{\mathbf{v}}_{\mathbf{1}}}$,  $\overrightarrow{{\mathbf{v}}_{\mathbf{2}}}$로 정사영하고,

선형변환 $A$로 $\overrightarrow{{\mathbf{v}}_{\mathbf{1}}}$과 $\overrightarrow{{\mathbf{v}}_{\mathbf{2}}}$이 각각 $a\overrightarrow{{\mathbf{v}}_{\mathbf{1}}}+c\overrightarrow{{\mathbf{v}}_{\mathbf{2}}}$과 $b\overrightarrow{{\mathbf{v}}_{\mathbf{1}}}+d\overrightarrow{{\mathbf{v}}_{\mathbf{2}}}$로 이동함"으로 해석할 수 있다.

즉, "기준기저벡터를 $\overrightarrow{{\mathbf{v}}_{\mathbf{1}}}$, $\overrightarrow{{\mathbf{v}}_{\mathbf{2}}}$로 삼는 선형변환 $A$와 $\mathrm{\Lambda }$"라고 표현할 수 있다.

---

$Q\mathrm{\Lambda }{Q}^{\mathrm{\top }}\overrightarrow{\mathbf{x}}$는 ${\lambda }_1\overrightarrow{{\mathbf{v}}_{\mathbf{1}}}{\overrightarrow{{\mathbf{v}}_{\mathbf{1}}}}^{\mathrm{\top }}\overrightarrow{\mathbf{x}}+{\lambda }_2\overrightarrow{{\mathbf{v}}_{\mathbf{2}}}{\overrightarrow{{\mathbf{v}}_{\mathbf{2}}}}^{\mathrm{\top }}\overrightarrow{\mathbf{x}}$로 전개할 수 있다.

이는 "$\overrightarrow{\mathbf{x}}$를 서로 직교하는 벡터 $\overrightarrow{{\mathbf{v}}_{\mathbf{1}}}$,  $\overrightarrow{{\mathbf{v}}_{\mathbf{2}}}$로 정사영하고, 각각을 ${\lambda }_1$, ${\lambda }_2$만큼 Scale한 후, 조합한다."로 표현할 수 있다.

 

+MORE. $\mathrm{\Lambda }\overrightarrow{\mathbf{x}}$ vs $Q\mathrm{\Lambda }{Q}^{\mathrm{\top }}\overrightarrow{\mathbf{x}}$

$\mathrm{\Lambda }\overrightarrow{\mathbf{x}}$는 "$\overrightarrow{\mathbf{x}}$를 $\hat{\mathbf{i}}$, $\hat{\mathbf{j}}$로 정사영한 후, 각각을 ${\lambda }_1$, ${\lambda }_2$만큼 Scale한 후, 조합함"을 의미한다.

즉, 기준기저벡터가 $\hat{\mathbf{i}}$과 $\hat{\mathbf{j}}$이다.

반면, $Q\mathrm{\Lambda }{Q}^{\mathrm{\top }}\overrightarrow{\mathbf{x}}$는 "$\overrightarrow{\mathbf{x}}$를 $\overrightarrow{{\mathbf{v}}_{\mathbf{1}}}$, $\overrightarrow{{\mathbf{v}}_{\mathbf{2}}}$로 정사영한 후, 각각을 ${\lambda }_1$, ${\lambda }_2$만큼 Scale한 후, 조합함"을 의미한다.

즉, 기준기저벡터가 $\overrightarrow{{\mathbf{v}}_{\mathbf{1}}}$과 $\overrightarrow{{\mathbf{v}}_{\mathbf{2}}}$이다.

 

$A\overrightarrow{\mathbf{x}}$와 $QA{Q}^{\mathrm{\top }}\overrightarrow{\mathbf{x}}$의 관계도 이와 같다.

 

해석2. $Q\mathrm{\Lambda }{Q}^{\mathrm{\top }}$는 서로 직교하는 n개의 "$det(\cdot )=1$인 rank-1 matrix"로 분해하고, 각 행렬에 가중치를 부여한 후, 조립하는 선형변환이다.

$Q\mathrm{\Lambda }{Q}^{\mathrm{\top }}={\lambda }_1\overrightarrow{{\mathbf{v}}_{\mathbf{1}}}{\overrightarrow{{\mathbf{v}}_{\mathbf{1}}}}^{\mathrm{\top }}+{\lambda }_2\overrightarrow{{\mathbf{v}}_{\mathbf{2}}}{\overrightarrow{{\mathbf{v}}_{\mathbf{2}}}}^{\mathrm{\top }}$이다.

즉, $Q\mathrm{\Lambda }{Q}^{\mathrm{\top }}$를 "서로 직교하는 n개의 rank-1 matrix인 $\overrightarrow{{\mathbf{v}}_{\mathbf{i}}}{\overrightarrow{{\mathbf{v}}_{\mathbf{i}}}}^{\mathrm{\top }}$로 분해하고, 가중치 ${\lambda }_i$(=eigen value)를 부여한 후,

$\sum _i^n{\lambda }_i\overrightarrow{{\mathbf{v}}_{\mathbf{i}}}{\overrightarrow{{\mathbf{v}}_{\mathbf{i}}}}^{\mathrm{\top }}$으로 조립한 선형변환"으로 해석할 수 있다.

 

응용: ${\lambda }_i$를 내림차순으로 정렬한 후, 크기가 작은 ${\lambda }_i$를 제거하여, 데이터 압축을 한다.

Question. 왜 $\overrightarrow{{\mathbf{v}}_{\mathbf{i}}}{\overrightarrow{{\mathbf{v}}_{\mathbf{i}}}}^{\mathrm{\top }}$는 rank-1 matrix냐?

Answer. 만약 $\overrightarrow{{\mathbf{v}}_{\mathbf{i}}}=\left[\begin{array}{c}a\\ b\\ c\end{array}\right]$이면, $\overrightarrow{{\mathbf{v}}_{\mathbf{i}}}{\overrightarrow{{\mathbf{v}}_{\mathbf{i}}}}^{\mathrm{\top }}=\left[\begin{array}{ccc}a\overrightarrow{{\mathbf{v}}_{\mathbf{i}}}& b\overrightarrow{{\mathbf{v}}_{\mathbf{i}}}& c\overrightarrow{{\mathbf{v}}_{\mathbf{i}}}\end{array}\right]$이다.

즉, $\overrightarrow{{\mathbf{v}}_{\mathbf{i}}}{\overrightarrow{{\mathbf{v}}_{\mathbf{i}}}}^{\mathrm{\top }}$의 column space는 $\overrightarrow{{\mathbf{v}}_{\mathbf{i}}}$의 생성 공간이다.

3. 특잇값 분해 ($U\mathrm{\Sigma }{V}^{\mathrm{\top }}\overrightarrow{\mathbf{x}}$)

$U\mathrm{\Sigma }{V}^{\mathrm{\top }}\overrightarrow{\mathbf{x}}$: Rotate(=$U$) → scale(=$\mathrm{\Sigma }$) (by $\hat{\mathbf{i}}$ and $\hat{\mathbf{j}}$) → another Rotate(=$V^{\mathrm{\top }}$)

($U$ and $V$ are both orthogonal matrix where every row is orthonormal vector)

 

해석1. 수직 관계를 갖고 있는 벡터들($V$)을 $A$에 통과시켜도, 여전히 수직 관계를 유지하고 있는 벡터들($U$)이 존재한다.

$A=U\mathrm{\Sigma }{V}^{\mathrm{\top }}$를 $AV=U\mathrm{\Sigma }$로 전개할 수 있으며, 이는 $A\overrightarrow{{\mathbf{v}}_{\mathbf{1}}}={\sigma }_1\overrightarrow{{\mathbf{u}}_{\mathbf{1}}}$, $A\overrightarrow{{\mathbf{v}}_{\mathbf{2}}}={\sigma }_2\overrightarrow{{\mathbf{u}}_{\mathbf{2}}}$로 나타낼 수 있다.

$\overrightarrow{{\mathbf{v}}_{\mathbf{1}}}\perp \overrightarrow{{\mathbf{v}}_{\mathbf{2}}}$, $\overrightarrow{{\mathbf{u}}_{\mathbf{1}}}\perp \overrightarrow{{\mathbf{u}}_{\mathbf{2}}}$이기 때문에, "$A$를 통과하기 전에 수직했던 벡터들($V$)을 통과시켰을 때, 여전히 수직 관계를 유지하는 벡터들($U$)가 존재"한다. 다시 말해, 위 명제를 만족하는 $V$, $U$ 쌍이 존재한다.