$\mathbf{\vec{v}}$와 $\mathbf{\vec{w}}$의 내적(dot product)는 $\lVert\mathbf{\vec{v}}\rVert \lVert\mathbf{\vec{w}}\rVert \cos \theta$이며, $\mathbf{\vec{v}}$, $\mathbf{\vec{w}}$의 내적은 ($\mathbf{\vec{v}}$가 $\mathbf{\vec{w}}$에 정사영하여 얻은 벡터의 길이)와 ($\mathbf{\vec{w}}$의 길이)를 곱한 값이다. 즉, 내적은 "정사영(=projection)"이라는 가하학적 특성을 가지고 있다. 뿐만 아니라, 내적은 신기하게도 다음과 같이 계산하여 구할 수 있다. 다시 말해, 다음과 같이 계산해도, "($\mathbf{\vec{v}}$가 $\..

이번 글에서는 최소 자승법(least square method)에 대해 알아볼 것이다. Problem 최소 자승법이 풀고자 하는 문제는 다음과 같다. rank($A$)=2인 $\underset{3 \times 2} A$와 $A$의 column space에 속하지 않는 3-D 벡터 $\mathbf{\vec{b}}$가 있을 때, 어떤 $A \mathbf{\vec{x}}$도 $\mathbf{\vec{b}}$와 같아질 수 없다. 즉, $A \mathbf{\vec{x}} = \mathbf{\vec{b}}$의 해는 존재하지 않는다. 그러면, 최대한 $\mathbf{\vec{b}}$와 최대한 가까운 $A \mathbf{\vec{x}}$라도 구해보자!! 다시 말해, $\mathbf{\vec{e}}(=\mathbf{\v..

이번 글에서는 고윳값 분해(eigen decomposition)와 SVD(singular value decomposition)에 대해 알아볼 것이다. 1. 고윳값 분해 2-D to 2-D linear transformation $A$에 independent한 eigenvector $\mathbf{\vec{v_1}}$, $\mathbf{\vec{v_2}}$와 eigenvalue $\lambda_1$, $\lambda_2$가 있다고 가정할 때, 다음과 같이 식을 전개할 수 있다. 참고로, $\mathbf{\vec{v_1}}$, $\mathbf{\vec{v_2}}$는 서로 independent한 eigenvector이기 때문에 eigenbasis로 볼 수 있다. $$ V = \begin{bmatrix} \ma..

선형변환($A\mathbf{\vec{v}}=\mathbf{\vec{w}}$)은 두 가지 관점으로 해석할 수 있다. 1). Movement(=Rotate+Scale): 선형변환 $A$에 의해, 벡터 $\mathbf{\vec{v}}$에서 벡터 $\mathbf{\vec{w}}$로의 이동.또는, 서로 다른 두 벡터 공간을 매핑하는 함수(=function) 개념으로 봐도 된다. 2). Translation: 표준기저벡터를 $\mathbf{\vec{a_1}}$, $\mathbf{\vec{a_2}}$로 둔 좌표계에서 $\mathbf{\hat{i}}$, $\mathbf{\hat{j}}$로 둔 좌표계로의 전환. 벡터 그 자체는 변하는 것이 아니라, 표현 방식이 달라진 것이다. ($A = \begin{bmatrix} \..

Eigenvectors and eigenvalues Most vectors knocked off their span(=line) during transformation. But some special vectors remain on their line after transformation. It means that transformation just stretches or squishes vectors. Moreover, any other vector in that line also stretch or squish by a same scalar. These special vector are called the "eigenvectors" of that transformation. And each eigen..

Standard way to describe vector is using coordinates $\begin{bmatrix} x \\ y \end{bmatrix}$. each coordinate is scalar to stretches or squishes basis vectors, normally $\mathbf{\hat{i}}$ and $\mathbf{\hat{j}}$ which are standard basis vectors. In this section, think about the idea of using different set of basis vectors. Let's define new basis vectors $\mathbf{\vec{b_1}}$ and $\mathbf{\vec{b_2}}..