Mathematics(20)
-
[Probability] Markov Chains
1. Markov Chain Models A Markov chain model is specified by identifying: (a) the set of states $S = \{1, \cdots, m\}$. (b) transition probability matrix $P = \begin{bmatrix} p_{11} & \cdots & p_{1m} \\ \vdots & \ddots & \vdots \\ p_{m1} & \cdots & p_{mm} \end{bmatrix}$ transition probabilities $p_{ij}$는 현재 state($X_n$)가 $i$일 때, 다음 state($X_{n+1}$)가 $j$가 될 확률을 의미한다. 이때, 과거 state($X_{1}$전 $X_1$에는 ..
2024.01.19 -
[Probability] Bayesian & Likelihood
1. Bayesian Statistical Inference1.1. Terminology of Bayesian Inference $x = (x_1, \cdots, x_n)$: observation vector of $X$$p_\Theta$ or $f_\Theta$: prior distributionunknown parameter distribution $\Theta$ that was assumed before observing $x$$p_{\Theta|X}$ or $f_{\Theta|X}$: posterior distributionunknown parameter distribution $\Theta$ that was assumed after observing $x$1.2. Summary of Bayesi..
2023.12.11 -
[Probability] Law of Large Number & Central Limit Theorem
1. Markov and Chebyshev Inequalities 1.1. Markov Inequalities If a random variable $X$ can only take nonnegative values, then $$P(X \le a) \ge \frac{E[X]}{a}, \quad \text{for all } a > 0$$ Proof $$Y_a = \begin{cases} 0, & \text{if } X > a \\ a, & \text{if } X \le a \end{cases} \\ E[Y_a] = 0 \cdot Pr(X < a) + a \cdot Pr(X \le a) \rightarrow E[Y_a] = a \cdot Pr(X \le a) \\ Pr(X \le a) = \frac{E[Y_..
2023.12.11 -
내적에 대한 고찰
$\mathbf{\vec{v}}$와 $\mathbf{\vec{w}}$의 내적(dot product)는 $\lVert\mathbf{\vec{v}}\rVert \lVert\mathbf{\vec{w}}\rVert \cos \theta$이며, $\mathbf{\vec{v}}$, $\mathbf{\vec{w}}$의 내적은 ($\mathbf{\vec{v}}$가 $\mathbf{\vec{w}}$에 정사영하여 얻은 벡터의 길이)와 ($\mathbf{\vec{w}}$의 길이)를 곱한 값이다. 즉, 내적은 "정사영(=projection)"이라는 가하학적 특성을 가지고 있다. 뿐만 아니라, 내적은 신기하게도 다음과 같이 계산하여 구할 수 있다. 다시 말해, 다음과 같이 계산해도, "($\mathbf{\vec{v}}$가 $\..
2023.12.06 -
[Linear Algebra] 15. Least squares & Projection matrix + Gram-Schmidt Orthogonalization
이번 글에서는 최소 자승법(least square method)에 대해 알아볼 것이다. Problem 최소 자승법이 풀고자 하는 문제는 다음과 같다. rank($A$)=2인 $\underset{3 \times 2} A$와 $A$의 column space에 속하지 않는 3-D 벡터 $\mathbf{\vec{b}}$가 있을 때, 어떤 $A \mathbf{\vec{x}}$도 $\mathbf{\vec{b}}$와 같아질 수 없다. 즉, $A \mathbf{\vec{x}} = \mathbf{\vec{b}}$의 해는 존재하지 않는다. 그러면, 최대한 $\mathbf{\vec{b}}$와 최대한 가까운 $A \mathbf{\vec{x}}$라도 구해보자!! 다시 말해, $\mathbf{\vec{e}}(=\mathbf{\v..
2023.12.03 -
[Linear Algebra] 14. Eigen Decomposition & SVD
이번 글에서는 고윳값 분해(eigen decomposition)와 SVD(singular value decomposition)에 대해 알아볼 것이다. 1. 고윳값 분해 2-D to 2-D linear transformation $A$에 independent한 eigenvector $\mathbf{\vec{v_1}}$, $\mathbf{\vec{v_2}}$와 eigenvalue $\lambda_1$, $\lambda_2$가 있다고 가정할 때, 다음과 같이 식을 전개할 수 있다. 참고로, $\mathbf{\vec{v_1}}$, $\mathbf{\vec{v_2}}$는 서로 independent한 eigenvector이기 때문에 eigenbasis로 볼 수 있다. $$ V = \begin{bmatrix} \ma..
2023.12.03