조건부확률 $P(A|B)$는 사건 $B$가 일어날 상황에서 사건 $A$가 발생할 확률을 의미한다.인과 관계조건부확률로 두 변수 간의 상관관계(correlation)를 추론할 수 있지만 이를 인과관계(causality)로 추론하는 것은 매우 위험하다.그렇기 때문에, 데이터에서 추론할 수 있는 관계, 데이터 생성 원리, 도메인 지식을 기반으로 인과관계를 정확히 추론해야 한다. 인과관계를 짚고 넘어가는 이유는 데이터 분포 변화에 강건한 예측 모델을 만드는데 필요하기 때문이다.아래 그럼처럼, 상관관계 기반 예측 모델은 데이터 분포 변화에 취약한 모습을 보이는 반면, 인과관계 기반 예측 모델은 강건한 모습을 보인다.반면, 안과관계만으로는 높은 성능을 담보할 수 없다. 중첩 요인 (Confounding facto..

1. Markov Chain Models A Markov chain model is specified by identifying: (a) the set of states $S = \{1, \cdots, m\}$. (b) transition probability matrix $P = \begin{bmatrix} p_{11} & \cdots & p_{1m} \\ \vdots & \ddots & \vdots \\ p_{m1} & \cdots & p_{mm} \end{bmatrix}$ transition probabilities $p_{ij}$는 현재 state($X_n$)가 $i$일 때, 다음 state($X_{n+1}$)가 $j$가 될 확률을 의미한다. 이때, 과거 state($X_{1}$전 $X_1$에는 ..

1. Bayesian Statistical Inference1.1. Terminology of Bayesian Inference $x = (x_1, \cdots, x_n)$: observation vector of $X$$p_\Theta$ or $f_\Theta$: prior distributionunknown parameter distribution $\Theta$ that was assumed before observing $x$$p_{\Theta|X}$ or $f_{\Theta|X}$: posterior distributionunknown parameter distribution $\Theta$ that was assumed after observing $x$1.2. Summary of Bayesi..

1. Markov and Chebyshev Inequalities 1.1. Markov Inequalities If a random variable $X$ can only take nonnegative values, then $$P(X \le a) \ge \frac{E[X]}{a}, \quad \text{for all } a > 0$$ Proof $$Y_a = \begin{cases} 0, & \text{if } X > a \\ a, & \text{if } X \le a \end{cases} \\ E[Y_a] = 0 \cdot Pr(X < a) + a \cdot Pr(X \le a) \rightarrow E[Y_a] = a \cdot Pr(X \le a) \\ Pr(X \le a) = \frac{E[Y_..

$\mathbf{\vec{v}}$와 $\mathbf{\vec{w}}$의 내적(dot product)는 $\lVert\mathbf{\vec{v}}\rVert \lVert\mathbf{\vec{w}}\rVert \cos \theta$이며, $\mathbf{\vec{v}}$, $\mathbf{\vec{w}}$의 내적은 ($\mathbf{\vec{v}}$가 $\mathbf{\vec{w}}$에 정사영하여 얻은 벡터의 길이)와 ($\mathbf{\vec{w}}$의 길이)를 곱한 값이다. 즉, 내적은 "정사영(=projection)"이라는 가하학적 특성을 가지고 있다. 뿐만 아니라, 내적은 신기하게도 다음과 같이 계산하여 구할 수 있다. 다시 말해, 다음과 같이 계산해도, "($\mathbf{\vec{v}}$가 $\..

이번 글에서는 최소 자승법(least square method)에 대해 알아볼 것이다. Problem 최소 자승법이 풀고자 하는 문제는 다음과 같다. rank($A$)=2인 $\underset{3 \times 2} A$와 $A$의 column space에 속하지 않는 3-D 벡터 $\mathbf{\vec{b}}$가 있을 때, 어떤 $A \mathbf{\vec{x}}$도 $\mathbf{\vec{b}}$와 같아질 수 없다. 즉, $A \mathbf{\vec{x}} = \mathbf{\vec{b}}$의 해는 존재하지 않는다. 그러면, 최대한 $\mathbf{\vec{b}}$와 최대한 가까운 $A \mathbf{\vec{x}}$라도 구해보자!! 다시 말해, $\mathbf{\vec{e}}(=\mathbf{\v..