조건부확률 $P(A|B)$는 사건 $B$가 일어날 상황에서 사건 $A$가 발생할 확률을 의미한다.인과 관계조건부확률로 두 변수 간의 상관관계(correlation)를 추론할 수 있지만 이를 인과관계(causality)로 추론하는 것은 매우 위험하다.그렇기 때문에, 데이터에서 추론할 수 있는 관계, 데이터 생성 원리, 도메인 지식을 기반으로 인과관계를 정확히 추론해야 한다. 인과관계를 짚고 넘어가는 이유는 데이터 분포 변화에 강건한 예측 모델을 만드는데 필요하기 때문이다.아래 그럼처럼, 상관관계 기반 예측 모델은 데이터 분포 변화에 취약한 모습을 보이는 반면, 인과관계 기반 예측 모델은 강건한 모습을 보인다.반면, 안과관계만으로는 높은 성능을 담보할 수 없다. 중첩 요인 (Confounding facto..

1. Markov Chain Models A Markov chain model is specified by identifying: (a) the set of states $S = \{1, \cdots, m\}$. (b) transition probability matrix $P = \begin{bmatrix} p_{11} & \cdots & p_{1m} \\ \vdots & \ddots & \vdots \\ p_{m1} & \cdots & p_{mm} \end{bmatrix}$ transition probabilities $p_{ij}$는 현재 state($X_n$)가 $i$일 때, 다음 state($X_{n+1}$)가 $j$가 될 확률을 의미한다. 이때, 과거 state($X_{1}$전 $X_1$에는 ..

1. Bayesian Statistical Inference1.1. Terminology of Bayesian Inference $x = (x_1, \cdots, x_n)$: observation vector of $X$$p_\Theta$ or $f_\Theta$: prior distributionunknown parameter distribution $\Theta$ that was assumed before observing $x$$p_{\Theta|X}$ or $f_{\Theta|X}$: posterior distributionunknown parameter distribution $\Theta$ that was assumed after observing $x$1.2. Summary of Bayesi..

1. Markov and Chebyshev Inequalities 1.1. Markov Inequalities If a random variable $X$ can only take nonnegative values, then $$P(X \le a) \ge \frac{E[X]}{a}, \quad \text{for all } a > 0$$ Proof $$Y_a = $$\begin{cases} 0, & \text{if } X > a \\ a, & \text{if } X \le a \end{cases}$$ \\ E[Y_a] = 0 \cdot Pr(X < a) + a \cdot Pr(X \le a) \rightarrow E[Y_a] = a \cdot Pr(X \le a) \\ Pr(X \le a) = \frac{E[Y_..