Abstract 언어 모델 확장이 사용자 의도 (or 요구)에 부합한 텍스트 생성을 장려하지 않는다. (예를 들어, 사용자가 대화 task를 요구한다고 가정할 때, 언어 모델 확장은 대화 task의 수행 능력 향상의 본질적인 해결책이 아니다. 왜냐하면 언어 모델이란 학습 데이터를 재현해주는 모델이지, 대화 task를 수행하기 위해 만들어진 모델이 아니기 때문이다. 즉, 언어 모델을 확장하면 학습 데이터를 더 잘 재현할 뿐, 사용자의 의도에 부합한 텍스트를 더 잘 생성하는데 본질적으로 도움을 주지 못한다.) 다시 말해, 기존 언어 모델은 사용자에게 맞춰져 있지 않다. 즉, 사용자 맞춤이 아니다. 이번 연구에서는, 어떻게 하면 언어 모델이 사용자 의도(=광범위한 task)에 맞춰질 수 있는지에 대한 방법론(..

Abstract 이번 연구에서는, 트랜스포머 기반의 언어 모델 성능을 다양한 크기에서 분석해볼 것이다. 모델 크기 확장으로 얻은 성능 향상은 독해 이해, 사실 확인, 혐오 표현 식별과 같은 테스크가 가장 크다. 반면에, 논리적이고 수학적인 추론 테스크가 상대적으로 낮다. 더보기 we present an analysis of Transformer-based language model performance across a wide range of model scales Gains from scale are largest in areas such as reading comprehension, fact-checking, and the identification of toxic language, but logic..

이번 글에서는, 유명한 greedy 알고리즘에 대해 살펴볼 것이다. 1. Single-source shortest paths Problem source vertex(=s)에서 그 외 나머지 vertex까지의 최소 경로를 구하는 문제다. 이 문제의 핵심은 다음과 같다. "최소 경로의 하위 경로도 최소 경로"다!! Approach (Dijkstra's algorithm) 빈 F, Y에서 시작해 T가 MST가 될 때까지 edge를 순차적으로 추가한다. selection procedure: "V-Y의 vertex 중 s와 가장 가까운 vertex(=v)"를 선택한다. feasibility check: 바로 v와 Y를 잇는 edge(=$e$)를 T에 추가하고, v를 Y에 추가한다. (왜냐하면, $e$를 추가한 T..

이번 글에서는, greedy 접근법에 대해 살펴볼 것이다. Geedy algorithm Definition Greedy 접근법은 항목(=item)의 연속적인 선택을 기반으로 문제를 푼다. 이때, 선택되는 항목은 "현재 선택 가능한 항목 중에서 가장 좋은 항목"이다. Approach Greedy 알고리즘은 빈 집합(=S)에서 시작해 instance의 solution이 될 때까지 항목을 순차적으로 추가한다. selection procedure: "현재 선택 가능한 항목 중 가장 좋은 항목(=item)"을 선택한다. feasibility check: S ∪ {item}이 solution이 될 수 있는지 점검한다. 만약 될 수 있다면, S에 item을 추가한다. solution check: S가 solution..

이번 글에서는, dynamic programming 기법을 활용한 유명 알고리즘에 대해 살펴볼 것이다. 1. Chained Matrix Multiplication 다음과 같은 행렬 곱을 생각해보자. $$\underset{20 \times 2}A \quad \times \underset{2 \times 30}B \quad \times \underset{30 \times 12}C \quad \times \underset{12 \times 8}D$$ 어느 순서로 행렬 곱을 하든, 결과는 같다. 하지만 연산 횟수에는 영향을 준다. $$A(B(CD)) \rightarrow 3680 \\ (AB)(CD) \rightarrow 8880 \\ A((BC)D) \rightarrow 1232 \\ ((AB)C)D \rig..

이번 글에서는, divide-and-conquer와 매우 비슷한 기법인 dynamic programming에 대해 살펴볼 것이다. Dynamic Programming Definition divide-and-conquer와 개념이 매우 흡사하다. 작은 instance(s)의 solution을 기반으로 original instance의 solution을 푼다. 이때, 작은 instance(s)의 solution(s)을 저장하여, 중복 계산을 방지한다. Approach dynamic programming 알고리즘은 다음 2단계 절차를 기반으로 설계돼야 한다. 작은 instance(s)의 solution으로 original instance의 solution을 구하는 재귀 속성($\approx$점화식)을 찾는다...