전체 글

언어 모델의 발전 과정을 전체적으로 톺아보기 위한 포스팅이다. (1) NLP의 이해/ RNN / LSTM https://emperor-one-data-study.tistory.com/35 (2) Seq2seq와 Attention (3)Transformer (4) Transformer 계열 모델 - encoder only / encoder-decoder / decoder only (5) In context learning (6) promting for few-shot learnig 순서로 전체적인 흐름을 정리해본다. (추후 순서 변경 가능!) LM 모델의 발전 이 전 포스팅에서, NLP 모델의 기초가 되었던 RNN과 LSTM에 대해 알아보았다. LSTM에서 발생하는 문제점들을 보완하기 위해 Encoder-..

시계열 예측 모델 중 베이스라인으로 활용하는 4개의 모델이 있다. 이는 마지막 예측값을 어떤 값으로 할지에 따라 나뉜다. average method: 과거 데이터의 평균값으로 마지막값 예측 naive method: 관측값 중 마지막 값을 예측값으로 seasonal method: 같은 seasonal point 중 과거의 point을 예측값으로 , 올해 값이 없으면 작년, 제작년 값 사용 drift method: naive method에 trend를 반영한 것. 마지막값 + 변화의 평균값(x변화량, y변화량) [R code] meaf(y, h=20) naive(y, h=20) snaive(y, h=20) rwf(y, drift=TRUE, h=20) #FALSE면 naive

Basic of Time Series forecasting이란 Time Series Analysis의 한 분야로 미래에 이어질 sequence of observation을 예측하는 것 여기서, seqeunce는 random variable 미래의 움직임이 어떻게 될지 예측하는 것 과거의 정보는 conditioning하여 미래의 정보를 예측함 Time series의 pattern은 크게 trend, seasonal, cycle로 구성되어 있음 Lag와 Autocorrealtion lag(K)는 시차를 의미 시계열에서는 correlation 대신 autocorrelation, 즉 자기 상관계수라는 개념이 사용됨: $y_t$ 와 $y_{t-k}$ 간의 관계에 대한 값 이러한 autocorrelation은 함수..

확률 변수 변환 기존 변수와 이 변수의 pdf를 활용하여 새로운 변수에 대한 function을 정의하는 것 각 분포의 pdf form 기억해둘 것 적분 공식들, 테일러 급수, 등비급수 공식 기억 1차원 - 1차원 변환 다차원 - 다차원

언어 모델의 발전 과정을 전체적으로 톺아보기 위한 포스팅이다. (1) NLP의 이해/ RNN / LSTM (2) Seq2seq / Transformer (3) Transformer 계열 모델 - encoder only / encoder-decoder / decoder only (4) In context learning (5) promting for few-shot learnig 순서로 전체적인 흐름을 정리해본다. (추후 순서 변경 가능!) NLP의 의미 NLP(Natural Language Processing)는 말 그대로, 컴퓨터가 인간의 언어를 이해할 수 있도록 하는 전반적인 과정을 다루는 AI 분야이다. 컴퓨터가 이해할 수 있도록 언어를 바꾼 후 , 추론 및 문장 생성 등 다양한 언어 Task를 수..

Recap & step function을 활용한 classification model linear classification task를 수행하기 위해서는 $(x_1, x_2)$라는 feature를 활용하여 decision boundary를 생성하였음. 하지만 선형의 decision boundary로 데이터를 분류할 수 없는 경우가 있다. 위와 같은 경우에는 선형으로는 분류할 수 없다. 따라서 다양한 정보를 나타내기 위하여 $\phi(x)=[x_1, x_2, x_1^2, x_1x_2, x_2^2]^T$를 사용할 수 있다. 이는 $x$를 활용하여 여러 feature 생성한 것인데 1차원이 아닌 2차원 feature가 포함되어 있으므로 polynomial features하고 할 수 있다. 여러 정보를 반영하기..

자료 구조에 대해 왜 알아야 할까? 프로그래밍 문제 중 "탐색" 유형은 많은 양의 데이터 중에서 원하는 데이터를 찾는 과정이다. 코딩 테스트에서는 그래프, 트리 등의 자료구조 안에서 탐색을 하는 문제를 자주 다룬다. 대표적인 탐색 알고리즘으로는 DFS, BFS가 있는데, 해당 알고리즘을 잘 이해해야만 탐색 유형 문제들을 잘 풀어갈 수 있다. 탐색 알고리즘을 이해하기 위한 필수적인 자료구조로는 스택, 큐, 재귀 함수 등이 있다. 해당 개념을 완벽히 이해하고 넘어가보자! (재귀 함수는 다음 포스팅에서 다루고자 한다. ) 자료 구조, 스택과 큐 자료 구조는 데이터를 표현하고 관리하고 처리하기 위한 구조를 의미한다. 자료 구조 중 스택과 큐를 쓰기 위해서는 이를 이루는 두가지 주요 함수에 대해 알아야 한다. 삽..