Backgrounds NLP 모델의 발전 과정 → 모델과 데이터의 사이즈가 커짐에 따라 전체 데이터만 사용하는 방식이 아닌 다양한 방식이 도입되었음 → 그 중 PELT는 2020년 이후로 많이 사용되었음 Prompt-based Fine-tuning: 새로운 파라미터가 필요없고, few-shot 학습에 용이함 In-context Learning: task에 따라 모델의 파라미터를 바꾸는 것이 아닌, 몇개의 example만을 가지고 학습하는 방식 : prompt, demonstrations, pattern, verbalizer(label과 text를 mapping해주는 함수)의 개념 활용 ⇒ No task-specific training이 가능하다는 장점이 있지만, 대규모 training set를 활용할 수..

학교 수업의 일환으로 chatgpt api를 사용해보았다. Chatgpt API 발급받기 1. openai 홈페이지에 들어가면 API 를 사용할 수 있는 메뉴가 있다. 2. view API keys로 들어가기 3. API 발급 받기 개인의 API를 발급받고 확인할 수 있다. 미리 복사해두지 않으면 계속 API를 발급받아서 확인해야할 수 있으므로 미리 복사해두는 것을 추천한다. (Option) 4. 결제 계정당 발급 받을 수 있는 토큰의 수가 제한되어 있다. 나는 과제를 빠르게 끝내야 했으므로 .. ㅎ ㅎ 일단 결제를 했다. 결제 수단 등록을 진행하면 자동으로 결제가 우선 이루어 진다. 대충 한끼 굶을게요 Python에서 API 활용하기 import openai ## OepnAI api = '' #my a..

Paper Main Idea 맞춤법 오류가 있는 텍스트에 대해서 tokenizatioin repair를 수행함으로써 맞춤법 교정 수행 왜 tokenization 과정에서 수행하였는가? 우선 토큰화는 자연어 처리에서 가장 중요하다고 해도 과언이 아닌 단계임 (토큰화 : 텍스트를 의미가 있는 가장 작은 단위로 분할하는 과정) 맞춤법 오류가 있는 텍스트의 경우 토큰화 단계에서부터 문제가 발생할 수 있음 ex) "This algoritm runs in linear time"→ This, algoritm, runs, in, linear, time로 분리되어야 함. This algor itm runsin linear time 처럼 띄어쓰기 단계에서 오타가 있는 경우는 올바른 토큰으로 분리되지 않을 수 있음 toke..

언어 모델의 발전 과정을 전체적으로 톺아보기 위한 포스팅이다. (1) NLP의 이해/ RNN / LSTM https://emperor-one-data-study.tistory.com/35 (2) Seq2seq와 Attention (3)Transformer (4) Transformer 계열 모델 - encoder only / encoder-decoder / decoder only (5) In context learning (6) promting for few-shot learnig 순서로 전체적인 흐름을 정리해본다. (추후 순서 변경 가능!) LM 모델의 발전 이 전 포스팅에서, NLP 모델의 기초가 되었던 RNN과 LSTM에 대해 알아보았다. LSTM에서 발생하는 문제점들을 보완하기 위해 Encoder-..

언어 모델의 발전 과정을 전체적으로 톺아보기 위한 포스팅이다. (1) NLP의 이해/ RNN / LSTM (2) Seq2seq / Transformer (3) Transformer 계열 모델 - encoder only / encoder-decoder / decoder only (4) In context learning (5) promting for few-shot learnig 순서로 전체적인 흐름을 정리해본다. (추후 순서 변경 가능!) NLP의 의미 NLP(Natural Language Processing)는 말 그대로, 컴퓨터가 인간의 언어를 이해할 수 있도록 하는 전반적인 과정을 다루는 AI 분야이다. 컴퓨터가 이해할 수 있도록 언어를 바꾼 후 , 추론 및 문장 생성 등 다양한 언어 Task를 수..