NLP

Paper Main Idea 맞춤법 오류가 있는 텍스트에 대해서 tokenizatioin repair를 수행함으로써 맞춤법 교정 수행 왜 tokenization 과정에서 수행하였는가? 우선 토큰화는 자연어 처리에서 가장 중요하다고 해도 과언이 아닌 단계임 (토큰화 : 텍스트를 의미가 있는 가장 작은 단위로 분할하는 과정) 맞춤법 오류가 있는 텍스트의 경우 토큰화 단계에서부터 문제가 발생할 수 있음 ex) "This algoritm runs in linear time"→ This, algoritm, runs, in, linear, time로 분리되어야 함. This algor itm runsin linear time 처럼 띄어쓰기 단계에서 오타가 있는 경우는 올바른 토큰으로 분리되지 않을 수 있음 toke..

https://arxiv.org/abs/2302.11382 A Prompt Pattern Catalog to Enhance Prompt Engineering with ChatGPT Prompt engineering is an increasingly important skill set needed to converse effectively with large language models (LLMs), such as ChatGPT. Prompts are instructions given to an LLM to enforce rules, automate processes, and ensure specific qualities (and q arxiv.org 2023년 2월에 발표된 논문으로, 요즘 어디서든 빠지..

언어 모델의 발전 과정을 전체적으로 톺아보기 위한 포스팅이다. (1) NLP의 이해/ RNN / LSTM https://emperor-one-data-study.tistory.com/35 (2) Seq2seq와 Attention (3)Transformer (4) Transformer 계열 모델 - encoder only / encoder-decoder / decoder only (5) In context learning (6) promting for few-shot learnig 순서로 전체적인 흐름을 정리해본다. (추후 순서 변경 가능!) LM 모델의 발전 이 전 포스팅에서, NLP 모델의 기초가 되었던 RNN과 LSTM에 대해 알아보았다. LSTM에서 발생하는 문제점들을 보완하기 위해 Encoder-..

언어 모델의 발전 과정을 전체적으로 톺아보기 위한 포스팅이다. (1) NLP의 이해/ RNN / LSTM (2) Seq2seq / Transformer (3) Transformer 계열 모델 - encoder only / encoder-decoder / decoder only (4) In context learning (5) promting for few-shot learnig 순서로 전체적인 흐름을 정리해본다. (추후 순서 변경 가능!) NLP의 의미 NLP(Natural Language Processing)는 말 그대로, 컴퓨터가 인간의 언어를 이해할 수 있도록 하는 전반적인 과정을 다루는 AI 분야이다. 컴퓨터가 이해할 수 있도록 언어를 바꾼 후 , 추론 및 문장 생성 등 다양한 언어 Task를 수..