목록자연어처리 (27)
꿈 많은 사람의 이야기
포스팅 개요 최근 OpenAI의 ChatGPT가 각광을 받으면서 대규모 언어 모델(LLM, Large Language Model)이 주목 받고 있습니다. 이전 포스팅에서는 이러한 LLM 모델, 그 중 chatgpt의 전신이 되는 gpt3.5를 활용하기 위해서 openai의 api를 활용해 간단한 파이썬 예제(Python example)을 살펴보았는데요. 하지만, 모델을 사용하는 입장으로 파인튜닝(Fine-tuning) 과정이 필요할 때가 있습니다. 이번 포스팅에서는 OpenAI의 GPT 계열 모델을 어떻게 Fine-tuning해서 사용하는지 정리해봅니다. ChatGPT API가 공개 되었습니다! 해당 포스팅을 작성한 지 1주가 지난, 3월 2일 chatgpt api가 공개 되었습니다. 본 포스팅은 gpt..
포스팅 개요 최근 OpenAI chatGPT가 각광을 받으면서, 저도 ChatGPT에 대해서 관심이 많아졌습니다. 이미 OpenAI에서 GPT 계열의 모델들은 API를 제공해주고 있고 그 중 ChatGPT의 전신이 되는 GPT3.5의 버전의 모델을 API로 활용할 수 있습니다. 그리고 글을 작성하는 현 시점(23년 2월 2째주)에는 chatgpt가 api로 나오진 않았고 web에서 사용해볼 수 있습니다. 그리고 이제 한국에서도 ChatGPT plus로도 사용해볼 수도 있게 나왔네요. 본 포스팅에서는 이러한 OpenAI GPT3 모델들의 API를 사용할 수 있는 방법을 파이썬 예제(Python example)로 살펴봅니다. 그리고 간단하게 slack으로 GPT3를 활용하는 응용 예제도 살펴보겠습니다. Op..
포스팅 개요 이번 포스팅은 자연어처리(nlp) 논문 중 ELECTRA : Pre-training Text Encoders as Discriminators Rather Than Generators 라는 논문을 리뷰하는 포스팅입니다. 본 논문은 ELECTRA 라고 많이 알려진 논문인데요. 앞서 GPT와 BERT 시리즈 등 리뷰에 이어서 진행하는 자연어처리 논문 포스팅 시리즈 여섯 번 째 포스팅입니다. 자연어처리 논문 리뷰는 아래와 같은 순서로 진행할 예정입니다. 오늘은 그 마지막 글인 여섯 번째 ELECTRA 입니다. GPT-1 (https://lsjsj92.tistory.com/617) BERT (https://lsjsj92.tistory.com/618) GPT-2 (https://lsjsj92.tisto..
포스팅 개요 이번 포스팅은 자연어처리(NLP) 논문 중 A Lite BERT for Self-supervised Learning of Language Representations라는 논문을 리뷰하는 포스팅입니다. 본 논문은 NLP논문에서 ALBERT라고 많이 알려진 논문입니다. 앞서 GPT, BERT, RoBERTa 논문 리뷰에 이어서 진행하는 자연어처리 논문 시리즈 다섯 번 째 포스팅입니다. 추가로 해당 포스팅의 내용은 제가 진행하는 사내 자연어처리 스터디에서 발표한 자료를 블로그로 정리한 자료임을 알려드립니다. 자연어처리 논문 리뷰는 아래와 같은 순서로 할 예정이며 이번 포스팅은 그 다섯 번 째 ALBERT 논문입니다. GPT-1 (https://lsjsj92.tistory.com/617) BERT ..
포스팅 개요 이번 포스팅은 자연어처리(NLP) 논문 중 A Robustly Optimized BERT Pretraining Approach라는 논문을 리뷰하는 포스팅입니다. 해당 자연어처리 논문은 흔히 RoBERTa라고 많이 언급되는 논문인데요. 앞서 GPT-1, GPT-2, BERT 논문 리뷰에 이어서 자연어처리 논문 시리즈 네 번째 포스팅입니다. 추가로 해당 포스팅의 내용은 제가 진행하는 사내 자연어 처리 스터디에서 발표한 자료를 블로그로 정리한 자료임을 알려드립니다. 자연어 처리 논문 리뷰는 아래와 같은 순서로 할 예정이며 이번 포스팅은 그 네 번째 RoBERTa 논문입니다. (순서는 바뀔 수 있습니다.) GPT-1 (https://lsjsj92.tistory.com/617) BERT (https:..
포스팅 개요 이번 포스팅은 자연어 처리(NLP) 논문 중 GPT-2(Language Models are Unsupervised Multitask Learners) 논문에 대한 리뷰를 작성하는 포스팅입니다. 앞서 GPT-1, BERT에 이어서 자연어 처리 논문 시리즈 정리하는 세 번째 포스팅입니다. 추가로 해당 포스팅의 내용은 제가 진행하는 사내 자연어 처리 스터디에서 발표한 자료를 블로그로 정리한 자료임을 알려드립니다. 자연어 처리 논문 리뷰는 아래와 같은 순서로 할 예정이며 이번 포스팅은 그 세 번째 GPT-2 논문입니다. (순서는 바뀔 수 있습니다.) GPT-1 (https://lsjsj92.tistory.com/617) BERT (https://lsjsj92.tistory.com/618) GPT-2..
포스팅 개요 이번 포스팅은 글또(글 쓰는 또라이가 세상을 바꾼다) 6기를 참여하며 어떻게 글또 6기를 활동해 나갈 것인지를 다짐하는 글입니다. 저는 지난 1년간 글또 4기, 5기를 참여했었고 이번 6기에도 참여하게 되었습니다. 지난 1년, 4기와 5기는 어떠했고 6기에는 어떻게 활동하고 싶은지 이번 포스팅을 통해 정리해보고자 합니다. 글또 : www.facebook.com/groups/geultto/ 글또 4기 때 다짐글 : lsjsj92.tistory.com/576 글또 4기 마무리 회고글 : lsjsj92.tistory.com/595 글또 5기 다짐글 : https://lsjsj92.tistory.com/603 글또 5기 회고글 : https://lsjsj92.tistory.com/614 포스팅 본문..
포스팅 개요 본 포스팅은 Google에서 발표한 자연어 처리(NLP) 논문 중 BERT(BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding) 논문을 리뷰한 포스팅입니다. 앞서 GPT-1 논문 리뷰에 이어서 자연어 처리 논문 시리즈 정리하는 두 번째 포스팅입니다. 추가로 해당 포스팅의 내용은 제가 진행하는 사내 자연어 처리 스터디에서 발표한 자료를 블로그로 정리한 자료임을 알려드립니다. 자연어 처리 논문 리뷰는 아래와 같은 순서로 할 예정이며 이번 포스팅은 그 두 번째 BERT 논문입니다. (순서는 바뀔 수 있습니다.) GPT-1(https://lsjsj92.tistory.com/617) BERT ( 이번 포스팅 ..
포스팅 개요 본 포스팅은 OpenAI에서 발표한 자연어 처리(NLP) GPT 논문 시리즈 중 첫 번째 Improving Language Understanding by Generative Pre-Training (GPT-1) 논문을 리뷰하는 포스팅입니다. 논문이 나온지 시간이 좀 되었고 본인도 몇 번 읽어봤지만, 블로그에 정리하지 않아서 이번 기회에 자연어 처리(NLP) 논문 시리즈로 정리해두려고 합니다. 추가로 해당 포스팅의 내용은 제가 진행하는 사내 자연어 처리 스터디에서 발표한 자료를 블로그로 정리한 자료임을 알려드립니다. 자연어 처리 논문 리뷰는 아래와 같은 순서로 할 예정입니다. ( 변경될 수도 있습니다. ) GPT-1 ( 이번 포스팅 ) BERT(https://lsjsj92.tistory.com..
포스팅 개요 이번 포스팅은 윈도우에서 파이썬 형태소 분석기인 konlpy와 은전한닢(Mecab)을 설치하는 방법을 정리하는 포스팅입니다. 그리고 윈도우 환경 mecab에서 사용자 사전(user dictionary)을 적용하고 만드는 방법에 대해 정리합니다. 사실, 해당 내용은 2년전에 블로그에 올리긴 했습니다. (lsjsj92.tistory.com/442) 하지만, 시간이 지나 당시엔 Mecab 연동이 윈도우에서 되지 않았던 문제가 해결되어 현재는 windows 환경에서 mecab을 사용할 수 있게 되었습니다. 그래서 이미 글은 있지만, 업데이트 하는 차원에서 다시 한 번 정리해서 올려봅니다. 참고사항 제가 konlpy를 설치하는 윈도우 환경 및 파이썬 환경은 아래와 같습니다. - Python3.7 - ..