꿈 많은 사람의 이야기

포스팅 개요대규모 언어 모델(Large Language Model) 기반의 RAG 시스템을 개발하면서, 가장 중요한 것은 데이터라고 다시 한번 체감하고 있습니다. 아무리 기존에 DX/AX를 준비했어도 LLM과 RAG 기반의 시스템에 well-fit되는 데이터는 더 다른 느낌인데요.특히 RAG 시스템 개발과 더 나아가 AI Agent(AI 에이전트) 시스템 개발을 하면 word, pdf, ppt, 한글(hwp) 데이터를 활용하여 내부 업무 효율화 등으로 시스템을 구축하는 경우가 많습니다.그렇다면 이러한 데이터를 LLM 등이 잘 이해할 수 있도록 잘 파싱(Parsing)하고 관리를 해야겠죠?업스테이지(Upstage)의 Document parser는 이러한 기존 레거시 형태의 문서 데이터들을 파싱해서 RAG에..

포스팅 개요최근 AI의 발전이 눈부십니다. 특히 OpenAI의 새로운 모델인 GPT-5는 단순한 챗봇을 넘어, 스스로 계획을 세우고, 도구를 사용하며, 복잡한 문제까지 해결하는 '에이전트(Agent)'로서의 능력을 보여주고 있습니다. 하지만 이런 강력한 도구도 어떻게 사용하느냐에 따라 그 결과는 천차만별입니다. "AI가 똑똑해졌는데, 왜 아직도 프롬프트 가이드가 필요한가요?"라는 질문이 들 수 있습니다.좋은 질문입니다. 결론부터 말하자면, GPT-5에게 프롬프트는 단순한 '질문'이 아니라, 유능한 AI 비서에게 내리는 '상세한 업무 지시서'이기 때문입니다. 모델의 잠재력을 100% 끌어내고, 내가 원하는 최적의 결과물을 안정적으로 얻기 위해서는 잘 설계된 프롬프트가 필수적입니다.본 포스팅에서는 GPT-5..

포스팅 개요전통적인 교과서는 교육의 핵심적인 도구이지만, 모든 학생에게 동일한 내용을 제공한다는 근본적인 한계를 가지고 있습니다. 새로운 자료를 추가하거나 내용을 다르게 표현하려면 많은 시간과 노력이 필요하기 때문에, 확장 가능한 방식으로 교과서를 수정하는 것은 거의 불가능했습니다.하지만, 최근 급격히 발전한 생성형 AI 기술이 교육 분야에 혁실을 가져올 잠재력이 있다는 구글의 연구가 있는데요.본 포스팅은 구글에서 소개한 논문 Towards an AI-Augmented Textbook 논문을 리뷰하면서 AI가 교육에 미치는 영향, 기존 교육 시스템을 어떻게 바꿀 수 있을지에 대한 인사이트를 정리합니다. - https://services.google.com/fh/files/misc/ai_augmented_..

포스팅 개요본 포스팅은 거대 언어 모델(LLM)의 추론(inference) 과정에서 발생하는 심각한 메모리 병목 현상을 해결하기 위한 핵심 최적화 기법인 Grouped-Query Attention(GQA)을 소개합니다. GQA는 구글 리서치에서 제안한 기술로 기존의 표준 Attention 방식인 Multi-Head Attention(MHA)의 높은 성능은 유지하면서, 추론 속도를 극대화한 Multi-Query Attention(MQA)의 장점을 결합한 아키텍처입니다. 본 포스팅에서는 MHA에서 MQA를 거쳐 GQA에 이르기까지 Attention 메커니즘의 발전 과정을 추적하고, GQA가 어떻게 속도와 성능이라는 두 마리 토끼를 모두 잡을 수 있었는지 그 원리를 상세히 분석합니다. 또한, Llama 2, ..

포스팅 개요본 포스팅은 거대 언어 모델(LLM)의 예측 불가능한 '성격(특징) 변화'라는 중대한 안전성 문제를 해결하기 위한 새로운 프레임워크를 제시한 논문, "Persona vectors: Monitoring and controlling character traits in language models"를 리뷰합니다. 본 논문은 Anthropic과 UT Austin 등 유수 기관의 공동 연구로, LLM 내부에서 '악의(evil)', '아첨(sycophancy)'과 같은 추상적인 성격(특징) 특성이 어떻게 표현되는지를 '페르소나 벡터(Persona Vector)'라는 개념을 통해 정량적으로 분석하고 제어하는 방법을 제안합니다. 특히, 파인튜닝 과정에서 발생하는 의도치 않은 성격 변질, 즉 '창발적 비정렬(..

포스팅 개요본 포스팅은 LLM(대규모 언어 모델)의 성능을 근본적으로 결정하는 '컨텍스트(Context)'를 체계적으로 설계하고 최적화하는 방법을 다룬 논문인 "A Survey of Context Engineering for Large Language Models"를 리뷰하는 포스팅입니다. 본 논문은 중국 과학원 컴퓨팅 기술 연구소(Institute of Computing Technology, Chinese Academy of Sciences)를 중심으로 칭화대, 베이징대 등 여러 유수 기관의 연구진들이 공동으로 작성했습니다. 본 논문은 RAG, 프롬프트 엔지니어링, 메모리 시스템 등 파편화되어 있던 LLM의 컨텍스트 관련 기술들을 '컨텍스트 엔지니어링(Context Engineering)'이라는 하나의..

포스팅 개요이번 포스팅은 로컬 개발 환경에 고사양의 GPU가 없더라도 구글 코랩(Google Colab)의 무료 GPU 자원을 활용해 자신만의 LLM(거대 언어 모델) API 서버를 구축하는 방법에 대해 정리합니다. ngrok이라는 터널링 도구를 활용해 Colab에서 실행되는 API 서버에 외부 접속이 가능한 공개 주소(Public URL)를 부여하고, 이를 통해 로컬 PC나 다른 환경에서 API를 자유롭게 호출하는 과정을 다룹니다.본 포스팅에서는 대표적인 LLM 서빙 프레임워크인 Ollama와 vLLM을 각각 Colab에 배포하고 API 서버로 활용하는 두 가지 실전 예제를 모두 소개합니다. 이를 통해 자신의 필요에 맞는 프레임워크를 선택하여 '나만의 LLM 서버'를 구축하고 활용하는 전반적인 과정을 ..

포스팅 개요이번 포스팅에서는 LangChain의 확장 라이브러리인 LangGraph를 사용하여 상태 저장(Stateful) 챗봇을 구축하는 방법에 대해 다룹니다. 일반적인 LLM API 호출은 이전의 대화 내용을 기억하지 못하는 무상태(Stateless) 특징을 가집니다. 본 포스팅에서는 이러한 한계를 극복하기 위해, PostgreSQL 데이터베이스와 연동하여 대화 기록을 영구적으로 관리하고, 대화의 길이에 따라 동적으로 요약본을 생성하여 컨텍스트(Context)를 효율적으로 관리하는 아키텍처를 LangGraph로 구현하는 전 과정을 설명합니다.이번 포스팅을 작성하면서 참고한 LangGraph 공식 문서는 아래와 같습니다.LangGraph Documentation: https://python.langch..

포스팅 개요이번 포스팅은 구글 코랩(google colab)에서 Ollama를 사용하는 방법에 대해서 정리합니다. 아무래도 요즘은 LLM을 활용해 RAG와 같은 다양한 애플리케이션 개발을 많이 수행하게 되는데요. 이때, 로컬에 LLM을 올려두어 사용하기도 하죠. 이때 많이 사용되는 것이 Ollama인데요. 이러한 Ollama를 colab에서도 사용할 수 있고, 최근에 개인적으로 해야할 상황이 있었습니다. 따라서, 이번 글은 코랩에서 ollama을 실행해서 LLM을 사용하는 방법에 대해서 정리해볼까 합니다.포스팅 본문구글 코랩은 무료로 GPU도 사용할 수 있고, 구글 드라이브 등에 데이터를 올려둔 상태로 파이썬(Python) 개발 등을 수행할 수 있는 매우 유용한 서비스인데요. 문제는 HuggingFace..

포스팅 개요이번 포스팅은 저의 티스토리 블로그 글을 활용한 AI Q&A 챗봇(Chatbot) RAG를 만들어본 포스팅입니다. PostgreSQL의 PGVector를 사용해서 벡터 데이터베이스(vector database)로 사용했고, Python의 랭체인(langchain)과 ollama, FastAPI, Streamlit을 활용해서 데이터를 저장, LLM 통신, 챗봇 Q&A 화면을 구성했습니다. 이번 포스팅은 다음과 같은 순서로 진행됩니다. 1. 데이터베이스 테이블 구성2. 티스토리 블로그 크롤링 및 postgresql 데이터베이스에 저장3. 데이터 청킹(Chunking) 및 벡터(Vector) 추출 후 저장4. FastAPI를 이용한 Ollama LLM 통신5. Streamlit을 활용하여 Q&A C..