꿈 많은 사람의 이야기

포스팅 개요전통적인 교과서는 교육의 핵심적인 도구이지만, 모든 학생에게 동일한 내용을 제공한다는 근본적인 한계를 가지고 있습니다. 새로운 자료를 추가하거나 내용을 다르게 표현하려면 많은 시간과 노력이 필요하기 때문에, 확장 가능한 방식으로 교과서를 수정하는 것은 거의 불가능했습니다.하지만, 최근 급격히 발전한 생성형 AI 기술이 교육 분야에 혁실을 가져올 잠재력이 있다는 구글의 연구가 있는데요.본 포스팅은 구글에서 소개한 논문 Towards an AI-Augmented Textbook 논문을 리뷰하면서 AI가 교육에 미치는 영향, 기존 교육 시스템을 어떻게 바꿀 수 있을지에 대한 인사이트를 정리합니다. - https://services.google.com/fh/files/misc/ai_augmented_..

포스팅 개요본 포스팅은 거대 언어 모델(LLM)의 예측 불가능한 '성격(특징) 변화'라는 중대한 안전성 문제를 해결하기 위한 새로운 프레임워크를 제시한 논문, "Persona vectors: Monitoring and controlling character traits in language models"를 리뷰합니다. 본 논문은 Anthropic과 UT Austin 등 유수 기관의 공동 연구로, LLM 내부에서 '악의(evil)', '아첨(sycophancy)'과 같은 추상적인 성격(특징) 특성이 어떻게 표현되는지를 '페르소나 벡터(Persona Vector)'라는 개념을 통해 정량적으로 분석하고 제어하는 방법을 제안합니다. 특히, 파인튜닝 과정에서 발생하는 의도치 않은 성격 변질, 즉 '창발적 비정렬(..

포스팅 개요이번 포스팅에서는 이전 글에서 다루었던 LangGraph의 기본 개념을 넘어, 한층 더 지능적이고 유연한 LLM 에이전트를 구축하는 방법을 알아봅니다. LangGraph의 강력한 기능인 도구(Tool) 사용, 조건부 엣지(Conditional Edge), 그리고 사용자의 개입을 허용하는 사람의 개입(Human-in-the-Loop) 메커니즘을 집중적으로 다룹니다.LangGraph를 사용하여 에이전트가 상황에 따라 동적으로 행동을 결정하고, 스스로 해결할 수 없는 문제에 대해서는 사람에게 도움을 요청하여 작업을 일시 중단했다가 피드백을 받아 재개하는 전체 과정을 상세한 코드 예제와 함께 살펴보겠습니다. 본 포스팅을 작성하면서 참고한 자료는 다음과 같습니다.https://github.com/lan..

포스팅 개요이번 포스팅은 구글 코랩(google colab)에서 Ollama를 사용하는 방법에 대해서 정리합니다. 아무래도 요즘은 LLM을 활용해 RAG와 같은 다양한 애플리케이션 개발을 많이 수행하게 되는데요. 이때, 로컬에 LLM을 올려두어 사용하기도 하죠. 이때 많이 사용되는 것이 Ollama인데요. 이러한 Ollama를 colab에서도 사용할 수 있고, 최근에 개인적으로 해야할 상황이 있었습니다. 따라서, 이번 글은 코랩에서 ollama을 실행해서 LLM을 사용하는 방법에 대해서 정리해볼까 합니다.포스팅 본문구글 코랩은 무료로 GPU도 사용할 수 있고, 구글 드라이브 등에 데이터를 올려둔 상태로 파이썬(Python) 개발 등을 수행할 수 있는 매우 유용한 서비스인데요. 문제는 HuggingFace..

포스팅 개요본 포스팅은 Local 환경에서 LLM을 실행시킬 때 많이 활용하는 Ollama를 스트리밍(streaming) 형태로 LLM의 응답(response)를 받는 방법에 대해서 정리한 포스팅입니다. Ollama에게 직접 request 할 때와, Python requests를 이용한 방법 그리고 PoC(Proof-of-Concept)으로 많이 활용하는 Python streamlit으로 웹 페이지를 만들었을 때 활용하는 방법을 기준으로 설명합니다.Ollama란 무엇인지는 본 포스팅에서 소개하지 않습니다. LLM을 로컬 환경에서 실행하고 서버 형태로도 배포 가능한 Ollama에 대해서 궁금하신 분들은 제 이전 포스팅이나, 다른 글들을 참고하시길 바랍니다. - Ollama란?: https://lsjsj92..

포스팅 개요본 포스팅은 ChatGPT와 같은 LLM 모델들에 대한 보안 문제, 구체적으로 탈옥(Jailbreak) 문제를 다룬 논문인 Constitutional Classifiers: Defending against Universal Jailbreaks across Thousands of Hours of Red Teaming 논문을 리뷰하는 포스팅입니다. 본 논문은 클로드(Claude) 계열의 모델(Claude Sonnect, Haiku 등)을 만든 회사인 앤트로픽(Anthropic)의 Safeguards Research Team에서 작성한 논문입니다. 본 논문은 LLM의 취약점 중 하나인 Jailbreak 공격에 대해서 어떻게 대응하고 방어할 지 연구하였으며 Red Team을 활용해 3,000시간 이상..

포스팅 개요이번 포스팅은 저 이수진의 2024년 회고를 작성한 글입니다.정말 우여곡절이 많았던 한 해였는데요. 2024년을 돌아보면서 솔직한 마음을 돌아보면서, 일기 형식으로 회고를 남겨봅니다.  2024년을 돌아보면서 2024년이 이제 거의 남지 않았다. 글을 쓰고 있는 시점이 12월 28일이니까, 3일 남았다. 시간 정말 빠르다. 24년 초기에 조직 개편과 승진 등 여러 변화를 겪었는데, 어느덧 24년이 끝나간다.2024년을 돌아보면 뭘 했지?라는 생각이 들 정도로 정말 정신없이 살아왔다. 중간중간 일기나, 기록을 하지 않았으면 정말 기억이 잘 나지 않았을 것 같다. 그만큼 여러 우여곡절과 상황이 계속 발생했고 그걸 이겨내왔다. 2024년을 한 줄로 요약하자면 이렇게 쓸 수 있지 않을까?  실패와 도..

포스팅 개요본 포스팅은 대규모 언어 모델(Large Language Models, LLM)을 쉽고 빠르게 배포 및 서빙할 수 있는 vLLM 글의 3번째 글(vLLM Langchain Tutorial)로, OpenAI API 서버로 배포된 vLLM과 랭체인(Langchain) 라이브러리를 연동해 RAG를 간단하게 구현하는 방법과 예제(example)를 알아보는 포스팅입니다.이전 글들에서 vLLM이란 무엇이고, 사용법, 설치 방법, API로 배포하는 방법 등을 정리해두었으니 vLLM에 익숙하지 않으신 분들은 이전 글들을 참고 부탁드립니다. vLLM과 관련된 포스팅은 아래와 같습니다.vLLM 사용법과 소개 : https://lsjsj92.tistory.com/668vLLM을 OpenAI 서버(server)로 ..

포스팅 개요이번 포스팅은 대규모 언어 모델(Large Language Models, LLM)을 쉽고 빠르게 배포할 수 있는 vLLM 라이브러리를 활용해서 OpenAI API Server(OpenAI-Compatible Server)로 배포하여 모델을 서빙(serving)할 수 있는 방법을 알아봅니다. 이전 포스팅(https://lsjsj92.tistory.com/668)에서는 vLLM에 대한 설명과 설치 방법에 대해서 알아보았는데요. 이 vLLM을 마치 OpenAI의 API 서버처럼 활용해서 LangChain이나 OpenAI 라이브러리에도 연동하여 사용할 수 있습니다.  vLLM과 관련된 포스팅은 아래와 같습니다.vLLM 사용법과 소개 : https://lsjsj92.tistory.com/668vLLM을..

포스팅 개요본 포스팅은 글또 10기(글쓰는 또라이가 세상을 바꾼다, 글쓰는 개발자 모임)를 시작하면서 다짐하는 다짐글입니다.4기부터 시작한 글또를 어느덧 10기까지 참여하게 되었는데요(중간에 9기는 결혼 스케줄 때문에 참석 못하였음). 이번 기수까지 진행하면 3년이라는 시간을 채우게 될 것 같습니다.글또 10기에는 어떻게 활동하고 싶은지, 어떤 생각과 마음을 가지고 있는지 정리해보려고 합니다. 글또 : www.facebook.com/groups/geultto/글또 4기 다짐글 : lsjsj92.tistory.com/576글또 4기 회고글 : lsjsj92.tistory.com/595글또 5기 다짐글 : https://lsjsj92.tistory.com/603글또 5기 회고글 : https://lsjsj9..