oriyaho

LLM을 어떻게 쉽게 활용할 수 있을까 궁금했던 것들을 실험하고 있습니다. 이 주제는 그 중 하나인데요. 파인 튜닝을 수행하지 않고 RAG + 시스템 프롬프트 + 파라미터 튜닝을 통해 이 정도 답변을 하더라 사례 정도로 봐주시면 되겠습니다. 주제는 시스템 담당자를 안내 해주는 챗봇 만들기 입니다. 아래와 같은 질문에 파인튜닝 없이 RAG로 답변을 제대로 해줄까?담당자 목록 알려줘.→ 문서에서 읽은 담당자 목록을 잘 표현해주는지 확인구매 요청 중 오류가 발생했는데 담당자가 누구야?→ 의미 분석을 통해 모듈을 잘 찾는지 확인생산 공정에서 품질 불량이 발생했어. 어떻게 처리 해야 해?→ 2가지 모듈에 대한 언급 하더라도 답변을 잘 할지 확인전표를 잘못 작성하고 상신했는데 취소 전 승인이 되어 버렸어.→ 돌려서..

이번 글에서는 RAG(Retrieval Augmented Generation)에 대해 소개하고, 이를 Open-WebUI에서 어떻게 활용할 수 있는지 알아보려고 합니다. RAG(Retrieval-Augmented Generation)란? RAG는 검색 기반 생성 기술로, 언어 모델이 응답을 생성할 때 내부 지식만 사용하는 것이 아니라 외부 데이터 소스에서 관련 정보를 검색하여 활용하는 방식입니다. 이를 통해 모델은 최신 정보나 특정 도메인에 대한 전문 지식을 실시간으로 반영할 수 있습니다. RAG의 작동 원리 검색(Retrieval): 사용자의 질문이나 프롬프트와 관련된 정보를 외부 데이터베이스 또는 지식 저장소에서 검색합니다.증강(Augmentation): 검색된 관련 정보를 원래의 프롬프트에 추가합니..

Open WebUI란?Open-WebUI는 로컬에서 구동 가능한 LLM 모델을 웹 인터페이스로 제공하여 다수의 사용자가 동시에 접근하고 상호작용할 수 있는 환경을 제공합니다. 단일 사용자의 경우에도 편리하지만, 여러 사용자와의 협업이나 서비스 형태로 모델을 활용하고자 하는 경우 매우 괜찮은 솔루션입니다.웹 기반 상호작용: Open-WebUI는 웹 브라우저만 있으면 어디서든 접근할 수 있는 인터페이스를 제공합니다. 이를 통해 사용자는 설치 없이도 로컬에 설치된 LLM과 상호작용할 수 있습니다.다수 사용자 환경: 웹 인터페이스를 통해 다수의 사용자가 동시에 LLM을 사용할 수 있기 때문에, 기업 내 혹은 연구소 등에서 LLM을 협업 도구로 활용하기에 적합합니다.그런데.. 우리 모두가 LLM을 구동할 만큼 괜..

최근 LLM 서비스들이 점점 더 널리 사용되고 있지만, 개인정보 보호와 비용 문제로 인해 고민하는 사용자들이 많습니다. 특히 폐쇄망 환경에서 오픈소스 기반 모델을 로컬 환경에서 실행할 수 있다면 이러한 고민들이 해소가 되겠죠. Ollama는 클라우드에 의존하지 않고, 개인 컴퓨터에서 대형 언어 모델을 직접 실행할 수 있는 솔루션으로, 인터넷 연결이 불필요한 폐쇄망에서도 동작할 수 있어 괜찮은 대안이 될 수 있습니다. 지금부터 공개된 LLM 모델들을 로컬에서 직접 실행하고 관리할 수 있도록 해주는 Ollama에 대해 알아보겠습니다. ollama 만을 활용해 llama 3.1 모델로 추론할 경우 아래와 같이 활용될 수 있습니다.    그런데 우리가 AI를 활용하여 서비스를 만들거나 ChatGPT같은 사이트를..