oriyaho

안녕하세요! 이번 블로그에서는 Proxmox Backup Server(PBS)를 Synology Virtual Machine Manager(VMM) 환경에 설치하고, 효율적인 백업 시스템을 구성하는 과정을 소개하려고 합니다. Proxmox Backup Server는 고성능의 백업 솔루션으로, Proxmox VE 환경과 완벽하게 통합되어 안정적이고 효율적인 백업 및 복구 기능을 제공합니다. 특히, 데이터 중복 제거(Deduplication), 압축, 암호화와 같은 고급 기능을 제공하여 IT 환경의 백업 관리를 한층 더 간편하게 만들어줍니다. 왜 Synology VMM과 PBS를 함께 사용할까요?Synology NAS는 뛰어난 스토리지 솔루션을 제공하며, VMM(Virtual Machine Manager)을..

Proxmox를 운영하면서 로컬 LVM을 사용하다 보면, 저장소의 용량 제한과 고가용성을 확보하는 데 어려움을 겪게 됩니다. 이를 해결하기 위해 Ceph를 도입하고, VM(가상 머신)과 CT(컨테이너)를 마이그레이션 해주었습니다. ceph는 오픈소스 분산 스토리지 시스템입니다. ceph를 구성하고 나면 다른 노드로 VM이나 CT를 마이그레이션할 때 다운타임 없이 진행할 수 있게 됩니다. 분산 구성이므로 장애 대응에도 유연하게 대처가 가능해 집니다.  처음부터 ceph를 세팅해두고 환경을 만들어 나갔으면 신경쓸 것이 별로 없었을텐데 기존의 노드 3대가 모두 local lvm으로 구성된 상태라 ceph로 마이그레이션하면서 단계적으로 작업해야 하는 불편함이 있었습니다.   Ceph 설치    저장소에서 필요한..

여러 해 동안 하이퍼바이저를 사용하면서 Proxmox로 정착한 경험을 공유해보겠습니다.ESXi를 사용하며 동시에 운영하다가 Proxmox로 정착하였습니다.기술 가이드는 아니고.. 운영하면서 그냥 정리 해둬야겠다 싶어서 기록으로 남겨둡니다.어떤 하이퍼바이저가 좋을까 고민 중이시라면 Proxmox를 추천드리고 싶고, VM도 필요하고 스토리지, 도커, 컨테이너 등 클라우드 서비스를 온프레미스로 구축해보고자 하신다면 OpenStack 도 좋은 대안이 될 수 있을 것 입니다.    Proxmox 의 장점비용 효과 : 당연하게도 오픈소스 기반이라 비용적인 측면에서 메리트가 큽니다.상용 제품에서 제공하는 강력한 기능들을 활용할 수 있으며 여러 해 동안 마이너, 메이저 버전의 업데이트도 큰 이슈 없이 가능 했음.cep..

Apache Guacamole은 HTML5 기반의 클라이언트리스 원격 데스크톱 게이트웨이입니다. 다양한 원격 프로토콜(RDP, VNC, SSH 등)을 지원하며, 웹 브라우저만으로 원격 시스템에 접속할 수 있습니다. 이 가이드에서는 Docker Compose를 활용한 Guacamole 설치부터 Windows PC로 원격 접속, 그리고 Nginx Proxy Manager를 통한 HTTPS 설정까지 다루겠습니다. 1. Guacamole 소개 1.1 주요 특징HTML5 기반 웹 인터페이스로 별도 클라이언트 설치 불필요다양한 원격 프로토콜 지원 (RDP, VNC, SSH)웹 브라우저를 통한 통합 원격 접속 환경 제공크로스 플랫폼 지원 (데스크톱, 모바일) 1.2 활용 장점방화벽이나 네트워크 제한으로 일반 RDP ..

Open WebUI에서 제공하는 유용한 기능 중 하나가 바로 유튜브 요약 기능입니다.유튜브에서 흥미로운 주제의 영상을 클릭했는데, 막상 긴 서론과 비효율적인 내용으로 시간만 허비한 경험, 한 번쯤 있으셨을 겁니다. 특히 강의나 인터뷰 같은 영상 콘텐츠에서 도입부에 큰 기대를 갖게 만들고 정작 핵심 내용 없이 긴 시간 동안 주변 이야기만 이어가는 경우는 흔히 발생합니다.유튜브 요약 기능은 사용자가 유튜브 동영상의 내용을 빠르게 파악할 수 있도록 동영상의 주요 내용을 텍스트로 요약해주는 도구입니다. 특히 긴 동영상이나 특정 정보를 찾고 싶은 경우 매우 유용합니다. 기능 사용 방법1. 설정관리자 페이지 웹 검색에서 유튜브 로더 설정의 언어를 ko로 변경해줍니다. 2. 사용법Open WebUI의 유튜브 요약 기..

Open WebUI v0.3.30 현재 버전에서는 Anthropic API 서비스가 공식적으로 지원되지 않습니다. pipelines를 활용해서 연결할 수 있는 방법을 소개 해 드립니다. Open WebUI의 Pilelines 설치 & 연동 후 anthropic 파이프라인을 설정해주는 방법입니다. ⚡ Pipelines | Open WebUI ⚡ Pipelines | Open WebUIWelcome to Pipelines, an Open WebUI initiative. Pipelines bring modular, customizable workflows to any UI client supporting OpenAI API specs – and much more! Easily extend functionali..

LLM을 어떻게 쉽게 활용할 수 있을까 궁금했던 것들을 실험하고 있습니다. 이 주제는 그 중 하나인데요. 파인 튜닝을 수행하지 않고 RAG + 시스템 프롬프트 + 파라미터 튜닝을 통해 이 정도 답변을 하더라 사례 정도로 봐주시면 되겠습니다. 주제는 시스템 담당자를 안내 해주는 챗봇 만들기 입니다. 아래와 같은 질문에 파인튜닝 없이 RAG로 답변을 제대로 해줄까?담당자 목록 알려줘.→ 문서에서 읽은 담당자 목록을 잘 표현해주는지 확인구매 요청 중 오류가 발생했는데 담당자가 누구야?→ 의미 분석을 통해 모듈을 잘 찾는지 확인생산 공정에서 품질 불량이 발생했어. 어떻게 처리 해야 해?→ 2가지 모듈에 대한 언급 하더라도 답변을 잘 할지 확인전표를 잘못 작성하고 상신했는데 취소 전 승인이 되어 버렸어.→ 돌려서..

이번 글에서는 RAG(Retrieval Augmented Generation)에 대해 소개하고, 이를 Open-WebUI에서 어떻게 활용할 수 있는지 알아보려고 합니다. RAG(Retrieval-Augmented Generation)란? RAG는 검색 기반 생성 기술로, 언어 모델이 응답을 생성할 때 내부 지식만 사용하는 것이 아니라 외부 데이터 소스에서 관련 정보를 검색하여 활용하는 방식입니다. 이를 통해 모델은 최신 정보나 특정 도메인에 대한 전문 지식을 실시간으로 반영할 수 있습니다. RAG의 작동 원리 검색(Retrieval): 사용자의 질문이나 프롬프트와 관련된 정보를 외부 데이터베이스 또는 지식 저장소에서 검색합니다.증강(Augmentation): 검색된 관련 정보를 원래의 프롬프트에 추가합니..

Open WebUI란?Open-WebUI는 로컬에서 구동 가능한 LLM 모델을 웹 인터페이스로 제공하여 다수의 사용자가 동시에 접근하고 상호작용할 수 있는 환경을 제공합니다. 단일 사용자의 경우에도 편리하지만, 여러 사용자와의 협업이나 서비스 형태로 모델을 활용하고자 하는 경우 매우 괜찮은 솔루션입니다.웹 기반 상호작용: Open-WebUI는 웹 브라우저만 있으면 어디서든 접근할 수 있는 인터페이스를 제공합니다. 이를 통해 사용자는 설치 없이도 로컬에 설치된 LLM과 상호작용할 수 있습니다.다수 사용자 환경: 웹 인터페이스를 통해 다수의 사용자가 동시에 LLM을 사용할 수 있기 때문에, 기업 내 혹은 연구소 등에서 LLM을 협업 도구로 활용하기에 적합합니다.그런데.. 우리 모두가 LLM을 구동할 만큼 괜..

최근 LLM 서비스들이 점점 더 널리 사용되고 있지만, 개인정보 보호와 비용 문제로 인해 고민하는 사용자들이 많습니다. 특히 폐쇄망 환경에서 오픈소스 기반 모델을 로컬 환경에서 실행할 수 있다면 이러한 고민들이 해소가 되겠죠. Ollama는 클라우드에 의존하지 않고, 개인 컴퓨터에서 대형 언어 모델을 직접 실행할 수 있는 솔루션으로, 인터넷 연결이 불필요한 폐쇄망에서도 동작할 수 있어 괜찮은 대안이 될 수 있습니다. 지금부터 공개된 LLM 모델들을 로컬에서 직접 실행하고 관리할 수 있도록 해주는 Ollama에 대해 알아보겠습니다. ollama 만을 활용해 llama 3.1 모델로 추론할 경우 아래와 같이 활용될 수 있습니다.    그런데 우리가 AI를 활용하여 서비스를 만들거나 ChatGPT같은 사이트를..