oriyaho

Open WebUI v0.3.30 현재 버전에서는 Anthropic API 서비스가 공식적으로 지원되지 않습니다. pipelines를 활용해서 연결할 수 있는 방법을 소개 해 드립니다. Open WebUI의 Pilelines 설치 & 연동 후 anthropic 파이프라인을 설정해주는 방법입니다. ⚡ Pipelines | Open WebUI ⚡ Pipelines | Open WebUIWelcome to Pipelines, an Open WebUI initiative. Pipelines bring modular, customizable workflows to any UI client supporting OpenAI API specs – and much more! Easily extend functionali..

LLM을 어떻게 쉽게 활용할 수 있을까 궁금했던 것들을 실험하고 있습니다. 이 주제는 그 중 하나인데요. 파인 튜닝을 수행하지 않고 RAG + 시스템 프롬프트 + 파라미터 튜닝을 통해 이 정도 답변을 하더라 사례 정도로 봐주시면 되겠습니다. 주제는 시스템 담당자를 안내 해주는 챗봇 만들기 입니다. 아래와 같은 질문에 파인튜닝 없이 RAG로 답변을 제대로 해줄까?담당자 목록 알려줘.→ 문서에서 읽은 담당자 목록을 잘 표현해주는지 확인구매 요청 중 오류가 발생했는데 담당자가 누구야?→ 의미 분석을 통해 모듈을 잘 찾는지 확인생산 공정에서 품질 불량이 발생했어. 어떻게 처리 해야 해?→ 2가지 모듈에 대한 언급 하더라도 답변을 잘 할지 확인전표를 잘못 작성하고 상신했는데 취소 전 승인이 되어 버렸어.→ 돌려서..

이번 글에서는 RAG(Retrieval Augmented Generation)에 대해 소개하고, 이를 Open-WebUI에서 어떻게 활용할 수 있는지 알아보려고 합니다. RAG(Retrieval-Augmented Generation)란? RAG는 검색 기반 생성 기술로, 언어 모델이 응답을 생성할 때 내부 지식만 사용하는 것이 아니라 외부 데이터 소스에서 관련 정보를 검색하여 활용하는 방식입니다. 이를 통해 모델은 최신 정보나 특정 도메인에 대한 전문 지식을 실시간으로 반영할 수 있습니다. RAG의 작동 원리 검색(Retrieval): 사용자의 질문이나 프롬프트와 관련된 정보를 외부 데이터베이스 또는 지식 저장소에서 검색합니다.증강(Augmentation): 검색된 관련 정보를 원래의 프롬프트에 추가합니..

Open WebUI란?Open-WebUI는 로컬에서 구동 가능한 LLM 모델을 웹 인터페이스로 제공하여 다수의 사용자가 동시에 접근하고 상호작용할 수 있는 환경을 제공합니다. 단일 사용자의 경우에도 편리하지만, 여러 사용자와의 협업이나 서비스 형태로 모델을 활용하고자 하는 경우 매우 괜찮은 솔루션입니다.웹 기반 상호작용: Open-WebUI는 웹 브라우저만 있으면 어디서든 접근할 수 있는 인터페이스를 제공합니다. 이를 통해 사용자는 설치 없이도 로컬에 설치된 LLM과 상호작용할 수 있습니다.다수 사용자 환경: 웹 인터페이스를 통해 다수의 사용자가 동시에 LLM을 사용할 수 있기 때문에, 기업 내 혹은 연구소 등에서 LLM을 협업 도구로 활용하기에 적합합니다.그런데.. 우리 모두가 LLM을 구동할 만큼 괜..

최근 LLM 서비스들이 점점 더 널리 사용되고 있지만, 개인정보 보호와 비용 문제로 인해 고민하는 사용자들이 많습니다. 특히 폐쇄망 환경에서 오픈소스 기반 모델을 로컬 환경에서 실행할 수 있다면 이러한 고민들이 해소가 되겠죠. Ollama는 클라우드에 의존하지 않고, 개인 컴퓨터에서 대형 언어 모델을 직접 실행할 수 있는 솔루션으로, 인터넷 연결이 불필요한 폐쇄망에서도 동작할 수 있어 괜찮은 대안이 될 수 있습니다. 지금부터 공개된 LLM 모델들을 로컬에서 직접 실행하고 관리할 수 있도록 해주는 Ollama에 대해 알아보겠습니다. ollama 만을 활용해 llama 3.1 모델로 추론할 경우 아래와 같이 활용될 수 있습니다.    그런데 우리가 AI를 활용하여 서비스를 만들거나 ChatGPT같은 사이트를..

SLZB-06은?SMLIGHT에서 만든 Zigbee 어댑터로, 다양한 Zigbee 장치를 하나의 시스템으로 통합하기 위해 여러 가지 연결 방법을 지원합니다.Ethernet, WiFi, USB 세 가지 모드를 지원USB를 통합 전원, 전기를 사용하기 어려운 곳에서 PoE 활용 가능유선 랜 연결이 어려운 환경에서 WiFi를 이용한 연결을 지원SLZB-06, SLZB-06M, SLZB-06P 세부 모델에 따라 zigbee 칩셋이 다릅니다.   저는 네이버 HA 까페 쬐끔전문가님 코디네이터(CC2652P) → SONOFF Zigbee 3.0 USB Dongle Plus-P(cc2652p) 로 기변을 했어서 기존 장치들 새로 페어링을 하지 않으려고 동일 칩셋인 SLZB-06으로 구매 하였습니다. 분기에 한번 정도..

3년 정도 사용하니 왼쪽 마우스 클릭이 더블 클릭이 되는 현상이 생겼습니다. 부품을 수급할 수 있는지 확인해 보고 보증기간이 지나서… 셀프로 수기를 진행 해보았습니다. 옴론 스위치만 납땜해서 교체하는 방법도 있습니다.  부품 구입  아래 사진 왼쪽이 배송 온 교체할 부품입니다.   분해 마우스 아래쪽 고무같은 걸 제거하면 나사 4개를 제거할 수 있었어요.  앞뒤로 동그라미 부분에 걸쇠가 있습니다.    케이블 2개 분리하면 상하 분리가 가능해 집니다.  나사 5개를 추가로 분해하고  스위치는 감싸고 있는 고정 플라스틱도 분해해주면 교체할 부품 전체를 분해할 수 있었습니다.   교체 전 부품은 Rev.006인데 교체하려고 주문한 부품은 Rev.004 네요..구매시점에 확인이 가능하면 미리 확인하는게 좋을 ..

집에 다이슨 장난감 청소기가 있어요.     첫째가 엄마 청소할 때 자기도 하고 싶다고 해서 장난감을 사줬다고 하네요. 청소할 때 마다 같이 하겠다며 따라다는게 어찌나 귀엽던지..  한동안 잘 사용하다가 고장났다고 들고 왔길래 처음엔 그냥 버리고 새거 사라고 했다가 가격듣고..  사악하네요.  납땜부위가 떨어졌겠지 싶어 pinecil 인두기 사둔거 첫 개시겸 열어봤습니다.  1. 건전지 덮개 분해  2. 옆면 나사 풀기   3. 뒷통수? 빼기 잘 안빠져서 나중에 보니 걸쇠가 있었네요. 그냥 힘껏 당겨서 부쉈어요.   4. 고장 부품 확인하기 + 선에 버튼 연결되어 있었고 모터 고장인지 확인해보려고 버튼 없이 쇼트시켜보니 모터는 동작하네요. 버튼 쪽에 멀티미터 찍어보니 거기가 고장이네요. 예전에 만들게 있..

UPS(Uninterruptible Power Supply)는 무정전 전원 공급장치인데요. 가정에서 쓸만한 적당한 용량 제품을 구매해서 설치 해봤습니다. Synology에 있는 네트워크 UPS 서버 활성화를 통해서 HA에서 모니터링 + 자동화 구성이 가능하구요. 이것저것 자동화 걸어둘 수 있어서 정전 상황에서 다양하게 활용이 가능합니다. 제품 정보 https://prod.danawa.com/info/?pcode=16772675 APC BX950MI-GR : 다나와 가격비교 컴퓨터/노트북/조립PC>PC주요부품>파워, APC BX950MI-GR, 요약정보 : UPS / 출력 전압: 230V / 520W / 950 VA / 허용 입력 전압: 230V / 50/60Hz / 6~8시간 / 6.5분 / 1분 pro..

HA에서 zigbee 장치들을 활용하기 위해선 zigbee 코디네이터가 필요합니다. 이 코디네이터와 HA에서 z2m 또는 ZHA를 활용해서 zigbee 장치들을 활용할 수 있게 되는데요. zigbee 네트워크에 코디네이터는 한 장치만 설정할 수 있고, 일부 기기 또는 추가 코디네이터로 라우터 역할을 수행할 수 있습니다. 이 글은 코디네이터를 교체한 경험입니다. 최근 z2m이 버전이 오르면서 업데이트가 있었는데 공교롭게도 엔드디바이스 일부가 오프라인으로 바뀌면서 애드온 시작이 안 되는 현상이 있었습니다. 나타난 증상은 기기 오프라인 다수, z2m 시작불가 (usb 인식문제로 추측) 현상이 있었습니다. 이참에 코디네이터 펌웨어 업데이트를 해줬는데 문제가 해결되지 않아서 z2m 버전을 다운그레이드 했는데 ..