oriyaho

Open WebUI 설치와 운영 : AI 모델 활용을 위한 오픈소스 웹 인터페이스

Open WebUI란?Open-WebUI는 로컬에서 구동 가능한 LLM 모델을 웹 인터페이스로 제공하여 다수의 사용자가 동시에 접근하고 상호작용할 수 있는 환경을 제공합니다. 단일 사용자의 경우에도 편리하지만, 여러 사용자와의 협업이나 서비스 형태로 모델을 활용하고자 하는 경우 매우 괜찮은 솔루션입니다.웹 기반 상호작용: Open-WebUI는 웹 브라우저만 있으면 어디서든 접근할 수 있는 인터페이스를 제공합니다. 이를 통해 사용자는 설치 없이도 로컬에 설치된 LLM과 상호작용할 수 있습니다.다수 사용자 환경: 웹 인터페이스를 통해 다수의 사용자가 동시에 LLM을 사용할 수 있기 때문에, 기업 내 혹은 연구소 등에서 LLM을 협업 도구로 활용하기에 적합합니다.그런데.. 우리 모두가 LLM을 구동할 만큼 괜..

Ollama 설치와 운영 : 로컬 환경에서 대규모 언어 모델을 쉽게 실행하기

최근 LLM 서비스들이 점점 더 널리 사용되고 있지만, 개인정보 보호와 비용 문제로 인해 고민하는 사용자들이 많습니다. 특히 폐쇄망 환경에서 오픈소스 기반 모델을 로컬 환경에서 실행할 수 있다면 이러한 고민들이 해소가 되겠죠. Ollama는 클라우드에 의존하지 않고, 개인 컴퓨터에서 대형 언어 모델을 직접 실행할 수 있는 솔루션으로, 인터넷 연결이 불필요한 폐쇄망에서도 동작할 수 있어 괜찮은 대안이 될 수 있습니다. 지금부터 공개된 LLM 모델들을 로컬에서 직접 실행하고 관리할 수 있도록 해주는 Ollama에 대해 알아보겠습니다. ollama 만을 활용해 llama 3.1 모델로 추론할 경우 아래와 같이 활용될 수 있습니다.    그런데 우리가 AI를 활용하여 서비스를 만들거나 ChatGPT같은 사이트를..

ESXi 업그레이드 방법은 여러 가지가 있는데 그중 한 가지 방법으로 진행했습니다. esxcli 명령어를 이용해 업그레이드 패치를 설치하는 방법입니다. 업그레이드 진행 시 백업 후 진행 하세요. 1. 최신 패치 다운로드 vmware patch 사이트 https://customerconnect.vmware.com/patch Login | VMware Customer Connect Customer portal login for VMware products including knowledge base, docs, communities, support, and training. customerconnect.vmware.com 2023.06.04 현재 최신패치 VMware-ESXi-8.0U1a-21813344-d..

VS Code 로 초기 환경을 세팅할 때 가상환경으로 설정하는 방법을 기록해둔다. PyCharm으로 개발 할 경우 Virtualenv를 선택하여 진행하면 아래 과정이 자동으로 수행된다. 1. 가상환경 생성하기 Using Python Environments in Visual Studio Code Using Python Environments in Visual Studio Code Configuring Python Environments in Visual Studio Code code.visualstudio.com VS Code로 빈 폴더 생성 후 가상환경을 구축한다. 기본적으로 CLI 환경에서 python을 실행할 경우 전역 환경에서 실행된다. 설치되는 모든 패키지는 글로벌 환경과 모든 프로그램에 영향을 ..