oriyaho

  • 홈
  • 태그
  • 방명록

2024/09/13 1

Ollama 설치와 운영 : 로컬 환경에서 대규모 언어 모델을 쉽게 실행하기

최근 LLM 서비스들이 점점 더 널리 사용되고 있지만, 개인정보 보호와 비용 문제로 인해 고민하는 사용자들이 많습니다. 특히 폐쇄망 환경에서 오픈소스 기반 모델을 로컬 환경에서 실행할 수 있다면 이러한 고민들이 해소가 되겠죠. Ollama는 클라우드에 의존하지 않고, 개인 컴퓨터에서 대형 언어 모델을 직접 실행할 수 있는 솔루션으로, 인터넷 연결이 불필요한 폐쇄망에서도 동작할 수 있어 괜찮은 대안이 될 수 있습니다. 지금부터 공개된 LLM 모델들을 로컬에서 직접 실행하고 관리할 수 있도록 해주는 Ollama에 대해 알아보겠습니다. ollama 만을 활용해 llama 3.1 모델로 추론할 경우 아래와 같이 활용될 수 있습니다.    그런데 우리가 AI를 활용하여 서비스를 만들거나 ChatGPT같은 사이트를..

DEV/AI 2024.09.13
이전
1
다음
더보기
프로필사진

  • 분류 전체보기 (73)
    • 경매 공매 지도 (22)
      • 사용법 (1)
      • 공지 (0)
      • 릴리즈 노트 (15)
      • 개발일지 (5)
      • 미분류 (1)
    • IOT (34)
    • DEV (12)
      • AI (6)
      • Homelab (4)
      • 미분류 (2)
    • 기타 (5)

Tag

월패드, HA, CC2652, zigbee2mqtt, proxmox, ESXi 7, Home Assistant, IOT, openwebui, Z2M, homeassistant, open webui, EW11, BLE, LLM, 경매 공매 지도, 전등 자동화, docker, Ai, 인체감지 센서,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2024/09   »
일 월 화 수 목 금 토
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

  • 경매 공매 지도
  • 경매 공매 지도 앱

티스토리툴바