DEV/AI

Open WebUI : Anthropic API 연동 (With Pipelines)

오리야호 2024. 10. 5. 10:16
반응형

Open WebUI v0.3.30 현재 버전에서는 Anthropic API 서비스가 공식적으로 지원되지 않습니다.

 

pipelines를 활용해서 연결할 수 있는 방법을 소개 해 드립니다.

 

Open WebUI의 Pilelines 설치 & 연동 후 anthropic 파이프라인을 설정해주는 방법입니다.

 

⚡ Pipelines | Open WebUI

 

⚡ Pipelines | Open WebUI

Welcome to Pipelines, an Open WebUI initiative. Pipelines bring modular, customizable workflows to any UI client supporting OpenAI API specs – and much more! Easily extend functionalities, integrate unique logic, and create dynamic workflows with just a

docs.openwebui.com

 

Open WebUI Pipelines이란?

 

Open-WebUI는 워크플로우를 생성할 수 없고 기본적으로 제공하는 UI에서 기능을 사용해야 하는 한계가 있는데요.

Open-WebUI Pipelines는 AI 워크플로우를 구축, 관리, 실행하기 위한 포괄적인 프레임워크입니다.

여기에 파이프라인을 활용하면 로직이나 필터같은 것을 붙일 수 있고 OpenAI 호환 API가 아니더라도 github에 올려져 있는 다양한 서비스 제공자를 활용할 수 있습니다. (연결 가능한 서비스 제공자는 아래 파이프라인 프로바이더 참고)

 

 

이 프로젝트는 다음과 같은 주요 특징을 갖추고 있습니다:

 

  1. 모듈식 설계: 복잡한 AI 작업을 관리 가능한 단위로 분할
  2. 유연한 통합: 다양한 AI 모델과 도구를 쉽게 연결
  3. 직관적인 인터페이스: 시각적 워크플로우 구성으로 사용 편의성 극대화
  4. 확장성: 다양한 규모의 프로젝트에 적용 가능

 

Pipelines로 할 수 있는 예시

 

설치

도커나 파이썬으로 설치 방법을 안내하고 있습니다. 아래 링크를 참고하세요.

⚡ Pipelines | Open WebUI

 

⚡ Pipelines | Open WebUI

Welcome to Pipelines, an Open WebUI initiative. Pipelines bring modular, customizable workflows to any UI client supporting OpenAI API specs – and much more! Easily extend functionalities, integrate unique logic, and create dynamic workflows with just a

docs.openwebui.com

 

 

파이프라인 프로바이더 추가

 

pipelines/examples/pipelines/providers at main · open-webui/pipelines

 

pipelines/examples/pipelines/providers at main · open-webui/pipelines

Pipelines: Versatile, UI-Agnostic OpenAI-Compatible Plugin Framework - open-webui/pipelines

github.com

 

연결가능한 서비스 제공자

anthropic_manifold_pipeline.py
aws_bedrock_claude_pipeline.py
azure_openai_pipeline.py
cloudflare_ai_pipeline.py
cohere_manifold_pipeline.py
google_manifold_pipeline.py
google_vertexai_manifold_pipeline.py
groq_manifold_pipeline.py
litellm_manifold_pipeline.py
litellm_subprocess_manifold_pipeline.py
llama_cpp_pipeline.py
mlx_manifold_pipeline.py
mlx_pipeline.py
ollama_manifold_pipeline.py
ollama_pipeline.py
openai_dalle_manifold_pipeline.py
openai_manifold_pipeline.py
openai_pipeline.py
perplexity_manifold_pipeline.py

 

 

다양한 AI 모델 서비스 제공자가 보이네요. SKT 사용자라면 무료로 사용할 수 있는 perplexity도 있구요.

 

 

Open WebUI + Pipeline 연동

 

 

우선 Open WebUI에 파이프라인을 연동해줍니다.

기본설적대로 진행했으면 9099포트에 API 키는 0p3n-w3bu!로 설정됩니다.

 

Open WebUI > 관리자 패널 > 연결 에서 http://localhost:9099/v1 와 키를 입력해줍니다.

 

 

 

 

연결이 완료되면 파이프라인에 추가하려는 서비스 프로바이더 github url 을 넣어주면 됩니다.

 

https://github.com/open-webui/pipelines/blob/main/examples/pipelines/providers/anthropic_manifold_pipeline.py

 

pipelines/examples/pipelines/providers/anthropic_manifold_pipeline.py at main · open-webui/pipelines

Pipelines: Versatile, UI-Agnostic OpenAI-Compatible Plugin Framework - open-webui/pipelines

github.com

 

 

 

anthropic에서 생성한 key를 추가해주면

 

 

모델에 연동이 된 것을 확인할 수 있습니다.

 

 

 

대화도 가능하구요.

 

 

이런식으로 Open WebUI에서 기본 연결로 제공되지 않거나 OpenAI 호환 API가 아니더라도 pipelines github 저장소에 있는 프로바이더 파이프라인을 활용해서 쉽게 연동할 수 있습니다.

 

pipelines에고 제공하는 기능 중 한 가지에 대한 기능이니 다른 기능들도 알아두면 유용할 것 같습니다.

 

 

 

 

 

 

 

 

반응형