​
Cline과 함께 LiteLLM 사용

이 가이드에서는 Cline과 함께 사용할 Codestral 모델로 시작하는 LiteLLM 데모를 실행하는 방법을 보여줍니다.

​
전제 조건

  • 로컬에서 LiteLLM 이미지를 실행하기 위해 Docker CLI 또는 Docker Desktop 설치
  • 이 예제 구성의 경우: Codestral API 키 (Mistral API 키와 다름)

​
설정

  1. .env 파일을 만들고 적절한 필드를 채웁니다. 
    # 팁: 다음 명령을 사용하여 임의의 영숫자 키를 생성합니다.
# openssl rand -base64 32 | tr -dc 'A-Za-z0-9' | head -c 32
LITELLM_MASTER_KEY=YOUR_LITELLM_MASTER_KEY
CODESTRAL_API_KEY=YOUR_CODESTRAL_API_KEY
    참고: 이것은 localhost로 제한되지만 LITELLM_MASTER_KEY를 안전한 것으로 설정하는 것이 좋습니다.
  2. 구성 LiteLLM 구성을 포함할 config.yaml 파일을 만들어야 합니다. 이 경우 ‘codestral-latest’라는 모델 하나만 사용하고 ‘codestral’로 레이블을 지정합니다. 
    model_list:
    - model_name: codestral
      litellm_params:
          model: codestral/codestral-latest
          api_key: os.environ/CODESTRAL_API_KEY

​
데모 실행

  1. LiteLLM 도커 컨테이너 시작 
    docker run \
    --env-file .env \
    -v $(pwd)/config.yaml:/app/config.yaml \
    -p 127.0.0.1:4000:4000 \
    ghcr.io/berriai/litellm:main-latest \
    --config /app/config.yaml --detailed_debug
  2. Cline 설정 LiteLLM 서버가 시작되고 실행되면 Cline에서 설정할 수 있습니다.
    • 기본 URL은 http://0.0.0.0:4000/v1이어야 합니다.
    • API 키는 LITELLM_MASTER_KEY용 .env에서 설정한 것이어야 합니다.
    • 모델 ID는 codestral이거나 config.yaml에서 지정한 이름입니다.

​
도움 받기