lite-llm使用docker compose部署
首先创建一个目录在目录下创建一个config.yaml文件model_list:-model_name:gpt-4olitellm_params:model:openai/gpt-4oapi_key:os.environ/OPENAI_API_KEY-model_name:claude-3-5-sonnetlitellm_params:model:anthropic/claude-3-5-sonnetapi_key:os.environ/ANTHROPIC_API_KEYgeneral_settings:# 必须配置数据库以启用管理后台database_url:os.environ/DATABASE_URL# 管理员访问后台以及生成其他密钥的根密钥必须以 sk- 开头master_key:sk-admin-master-key-123456# 推荐开启允许通过网关 UI 或 API 动态向数据库添加模型proxy_batch_write_at_least_every_x_seconds:5在同目录下创建一个docker-compose.yamlservices:litellm:image:litellm/litellm:main-stablecontainer_name:litellm-proxyports:-4000:4000volumes:-./config.yaml:/app/config.yamlenvironment:# 数据库连接串格式postgresql://用户名:密码服务名:端口/数据库名-DATABASE_URLpostgresql://litellm_user:secure_password_99db:5432/litellm_db# 上游模型真实的 API 密钥-OPENAI_API_KEYsk-w34qXTFaDk91mYuv7oyOAhRE7XOuWJZ1KDJH2FKYLu1ado1J-ANTHROPIC_API_KEYsk-w34qXTFaDk91mYuv7oyOAhRE7XOuWJZ1KDJH2FKYLu1ado1J-STORE_MODEL_IN_DBTruedepends_on:db:condition:service_healthycommand:[--config,/app/config.yaml,--port,4000]restart:alwaysdb:image:postgres:16-alpinecontainer_name:litellm-dbports:-5432:5432# 如果不需要在外部直连数据库可以删掉这行端口映射environment:-POSTGRES_USERlitellm_user-POSTGRES_PASSWORDsecure_password_99-POSTGRES_DBlitellm_dbvolumes:-pgdata:/var/lib/postgresql/datahealthcheck:test:[CMD-SHELL,pg_isready -U litellm_user -d litellm_db]interval:5stimeout:5sretries:5restart:alwaysvolumes:pgdata:启动dockercompose up-d访问后台管理系统: http://服务器ip:4000/ui检查健康状态 http://服务器ip:4000/health
