模型

要求： Docker Compose 2.38.0 及更高版本

頂級 models 部分聲明瞭您的 Compose 應用程式使用的 AI 模型。這些模型通常以 OCI 製品的形式拉取，由模型執行器執行，並作為您的服務容器可以使用的 API 暴露。

服務只能在頂級元素 services 中透過 models 屬性明確授予訪問許可權時才能訪問模型。

示例

示例 1

services:
  app:
    image: app
    models:
      - ai_model


models:
  ai_model:
    model: ai/model

在這個基本示例中

應用程式服務使用 ai_model。
ai_model 被定義為一個 OCI 製品 (ai/model)，由模型執行器拉取和提供服務。
Docker Compose 將連線資訊（例如 AI_MODEL_URL）注入容器。

示例 2

services:
  app:
    image: app
    models:
      my_model:
        endpoint_var: MODEL_URL

models:
  my_model:
    model: ai/model
    context_size: 1024
    runtime_flags: 
      - "--a-flag"
      - "--another-flag=42"

在這個高階設定中

服務應用程式使用長語法引用 my_model。
Compose 將模型執行器的 URL 作為環境變數 MODEL_URL 注入。

屬性

model (必填)：模型的 OCI 製品識別符號。這是 Compose 透過模型執行器拉取和執行的內容。
context_size：定義模型的最大令牌上下文大小。
runtime_flags：模型啟動時傳遞給推理引擎的原始命令列標誌列表。

其他資源

有關使用 model 的更多示例和資訊，請參閱在 Compose 中使用 AI 模型