mlflow project

指定环境

本节介绍如何在MLproject文件中指定Conda和Docker容器环境。 MLproject文件不能指定两个一康达环境和码头工人的环境。

康达环境

conda_env在MLproject文件中包含顶级条目。此条目的值必须是 MLflow项目目录中Conda环境YAML文件的相对路径。在以下示例中：

conda_env: files/config/conda_environment.yaml

conda_env是指位于一个环境文件 <MLFLOW_PROJECT_DIRECTORY>/files/config/conda_environment.yaml，其中<MLFLOW_PROJECT_DIRECTORY>是路径MLflow项目的根目录。

Docker容器环境

docker_env在MLproject文件中包含顶级条目。此条目的值必须是在执行项目的系统上可访问的Docker镜像的名称; 此映像名称可能包含注册表路径和标记。这里有几个例子。

示例1：没有注册表路径的图像

docker_env:
  image: mlflow-docker-example-environment

在此示例中，docker_env引用具有名称mlflow-docker-example-environment和默认标记的Docker镜像 latest。由于未指定注册表路径，因此Docker会在运行MLflow项目的系统上搜索此图像。如果找不到图像，Docker会尝试从DockerHub中取出它。

示例2：远程注册表中的图像

docker_env:
  image: 012345678910.dkr.ecr.us-west-2.amazonaws.com/mlflow-docker-example-environment:7.0

在此示例中，docker_env引用具有路径的Docker注册表中具有名称mlflow-docker-example-environment和标记的Docker镜像 ，该7.0路径 012345678910.dkr.ecr.us-west-2.amazonaws.com对应于 Amazon ECR注册表。运行MLflow项目时，Docker会尝试从指定的注册表中提取图像。执行MLflow项目的系统必须具有从指定的注册表中提取此映像的凭据。

命令语法

在文件中指定入口点时MLproject，该命令可以是Python 格式字符串语法中的任何字符串 。在入口点的parameters字段中声明的所有参数都将传递到此字符串中以进行替换。如果使用字段中未列出的 其他参数调用项目parameters，MLflow将使用语法传递它们，因此您可以使用该 文件仅为参数的子集声明类型和默认值。--key valueMLproject

在替换命令中的参数之前，MLflow使用Python shlex.quote函数对它们进行转义 ，因此您无需担心在命令字段中添加引号。

指定参数

MLflow允许为每个参数指定数据类型和默认值。您可以通过编写以下内容来指定数据类型：

parameter_name: data_type

在您的YAML文件中，或者使用以下语法之一（在YAML中等效）添加默认值：

parameter_name: {type: data_type, default: value}  # Short syntax

parameter_name:     # Long syntax
  type: data_type
  default: value

MLflow支持四种参数类型，其中一些特殊处理（例如，将数据下载到本地文件）。任何未声明的参数都被视为string。参数类型是：

串

文本字符串。

浮动

一个真实的数字。MLflow验证参数是否为数字。

路径

本地文件系统上的路径。MLflow将任何相关path参数转换为绝对路径。MLflow还会将作为分布式存储URI（s3://和dbfs://）传递的任何路径下载到本地文件。将此类型用于只能读取本地文件的程序。

小号

本地或分布式存储系统中的数据URI。MLflow将相对路径转换为绝对路径，如path类型中所示。对于知道如何从分布式存储读取的程序（例如，使用Spark的程序），请使用此类型。

mlflow run git@github.com:mlflow/mlflow-example.git -P alpha=0.5

重要

目前不支持使用Docker环境执行MLflow项目的Databricks执行。

重要

作为实验性功能，API可能会发生变化。

这个怎么运作

当您在Kubernetes上运行MLflow项目时，MLflow会构造一个包含Project内容的新Docker镜像; 此图像继承自Project的 Docker环境。然后，MLflow将新的Project映像推送到指定的Docker注册表，并 在指定的Kubernetes集群上启动 Kubernetes Job。此Kubernetes作业下载项目图像并启动相应的Docker容器。最后，容器调用Project的 入口点，将参数，标记，指标和工件记录到 MLflow跟踪服务器。

执行指南

您可以按照以下步骤在Kubernetes上运行MLflow项目：

1. 将Docker环境添加到MLflow项目（如果尚不存在）。有关参考，请参阅指定环境。
2. 使用以下条目创建后端配置JSON文件：
   • kube-context MLflow将运行工作 的Kubernetes环境。
   • repository-uri Docker存储库的URI，用于上载（推送）项目执行Docker镜像。您的Kubernetes集群必须能够访问此存储库才能运行MLflow项目。
   • kube-job-template-path Kubernetes Job的YAML配置文件的路径 - 一个Kubernetes工作规范。MLflow读取作业规范并替换某些字段以便于作业执行和监视; MLflow不会修改原始模板文件。有关编写用于MLflow的Kubernetes Job Spec模板的更多信息，请参阅“ 作业模板”部分。

示例Kubernetes后端配置

{
  "kube-context": "docker-for-desktop",
  "repository-uri": "username/mlflow-kubernetes-example",
  "kube-job-template-path": "/Users/username/path/to/kubernetes_job_template.yaml"
}

1. 如有必要，获取凭据以访问Project的Docker和Kubernetes资源，包括：

   • MLproject文件中指定的Docker环境映像。
   • repository-uri后端配置文件中引用的Docker存储库。
   • 后端配置文件中 引用的Kubernetes上下文kube-context。

   MLflow预计，这些资源是通过访问 泊坞窗和 kubectl运行项目之前的CLI。

2. 使用MLflow Projects CLI运行项目，或指定项目URI和后端配置文件的路径。例如：Python API

   mlflow run <project_uri> --backend kubernetes --backend-config examples/docker/kubernetes_config.json
   

   其中<project_uri>是Git存储库URI或文件夹。

工作模板

MLflow通过创建Kubernetes Job资源在Kubernetes上执行Projects 。MLflow通过读取用户指定的作业规范为MLflow项目创建Kubernetes作业 。当MLflow读取作业规范时，它会格式化以下字段：

• metadata.name 替换为包含MLflow项目名称和项目执行时间的字符串
• spec.template.spec.container[0].name 替换为MLflow项目的名称
• spec.template.spec.container[0].image替换为在Project执行期间创建的Docker镜像的URI。此URI包含Docker镜像的摘要哈希。
• spec.template.spec.container[0].command 替换为执行MLflow项目时指定的Project入口点命令。

以下示例显示了与MLflow Project执行兼容的简单Kubernetes Job Spec。使用括号内的文本表示替换的字段。

示例Kubernetes工作规范

apiVersion: batch/v1
kind: Job
metadata:
  name: "{replaced with MLflow Project name}"
  namespace: mlflow
spec:
  ttlSecondsAfterFinished: 100
  backoffLimit: 0
  template:
    spec:
      containers:
      - name: "{replaced with MLflow Project name}"
        image: "{replaced with URI of Docker image created during Project execution}"
        command: ["{replaced with MLflow Project entry point command}"]
      resources:
        limits:
          memory: 512Mi
        requests:
          memory: 256Mi
      restartPolicy: Never

的container.name，container.image和container.command字段只替换为第一的工作规格定义的容器。无需修改即可应用所有后续容器定义。