这就是我们需要一些东西来监控这些行为的主要原因 在以...

papri555

分中，我们将回顾使用 MLOps 平台正确跟踪、评估、实施和监控模型所涉及的所有部分。 追踪服务器 训练跟踪服务器允许记录与建模相关的任何参数。例如，当我们想要保存训练模型时使用的任何类型的超参数时。 在其他时候，我们可以存储当前的模型指标。例如，对于回归模型，我们可以计算 RMSE（均方根）；或者，对于分类模型，我们可以计算 F1 分数并将其与模型一起存储。通过这种方式，我们可以将这些信息恢复为与其关联的元数据。 Azure ML 和 MLflow Azure ML 允许您通过 Web 应用程序并使用 Python API 以编程方式浏览存储在模型存储中的项目。 [/vc_row] 使用 Azure ML UI 和 API 跟踪实验 另一方面，MLflow 允许使用 Web 门户和 Python API 访问存储的工件、参数和指标。在这两种情况下，都可以为实验、标签、指标和模型参数设置过滤器。 关于 mlops、生命周期和 mlflow 的图片 在 MLflow 中跟踪实验 根据用于跟踪实验的框架，有一种简单的方法可以做到这一点：autolog。它包括自动记录正在运行的实验的所有参数、配置、环境。

例如，您可以使用 Azure ML 和 MLflow Tracking API 在模型训练时自动跟踪模型参数和工件。 导入流量 MLflow自动注册 MLflow为公共库之外的自定义模型定义了自己的接口pyfunc ，它建立了一种记录、恢复机器学习模型以及与机器学习模型交互的通用方法（及其其余依赖项：代码、上下文、数据）。 最后，MLflow 还为数据科学家最常用的指标提供自动支持，尽管这些指标可以扩展到包括其他特定于模型的指标。在所有情况下，这些自动指标与其他指标具有相同的考虑因素，因此可以使用它们来搜索和分析实验。 关于 mlops、生命周期和指标的图片 收集的指标  电话数据   示例 模型注册和再现性 开发机器学习模型可以被视为一个迭代过程，随着开发的进展跟踪工作具有挑战性。在可能引入的更改中，我们发现： 数据集及其准备，随着模型的开发和验证哪些特征最重要、添加复合特征、删除相关性等而不断变化。



型号可能会改变。例如，可以使用 Hyperopt 等不同工具来微调模型参数。 由于重构、错误修复等，源代码随着时间的推移而不断发展。 模型存储正是在这种背景下构建的，它是一个管理和存储与模型训练相关的不同元素并维护其可追溯性的组件。存储的信息可用于以下目的： 创建执行环境，例如最初用于训练模型的环境（以防因业务需求需要验证训练过程）。 分析训练信息并计算最佳模型参数。 多个机器学习平台中使用的约定是有一个称为实验的容器，它代表跟踪服务器上存储的信息的主要组织单位。每个实验包含多个训练运行，因此所有运行都属于单个实验。每次运行都会记录使用的数据源、代码和元数据。最允许的元数据是： 源代码。 培训过程的开始日期/结束日期。 参数。 指标。指标通常显示在可视化中。 标签。与其他元数据不同，此信息可以在执行后修改。