Pipeline Converter

一个功能强大的DAG流水线转换工具，将前端页面定义的JSON流水线转换为ARGO工作流标准格式，支持多种机器学习与数据处理组件。

概述

Pipeline Converter是一个专为机器学习工作流设计的转换工具，能够将前端可视化界面定义的JSON格式流水线转换为符合ARGO工作流引擎标准的YAML配置。该系统支持完整的机器学习生命周期，从数据准备到模型部署的全流程自动化。

功能特性

🔧 支持的组件类型

组件类型	功能描述	示例用途
​​自定义组件​​	执行自定义Shell命令和脚本	运行任意自定义任务
​​代码拉取组件	从Git仓库拉取代码和依赖	项目初始化，获取最新代码
​​数据预处理组件​​	数据清洗、转换和特征工程	数据标准化、特征提取
​​模型训练组件​​	单机模型训练任务	单一GPU/CPU上的模型训练
​​分布式训练组件​​	多节点分布式模型训练	多GPU/多节点协同训练
​​模型测试组件​​	模型评估和验证	准确率、召回率等指标计算
​​远程计算资源组件​​	调用远程计算资源执行任务	使用远程服务器资源
​​模型导出组件​​	训练结果和模型文件导出	保存训练好的模型
​​数据集导出组件​​	数据集文件导出	导出处理后的数据集
​​模型部署组件​​	一键部署训练好的模型	将模型部署到环境

核心功能

​​可视化转ARGO​​：将前端JSON配置转换为生产级ARGO工作流

​​依赖管理​​：自动处理组件间的依赖关系和执行顺序

​​错误处理​​：完善的容错机制和错误处理策略

​​资源优化​​：智能资源分配和调度优化

​​可扩展架构​​：支持自定义组件和插件扩展

​​DAG工作流​​：完整支持有向无环图执行流程

​​弹性伸缩​​：根据负载动态调整资源

​​重试机制​​：自动任务重试和故障恢复

​​制品管理​​：输出artifact的自动管理和存储

​​资源管理​​：CPU、内存、GPU资源的精细控制

​​暂停/恢复​​：工作流执行状态的暂停和恢复

​​参数化工作流​​：支持参数化模板和动态输入

​​监控日志​​：实时监控和日志收集功能

​​安全控制​​：RBAC权限控制和安全上下文配置

组件生命周期

​​解析阶段​​：解析JSON配置，验证语法和依赖

​​转换阶段​​：将每个组件转换为ARGO模板

​​优化阶段​​：优化资源分配和依赖关系

​​输出阶段​​：生成最终的ARGO工作流YAML

argo workkflow 获取所有的workflow接口：

GET /api/v1/workflows/argo

wait容器的日志： https://127.0.0.1:32006/api/v1/workflows/argo/workflow-85484/log?logOptions.container=wait&grep=&logOptions.follow=true&podName=workflow-85484-train-4254548

main容器的日志： https://127.0.0.1:32006/artifact-files/argo/workflows/workflow-85484/workflow-85484-4254548845/outputs/main-logs

输出产物 https://127.0.0.1:32006/artifact-files/argo/workflows/workflow-85484/workflow-85484-4254548845/outputs/main-logs

输入产物 https://127.0.0.1:32006/input-artifacts/argo/workflow-85484/workflow-85484-4254548845/dataset