分享丨 DAG & 通用任务执行框架设计 && 实现参考
noneback
2573
2024.11.15
2024.11.16
发布于 北京市
Go技术交流

DAG 任务调度执行引擎原理以及go-taskflow实现参考

在现代的数据处理与自动化工作流管理中，DAG（有向无环图）任务调度执行引擎是一种被广泛应用的工具。本文将详细介绍 DAG 任务调度执行引擎的基本原理，以及常见的业务使用场景。

什么是 DAG？

DAG 是指一个没有循环的有向图，由一组节点和边组成，其中每个边都有明确的方向性，且不存在从某个节点出发沿边路径回到自身的情况。在任务调度中，DAG 的节点通常表示独立的任务，而边表示任务之间的依赖关系。由于 DAG 没有循环，这保证了任务调度过程中不会出现死锁问题，可以以明确的方式定义任务的执行顺序。

DAG 任务调度执行引擎的原理

DAG 任务调度执行引擎的主要作用是自动化管理任务的执行顺序，尤其适用于复杂的业务流程和数据处理。以下是 DAG 调度引擎的核心工作原理：

任务节点定义：每个任务被表示为一个节点，通常是一个独立的工作单元，例如数据处理脚本、模型训练或自动化部署步骤。
依赖关系定义：任务之间的依赖关系由 DAG 的边来表示，例如，任务 A 必须在任务 B 之前完成，这种依赖关系通过 DAG 的边来表述。这些依赖关系可以由开发者通过配置文件或代码中的数据结构进行定义。

拓扑排序：在调度之前，DAG 需要通过拓扑排序来确定任务的执行顺序。拓扑排序的结果是一个线性顺序，保证每个任务节点都在其所有依赖的任务之后执行。

任务调度与执行：调度引擎按照拓扑排序结果逐步调度各个任务。对于没有依赖的任务，可以并行执行，以提高资源的利用率。
故障处理与重试：如果某个任务在执行过程中失败，DAG 引擎通常具有重试机制，可以重新执行失败的任务。此外，还可以设置告警机制，提醒开发人员处理任务失败的情况。

DAG 调度引擎的优势

清晰的依赖管理：通过 DAG 表示任务的依赖关系，可以直观地理解任务之间的顺序，从而更容易设计和维护复杂的工作流。

并行执行：DAG 引擎能够识别没有依赖关系的任务并并行执行，从而提高整体的执行效率。

容错性和可恢复性：任务的失败处理和自动重试机制保证了工作流在面对不确定因素时能够保持稳定性和连续性。

适应轻量化系统：DAG 调度引擎可根据不同业务需求进行裁剪，适用于从轻量化应用到大规模数据处理的各种场景。\

典型使用场景

数据管道与 ETL（抽取、转换、加载）：在大数据处理和数据仓库中，DAG 调度引擎用于管理数据的抽取、转换和加载过程，各个步骤之间存在明确的依赖关系，通过 DAG 调度确保这些任务有序执行。

自动化工作流管理：许多企业业务中有复杂的流程需要自动化执行，如审批流程和自动化报告生成。DAG 调度引擎可以帮助管理这些任务的依赖关系，保证按正确的顺序执行。

机器学习工作流：DAG 引擎用于管理机器学习任务，包括数据预处理、模型训练和评估等步骤。通过定义任务依赖，DAG 引擎可以保证各个步骤按顺序执行，并在步骤完成后自动触发后续任务。

持续集成与持续部署（CI/CD）：在软件开发过程中，DAG 调度引擎可以用于管理构建、测试和部署的步骤，确保它们以正确的顺序执行，并根据任务的成功与否做出相应处理。

实现上的注意点

在实现 DAG 任务调度执行引擎时，需要考虑以下几点：

轻量化的任务定义和依赖管理：如 TaskFlow 等实现中，通常通过简洁的 API 定义任务和依赖关系，使得开发者能够快速上手并定义复杂的工作流。

灵活的执行方式：DAG 调度引擎可以支持多种执行器，例如本地执行、远程执行，以及基于消息队列的分布式执行，以适应不同的应用场景和规模。

自动化的错误处理：优秀的 DAG 引擎通常具有内置的故障处理机制，能够在任务失败时自动重试或执行回滚操作，以保证系统的健壮性和连续性。

DAG 任务调度执行引擎通过明确的任务依赖表示和并行化执行，使得复杂工作流的管理变得更加简单、高效。通过合理地使用 DAG 调度引擎，可以显著提升系统的计算效率和任务管理能力，帮助开发者在复杂的业务应用场景中实现稳定和高效的任务执行。

go-taskflow: A taskflow-like General-purpose Task-parallel Programming Framework with integrated visualizer and profiler

项目地址：https://github.com/noneback/go-taskflow

A taskflow-like General-purpose Task-parallel Programming Framework with an integrated visualizer and profiler for Go, inspired by taskflow-cpp, with Go's native capabilities and simplicity, suitable for complex dependency management in concurrent tasks.

Feature

  • High extensibility: Easily extend the framework to adapt to various specific use cases.

  • Native Go's concurrency model: Leverages Go's goroutines to manage concurrent task execution effectively.

  • User-friendly programming interface: Simplify complex task dependency management using Go.

  • Static\Subflow\Conditional\Cyclic tasking: Define static tasks, condition nodes, nested subflows and cyclic flow to enhance modularity and programmability.

  • Priority Task Schedule: Define tasks' priority, higher priority tasks will be scheduled first.

  • Built-in visualization & profiling tools: Generate visual representations of tasks and profile task execution performance using integrated tools, making debugging and optimization easier.

Use Cases

  • Data Pipeline: Orchestrate data processing stages that have complex dependencies.

  • Workflow Automation: Define and run automation workflows where tasks have a clear sequence and dependency structure.

  • Parallel Tasking: Execute independent tasks concurrently to fully utilize CPU resources.

Example

import latest version: go get -u github.com/noneback/go-taskflow

 package main 
  
 import ( 
 	"fmt" 
 	"log" 
 	"os" 
 	"runtime" 
 	"time" 
  
 	gotaskflow "github.com/noneback/go-taskflow" 
 ) 
  
 func main() { 
 	// 1. Create An executor 
 	executor := gotaskflow.NewExecutor(uint(runtime.NumCPU() - 1)) 
 	// 2. Prepare all node you want and arrenge their dependencies in a refined DAG 
 	tf := gotaskflow.NewTaskFlow("G") 
 	A, B, C := 
 		gotaskflow.NewTask("A", func() { 
 			fmt.Println("A") 
 		}), 
 		gotaskflow.NewTask("B", func() { 
 			fmt.Println("B") 
 		}), 
 		gotaskflow.NewTask("C", func() { 
 			fmt.Println("C") 
 		}) 
  
 	A1, B1, C1 := 
 		gotaskflow.NewTask("A1", func() { 
 			fmt.Println("A1") 
 		}).Priority(gotaskflow.HIGH), 
 		gotaskflow.NewTask("B1", func() { 
 			fmt.Println("B1") 
 		}), 
 		gotaskflow.NewTask("C1", func() { 
 			fmt.Println("C1") 
 		}) 
 	A.Precede(B) 
 	C.Precede(B) 
 	A1.Precede(B) 
 	C.Succeed(A1) 
 	C.Succeed(B1) 
  
 	subflow := gotaskflow.NewSubflow("sub1", func(sf *gotaskflow.Subflow) { 
 		A2, B2, C2 := 
 			gotaskflow.NewTask("A2", func() { 
 				fmt.Println("A2") 
 			}), 
 			gotaskflow.NewTask("B2", func() { 
 				fmt.Println("B2") 
 			}), 
 			gotaskflow.NewTask("C2", func() { 
 				fmt.Println("C2") 
 			}) 
 		A2.Precede(B2) 
 		C2.Precede(B2) 
 		sf.Push(A2, B2, C2) 
 	}) 
  
 	subflow2 := gotaskflow.NewSubflow("sub2", func(sf *gotaskflow.Subflow) { 
 		A3, B3, C3 := 
 			gotaskflow.NewTask("A3", func() { 
 				fmt.Println("A3") 
 			}), 
 			gotaskflow.NewTask("B3", func() { 
 				fmt.Println("B3") 
 			}), 
 			gotaskflow.NewTask("C3", func() { 
 				fmt.Println("C3") 
 			}) 
 		A3.Precede(B3) 
 		C3.Precede(B3) 
 		sf.Push(A3, B3, C3) 
 	}) 
  
 	cond := gotaskflow.NewCondition("binary", func() uint { 
 		return uint(time.Now().Second() % 2) 
 	}) 
 	B.Precede(cond) 
 	cond.Precede(subflow, subflow2) 
  
 	// 3. Push all node into Taskflow 
 	tf.Push(A, B, C) 
 	tf.Push(A1, B1, C1, cond, subflow, subflow2) 
 	// 4. Run Taskflow via Executor 
 	executor.Run(tf).Wait() 
  
 	// Visualize dag if you need to check dag execution. 
 	if err := gotaskflow.Visualize(tf, os.Stdout); err != nil { 
 		log.Fatal(err) 
 	} 
 	// Profile it if you need to see which task is most time-consuming 
 	if err := executor.Profile(os.Stdout); err != nil { 
 		log.Fatal(err) 
 	} 
 }

Understand Condition Task Correctly

Condition Node is special in taskflow-cpp. It not only enrolls in Condition Control but also in Looping.

Our repo keeps almost the same behavior. You should read ConditionTasking to avoid common pitfalls.

How to use visualize taskflow

if err := gotaskflow.Visualize(tf, os.Stdout); err != nil {
log.Fatal(err)
}
Visualize generates raw strings in dot format, use dot to draw a DAG svg.

How to use profile taskflow

if err :=exector.Profile(os.Stdout);err != nil {
log.Fatal(err)
}
Profile generates raw strings in flamegraph format, use flamegraph to draw a flamegraph svg.

What's more
Any Features Request or Discussions are all welcomed.

评论 (0)