CGraph无第三方依赖的DAG调度框架

《开源精选》是我们分享 Github、Gitee 等开源社区中优质项目的栏目，包括技术、学习、实用与各种有趣的内容。本期推荐 CGraph 无第三方依赖的 DAG 调度框架。实现了依赖节点依次执行、无依赖节点并发执行的逻辑。

简介

本工程实现了一套跨平台图流程计算框架。通过 GPipeline(流水线)底层调度，实现了依赖元素依次顺序执行、非依赖元素并发执行的调度功能。

使用者只需继承 GNode(节点)类，实现子类的 run() 方法，并根据需要设定依赖关系，即可实现任务的图化执行。

同时，使用者还可以通过设定各种包含多节点信息的 GGroup(组)，自行控制图的条件判断、循环和并发执行逻辑。

此外，还可以通过添加 GAspect(切面)的方式，实现以上各种元素功能的横向扩展，或是通过引入各种 GAdapter(适配器)对单个节点功能进行加强。

编译说明

• 本工程支持 MacOS、Linux 和 Windows 系统，无任何第三方依赖。推荐使用 C++17（默认）或以上版本，向下兼容 C++14版本，不支持 C++11或以下版本
• 使用CLion作为IDE的开发者，或使用Visual Studio 17(或以上版本)作为 IDE 的开发者，打开CMakeLists.txt文件作为工程，即可编译通过
• 使用Visual Studio 2015作为IDE的开发者，修改CMakeLists.txt文件中的set(CMAKE_CXX_STANDARD 17)为set(CMAKE_CXX_STANDARD 14)，然后打开CMakeLists.txt文件作为工程，即可编译通过
• Linux 环境开发者，在命令行模式下，输入以下指令，即可编译通过

$ git clone https://github.com/ChunelFeng/CGraph.git
$ cd CGraph
$ cmake . -Bbuild
$ cd build
$ make

• 提供基于Ubuntu 20.04.3 LTS的 Docker 镜像。输入以下指令，即可获取并进入

$ docker pull chunelfeng/cenv                         # 获取docker镜像
$ docker run -it --name CGraphEnv chunelfeng/cenv     # 进入docker镜像

• 提供 online 版本的编译调试环境，点击进入页面：CGraph env online ，输入以下指令，即可编译通过，并查看执行结果

$ ./CGraph-build.sh          # 编译CGraph工程，生成的内容在同级/build/文件夹中
$ ./build/T00-HelloCGraph    # 运行第一个实例程序，并且在终端输出 Hello, CGraph.

使用 Demo

MyNode1.h

#include "../../src/CGraph.h"

class MyNode1 : public CGraph::GNode {
public:
    CStatus run () override {
        CStatus status;
        CGraph::CGRAPH_ECHO("[%s], enter MyNode1 run function. Sleep for 1 second ... ", this->getName().c_str());
        CGRAPH_SLEEP_SECOND(1)
        return status;
    }
};

MyNode2.h

#include "../../src/CGraph.h"

class MyNode2 : public CGraph::GNode {
public:
    CStatus run () override {
        CStatus status;
        CGraph::CGRAPH_ECHO("[%s], enter MyNode2 run function. Sleep for 2 second ... ", this->getName().c_str());
        CGRAPH_SLEEP_SECOND(2)
        return status;
    }
};

demo.cpp

#include "MyGNode/MyNode1.h"
#include "MyGNode/MyNode2.h"

using namespace CGraph;

void tutorial_simple() {
    /* 创建一个流水线，用于设定和执行流图信息 */
    GPipelinePtr pipeline = GPipelineFactory::create();
    GElementPtr a, b, c, d = nullptr;

    /* 注册节点，其中MyNode1和MyNode2必须为GNode的子类，否则无法通过编译。
     * MyNode1中run()执行内容为sleep(1s)
     * MyNode2中run()执行内容为sleep(2s) */
    CStatus status = pipeline->registerGElement<MyNode1>(&a, {}, "nodeA");    // 将名为nodeA，无执行依赖的node信息，注册入pipeline中
    status += pipeline->registerGElement<MyNode2>(&b, {a}, "nodeB");    // 将名为nodeB，依赖a执行的node信息，注册入pipeline中
    status += pipeline->registerGElement<MyNode1>(&c, {a}, "nodeC");
    status += pipeline->registerGElement<MyNode2>(&d, {b, c}, "nodeD");    // 将名为nodeD，依赖{b,c}执行的node信息，注册入pipeline中
    if (!status.isOK()) {
        return;    // 使用时，请对所有CGraph接口的返回值做判定
    }

    /* 执行流图框架 */
    status = pipeline->process();
    GPipelineFactory::destroy(pipeline);
}