Tool

好处

坏处

类型

支持序列化

支持根据负载动态调度任务

支持c

支持dependency的调度

有成熟的library

Actor model

天生支持分布式，本身已经包含基本的serialization功能

比较底层

需要自己编写调度代码

没有广泛支持c的library

传统基于msg的系统

v

x

v

x

x

Apache Storm

http://storm.apache.org/

本身支持分布式，dependency的调度

基于java，不支持c

Streaming 系统

v

v

x

v

v

Grpc

支持c

需要自己编写调度代码

效率不高（基于http）

RPC

v

x

v

x

v

Stapl (Standard Adaptive Parallel Library)

https://parasol.tamu.edu/stapl/

https://parasol-lab.gitlab.io/stapl-home/docs/sgl/

https://gitlab.com/parasol-lab

STAPL（标准模板自适应并行库）是用于在C ++中开发并行程序的框架。它设计用于共享和分布式内存并行计算机

TaskGraph

V?

Stolos，

https://github.com/sailthru/stolos/blob/master/README.md

Chronos， luigi， Azkaban

 a task dependency scheduler that helps build distributed pipelines

像是接近批处理框架，实时性可能会慢？

V?

Zeromq

支持c

只是消息队列，需要自己编写序列化，和调度

V?

Celery http://www.celeryproject.org/

芹菜：分布式任务队列

Celery是基于分布式消息传递的异步任务队列/作业队列。它专注于实时操作，但也支持调度。

基于python

V?

x

？

v

Thrift

hadoop

批处理系统，慢

Map reduce不是非常适用

Java

MapReduce-like 系统

v

v

v

x

V

MPI (mpich2 和 openmpi)

传统基于msg的系统

GraphLab (dato) https://turi.com/

好像用于机器学习方面的

图计算系统

Giraph / Hama

图计算系统

Spark Streaming

不是纯粹的流处理，实时性可能会有影响

Streaming 系统

Flink

Streaming 系统

Bonic

https://boinc.berkeley.edu/trac/wiki/ProjectMain

Tpl dataflow

Julia language

https://julialang.org/

语言层面支持分布式

没有图调度

v

v

vx

x

V

• OpenHMPP

是一个标准

• OpenMP

是一个标准

• Apache graphx

• Apache Storm，Trident，Spark Streaming，Samza和Apache Flink