济南网站建设平台官网_桂林两江四湖景区导游词_环球网疫情最新动态_自动点击关键词软件

以下各组件部署方式：嵌入模式 vs 独立服务模式

组件选型：

1. 分布式网络通信: brpc, zmq ...
2. 分布式高可靠存储用于存元信息: zk, etcd, braft
3. 分布式状态保存用于存储数据: memory/disk storage(shuffle,sort): rocksdb+partition_manage
4. 单机计算引擎: Graph Vacanoo Pipeline: tensorflow, flink, spark, (database) duckdb, postgresql
5. 数据结构: rdd, DataSet, DataFrame....
6. UDF,UDAF, UDTF, OPS扩展
7. DAG 管理: TaskFlow
8. 资源管理和分配: yarn
9. 任务管理: submit job, job status track
10. Failover: checkpoint 保存与恢复
11. Monitor/Logs:监控日志状态跟踪