当前位置: 首页> 汽车> 报价 > 网络营销的网站分类有哪些_微信公众号怎么用_网站seo课设_如何推广网店

网络营销的网站分类有哪些_微信公众号怎么用_网站seo课设_如何推广网店

时间:2025/7/11 19:29:51来源:https://blog.csdn.net/mrhs_dhls/article/details/144545884 浏览次数: 1次
网络营销的网站分类有哪些_微信公众号怎么用_网站seo课设_如何推广网店

文章目录

    • 一、Flink基础简介
      • 1、什么是Flink
      • 2、Flink流处理特性
      • 3、Flink四大基石
      • 4、Flink中的角色
    • 二、Flink集群搭建
      • 1、Local模式
        • ①上传Flink安装包
        • ②启动交互窗口
        • ③提交任务测试
        • ④访问WebUI页面查看
        • ④退出停止集群

一、Flink基础简介

1、什么是Flink

Flink是⼀个分布式,高性能,随时可⽤的以及准确的流处理计算框架,Flink可以对无界数据(流处理)和有界数据(批处理)进⾏有状态计算的分布式,⾼性能的计算框架。

⽆界数据流:数据流是有⼀个开始但是没有结束;
有界数据流:数据流是有⼀个明确的开始和结束,数据流是有边界的。

2、Flink流处理特性

1.支持高吞吐、低延迟、高性能的流处理
2.支持带有事件时间的窗口(Window)操作
3.支持有状态计算的 Exactly-once 语义
4.支持高度灵活的窗口(Window)操作,支持基于 time、count、session,以及 data-driven 的窗口操作
5.支持具有 Backpressure(背压) 功能的持续流模型
6.支持基于轻量级分布式快照(Snapshot)实现的容错
7.一个运行时同时支持 Batch on Streaming 处理和 Streaming 处理
8.Flink 在 JVM 内部实现了自己的内存管理
9.支持迭代计算; 
10.程序自动优化:避免特定情况下 Shuffle、排序等昂贵操作,中间结果有必要进行缓存

3、Flink四大基石

checkpoint,state,time,window

checkpoint:
基于chandy-lamport算法实现分布式计算任务的⼀致性语义;state:
flink中的状态机制,flink 天生支持state,state可以认为程序的中间计算结果或者是历史计算结果;time:
flink中⽀持基于事件时间和处理时间进⾏计算,spark streaming只能按照process time进⾏处理;基于事件时间的计算我们可以解决数据延迟和乱序等问题。window:
flink提供了更多丰富的window,基于时间,基于数量,session window,同样⽀持滚动和滑动窗
⼝的计算。

4、Flink中的角色

JobManager: 负责资源申请,任务分发,任务调度执行,checkpoint的协调执行;
TaskManager: 负责任务的执行,基于Dataflow(Spark中DAG)划分出的Task;与JobManager保持⼼跳,汇报任务状态。

二、Flink集群搭建

Local: 单机模式,自测学习使用
Standalone:Flink⾃带集群,资源管理由Flink集群管理
Flink on Yarn: 把资源管理交给yarn实现。

1、Local模式

①上传Flink安装包

准备服务器, 上传安装包 flink-1.7.2-bin-hadoop27-scala_2.11.tgz 然后解压到指定目录,注意修改所属用户和用户组

注意: 服务器需要配置JDK8的环境tar -zxvf flink-1.7.2-bin-hadoop27-scala_2.11.tgz
mv flink-1.7.2 flink
chown -R root:root flink

如下图所示:
在这里插入图片描述

②启动交互窗口

进入Flink的bin目录下启动shell交互式窗口

cd /develop/flink
bin/start-scala-shell.sh local

如下图所示
在这里插入图片描述

③提交任务测试

注意: 提前创建一个测试文件/root/words.txt,随便写入一些文本作为测试文件

benv.readTextFile("/root/words.txt").flatMap(_.split("")).map((_,1)).groupBy(0).sum(1).print()

在这里插入图片描述

④访问WebUI页面查看
http://192.168.88.88:8081

在这里插入图片描述

④退出停止集群
bin/stop-cluster.sh

在这里插入图片描述

关键字:网络营销的网站分类有哪些_微信公众号怎么用_网站seo课设_如何推广网店

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

责任编辑: