Flink(一)-Flink集群部署
本文最后更新于:August 4, 2025 pm
Apache Flink 是一个在有界数据流和无界数据流上进行有状态计算分布式处理引擎和框架。专为处理大规模数据流而设计,它能够在低延迟和高吞吐的场景下高效地处理实时和批量数据。
目录
环境要求:
JDK11
Flink版本为1.20.2
官方文档:https://nightlies.apache.org/flink/flink-docs-release-1.20/zh/
安装包下载地址:https://www.apache.org/dyn/closer.lua/flink/flink-1.20.2/flink-1.20.2-bin-scala_2.12.tgz
集群节点
节点 | node1 | node2 | node3 |
---|---|---|---|
角色 | JobManager、TaskManager | TaskManager | TaskManager |
并配置每台节点间的免密操作。
安装与配置
解压安装包
1 |
|
修改集群配置
主节点修改
修改config.yaml以下内容为对应配置:
1 |
|
修改workers内容为对应的集群配置:
1 |
|
修改masters配置:
1 |
|
其他节点
分发已修改好配置的包:
1 |
|
修改对应节点配置:
1 |
|
启动集群
在主节点node1上执行命令:
1 |
|
WebUI控制台
访问node1:8081
本文作者: 墨水记忆
本文链接: https://tothefor.com/DragonOne/943837f5.html
版权声明: 本博客所有文章除特别声明外,均采用 CC BY-SA 4.0 协议 ,转载请注明出处!