Flink(一)-Flink集群部署

本文最后更新于:August 4, 2025 pm

Apache Flink 是一个在有界数据流和无界数据流上进行有状态计算分布式处理引擎和框架。专为处理大规模数据流而设计,它能够在低延迟和高吞吐的场景下高效地处理实时和批量数据。

目录

环境要求:

集群节点

节点 node1 node2 node3
角色 JobManager、TaskManager TaskManager TaskManager

并配置每台节点间的免密操作。

安装与配置

解压安装包

1
tar -zxvf flink-1.20.2-bin-scala_2.12.tgz

修改集群配置

主节点修改

修改config.yaml以下内容为对应配置:

1
2
3
4
5
6
7
8
9
10
11
12
vim config.yaml

jobmanager:
bind-host: 0.0.0.0
rpc:
address: node1
taskmanager:
bind-host: 0.0.0.0
host: node1
rest:
address: node1
bind-address: 0.0.0.0

修改workers内容为对应的集群配置:

1
2
3
node1
node2
node3

修改masters配置:

1
node1:8081

其他节点

分发已修改好配置的包:

1
2
scp -r flink node2:/
scp -r flink node3:/

修改对应节点配置:

1
2
3
4
5
6
vim config.yaml

--node2
taskmanager.host: node2
--node3
taskmanager.host: node3

启动集群

在主节点node1上执行命令:

1
2
3
4
5
# 启动集群
bin/start-cluster.sh

# 停止集群
bin/stop-cluster.sh

WebUI控制台

访问node1:8081


本文作者: 墨水记忆
本文链接: https://tothefor.com/DragonOne/943837f5.html
版权声明: 本博客所有文章除特别声明外,均采用 CC BY-SA 4.0 协议 ,转载请注明出处!