1. Flink 1.20单机部署环境准备1.1 系统环境要求在开始部署前需要确保你的系统满足以下基本要求操作系统Linux推荐Ubuntu 20.04或CentOS 7或macOSDocker版本20.10.0及以上内存至少4GB可用内存8GB以上更佳磁盘空间至少10GB可用空间注意Windows系统虽然可以运行Docker Desktop但在生产环境中不推荐使用Windows作为Flink的运行平台可能会遇到各种兼容性问题。1.2 Docker环境配置首先需要安装和配置Docker环境# 安装Docker以Ubuntu为例 sudo apt-get update sudo apt-get install docker-ce docker-ce-cli containerd.io # 启动Docker服务 sudo systemctl start docker sudo systemctl enable docker # 验证安装 docker --version对于国内用户建议配置镜像加速器以提高拉取镜像的速度# 创建或修改daemon.json文件 sudo tee /etc/docker/daemon.json -EOF { registry-mirrors: [https://registry.docker-cn.com] } EOF # 重启Docker服务 sudo systemctl daemon-reload sudo systemctl restart docker2. Flink 1.20 Docker镜像获取与配置2.1 官方镜像选择Flink官方在Docker Hub上提供了多个版本的镜像我们需要选择1.20版本# 拉取Flink 1.20官方镜像 docker pull flink:1.20-scala_2.12-java11这个镜像包含了Flink 1.20版本Scala 2.12支持Java 11运行环境2.2 自定义镜像构建可选如果需要额外的依赖或自定义配置可以基于官方镜像构建自己的镜像# Dockerfile示例 FROM flink:1.20-scala_2.12-java11 # 安装额外依赖 RUN apt-get update apt-get install -y python3 python3-pip # 安装Python依赖 RUN pip3 install apache-flink1.20.0 # 复制自定义配置文件 COPY conf/flink-conf.yaml /opt/flink/conf/ COPY conf/log4j.properties /opt/flink/conf/构建自定义镜像docker build -t my-flink:1.20 .3. Flink单机部署实战3.1 启动JobManagerFlink集群需要一个JobManager来协调任务执行docker run -d \ --namejobmanager \ --networkflink-network \ -p 8081:8081 \ -e JOB_MANAGER_RPC_ADDRESSjobmanager \ flink:1.20-scala_2.12-java11 \ jobmanager关键参数说明--network: 指定自定义网络便于容器间通信-p 8081:8081: 映射Web UI端口JOB_MANAGER_RPC_ADDRESS: 设置JobManager的RPC地址3.2 启动TaskManagerTaskManager是实际执行任务的节点docker run -d \ --nametaskmanager \ --networkflink-network \ -e JOB_MANAGER_RPC_ADDRESSjobmanager \ flink:1.20-scala_2.12-java11 \ taskmanager3.3 验证集群状态访问http://localhost:8081可以查看Flink Web UI确认集群状态在Task Managers标签页应能看到1个TaskManagerAvailable Task Slots应显示可用的任务槽数4. 配置优化与调优4.1 关键配置参数在flink-conf.yaml中以下参数对单机部署尤为重要# 任务管理器内存配置 taskmanager.memory.process.size: 2048m taskmanager.numberOfTaskSlots: 2 # 网络配置 taskmanager.network.memory.fraction: 0.1 taskmanager.network.memory.max: 256mb # 检查点配置 state.backend: filesystem state.checkpoints.dir: file:///tmp/flink-checkpoints4.2 资源分配策略在单机环境下合理的资源分配尤为重要内存分配为JobManager分配1-2GB内存剩余内存分配给TaskManager保留至少1GB给操作系统CPU分配每个TaskManager slot分配1-2个CPU核心避免过度分配导致系统卡顿5. 常见问题与解决方案5.1 容器启动失败排查如果容器启动失败可以查看日志docker logs jobmanager docker logs taskmanager常见错误及解决方法端口冲突错误Bind failed for port 8081解决更改映射端口或停止占用端口的服务内存不足错误OutOfMemoryError解决增加容器内存限制或调整Flink内存配置5.2 网络连接问题容器间通信问题排查步骤确认容器在同一网络docker network inspect flink-network测试容器间连通性docker exec -it jobmanager ping taskmanager检查防火墙设置sudo ufw status6. 实战示例运行WordCount作业6.1 准备示例程序创建一个简单的WordCount程序// WordCount.java public class WordCount { public static void main(String[] args) throws Exception { final StreamExecutionEnvironment env StreamExecutionEnvironment.getExecutionEnvironment(); DataStreamString text env.fromElements( Hello World, Hello Flink, Flink is awesome ); DataStreamTuple2String, Integer counts text .flatMap(new Tokenizer()) .keyBy(value - value.f0) .sum(1); counts.print(); env.execute(WordCount Example); } public static final class Tokenizer implements FlatMapFunctionString, Tuple2String, Integer { Override public void flatMap(String value, CollectorTuple2String, Integer out) { String[] words value.toLowerCase().split(\\W); for (String word : words) { if (word.length() 0) { out.collect(new Tuple2(word, 1)); } } } } }6.2 打包并提交作业将程序打包成JAR文件通过Web UI或命令行提交# 将JAR文件复制到容器中 docker cp wordcount.jar jobmanager:/opt/flink/ # 提交作业 docker exec -it jobmanager ./bin/flink run /opt/flink/wordcount.jar6.3 监控作业执行在Web UI中查看Running Jobs列表点击作业查看详细指标检查Task Managers的资源使用情况7. 性能优化技巧7.1 本地开发优化使用本地文件系统挂载本地目录到容器便于调试-v /path/to/local/data:/data启用检查点env.enableCheckpointing(5000); // 每5秒一次检查点7.2 生产环境建议日志配置调整log4j.properties中的日志级别配置日志滚动策略监控集成配置Prometheus监控设置告警规则资源隔离为Flink容器设置CPU和内存限制--cpus 2 --memory 4g8. 扩展与进阶8.1 集成其他组件Kafka连接器添加Kafka依赖配置Kafka源和接收器Hadoop集成构建包含Hadoop支持的镜像配置HDFS检查点存储8.2 高可用配置虽然本文是单机部署但可以扩展为高可用模式配置Zookeeper设置多个JobManager配置共享存储系统8.3 版本升级策略备份配置和数据测试新版本兼容性滚动更新策略在实际操作中我发现Flink 1.20在Docker环境下的稳定性有了显著提升特别是内存管理和网络通信方面。对于初学者来说从单机部署开始理解Flink的基本概念和运行机制是最佳的学习路径。当需要扩展到生产环境时可以参考官方文档逐步增加集群规模和配置高可用方案。