flink菜鸟教程（Flink On Yarn如何查看任务日志）
本文目录
Flink On Yarn如何查看任务日志
无论Flink还是Spark都支持自建集群(standalone cluster)。但是为了保证稳定性和资源隔离等，生产环境里的任务最好借助资源管理框架(如Yarn)运行。任务运行在yarn上，查询日志就可能不是很方便，尤其是任务进程异常退出之后。
yarn容器退出之后，默认是不保存日志的。所以需要开启JobHistoryServer，具体方法网上有很多教程。
运行中的Flink任务可以直接通过flink web ui查看：
对于已经结束的yarn应用，flink进程已经退出无法提供webui服务。所以需要通过JobHistoryServer查看保留在yarn上的日志。
***隐藏网址***
所以我们只需要知道taskmanager的 容器名 和 node 就能找到它的日志了。flink在jobmanager的日志中记录了详细的相关信息，包括所有的taskmanager的 容器名 和 node 。日志太多可能不好找，这里有一个小技巧：利用appid去搜索日志，比如本文中的例子，可以搜索 1634207619484_0505
分析这行日志：taskmanager只有一个，并且它的容器名为 container_1634207619484_0505_01_000002 ，node为 node1 (注意：后面拼接url用的端口号是8041不是37798)
***隐藏网址***
运行中的flink/spark的日志查看非常容易，因为它们本身都提供了web ui服务。但是当任务异常退出之后，flink/spark进程的结束导致无法提供web ui服务。我们利用job history server来保留和展示当时的日志。但是yarn的web只展示了flink job manager/spark driver的日志链接，我们需要自己拼接flink task manager/spark executor日志链接。
最后我有一个小疑问：文中介绍的URL组成是推测出来的，其中第三部分 /container_1634207619484_0505_01_000001/container_1634207619484_0505_01_000001 是两个同样的容器名，这是为什么？希望知道的小伙伴能留言解惑一下。
相关链接：
Flink On Yarn如何查看任务日志
Spark On Yarn如何查看任务日志
flink框架的特点
Flink框架的主要特点包括：
1. 流处理：Flink是一个流处理引擎，专门为处理连续、动态的数据流而设计。这意味着它可以实时分析大量的数据流，而无需等待数据的完整批次。这使得Flink在各种实时应用中非常有用，如实时分析、预测分析和异常检测。
2. 内存处理：Flink使用内存来存储中间结果，这大大提高了处理速度和效率。通过将数据存储在内存中，Flink可以快速检索和处理数据，而无需等待磁盘I/O或网络传输。 3. 分布式执行：Flink框架还支持分布式执行，这意味着它可以处理大规模的数据流，并在多个节点上并行执行计算。这使得Flink能够处理非常大的数据集，并且可以轻松扩展到多个节点和集群。
4. 可扩展性：Flink具有高度的可扩展性，可以在不同规模的集群上运行，从单节点到大规模集群。它还支持多种存储和网络协议，使其能够与各种数据源和目标进行交互。
5. SQL和数据管道集成：Flink支持SQL查询，这使得构建复杂的数据管道和实时分析变得更加简单。此外，Flink还支持与Hadoop和其他数据存储的集成，使其成为构建大规模数据管道的理想选择。
6. 强大的社区支持：由于Flink的广泛使用和受欢迎程度，它拥有庞大的社区支持。这意味着有大量的文档、教程和示例可供参考，以帮助开发人员快速入门并解决可能遇到的问题。
总的来说，Apache Flink是一个强大的流处理框架，适用于实时数据分析和处理。它具有高效的内存处理和分布式执行能力，可以轻松扩展到大规模集群，并拥有庞大的社区支持。这些特点使得Flink成为处理实时数据流的理想选择。
更多文章：
exception词组（innerexception是什么意思）
2026年9月7日 17:15
oracle数据库完整性（oracle添加记录的时候提示违反完整性约束,未找到父项关键字怎么解决）
2025年10月15日 22:30
dirty talk女生对男生说的语录（女人怎么说dirty talk）
2025年12月16日 07:30
电脑开机出现error怎么解决（电脑开机显示CPU OverTemperture Error怎么解决）
2026年4月3日 10:30
requests是什么库（python3 有requests吗）
2026年2月6日 09:15
2025年9月30日 08:00
2026年5月21日 21:30
2025年6月21日 00:45
hairdresser翻译（at the hairdresser’s怎么读）
2026年5月25日 12:00
无法获得下列许可 solidworks（solidworks无法获得许可-8,544,0）
2025年11月27日 18:00
2026年6月28日 02:00
原矛头蝮的天敌（蛇到底有多可怕大自然中的蛇真会记仇报复人吗）
2026年3月13日 17:45
2026年5月9日 23:00
2026年5月5日 22:30
2025年9月17日 19:15
artist怎么读（artist怎么读 英语artist怎么读）
2025年12月6日 02:30
2026年4月19日 16:15
subplot 2 2 3 是什么意思（matlab 中subplot（221）是什么意思）
2025年9月21日 05:45
设置一个按钮跳转到一个页面（如何在H5页面里面添加功能按钮，点击跳转另一页面）
2026年4月9日 21:00
数控车床编程入门自学视频和模拟（请问数控车床手工编程视频教程哪有下载）
2025年9月6日 17:45
