Flink Metrics监控与 RestApi
本文转载自微信公众号「KK架构师」,作者wangkai 。转载本文请联系KK架构师公众号。
一、Flink metrics简介
Flink 的 metrics 是 Flink 公开的一个度量系统,metrics 也可以暴露给外部系统,通过在 Flink 配置文件conf/flink-conf.yaml 配置即可,Flink原生已经支持了很多reporter,如 JMX、InfluxDB、Prometheus等等。
我们也可以自定义指标通过 metric 收集,实际开发时经常需要查看当前程序的运行状况,flink 提供了 UI 界面,有比较详细的统计信息。
但是 UI 界面也有不完善的地方,比如想要获取 flink 的实时吞吐。本文将详细介绍如何通过 metric 监控 flink程序,自定义监控指标以及metrics 在 flink 的 UI 界面的应用。
二、Metrics在UI页面上的应用
在 flink 的 UI 的界面上我们点击任务详情,然后点击 Task Metrics 会弹出如下的界面,在 add metic按钮上我们可以添加我需要的监控指标。
注意:如果点击 Task Metrics 没有显示 Add metics 点击一下任务的 DAG 图就会显示出来,当我们点击了DAG图中某个算子的名字,那么 Add metric 显示的就是该算子的监控指标,且按照分区显示,算子名前置的数字就是分区号。
三、各个指标的含义
关于各个指标的含义官网上有详细介绍:
https://ci.apache.org/projects/flink/flink-docs-release-1.7/monitoring/metrics.html#availability
四、自定义监控指标
案例:在map算子内计算输入的总数据,设置 :
程序启动之后就可以在任务的ui界面上查看
注意点:
搜索自定义或者查看某个指标需要点击DAG图中对应算子的名称
指标的前缀0,1,2....是指算子的分区数
进行监控时,尽量不要对算子进行重命名,使用默认的名字,这样一套监控程序可以监控多个flink任务,比如对sink重新命名,如果不同的flink程序对sink的命名不一样,则一套监控无法监控多个flink程序
五、Flink UI 不显示算子数据接收和发送的条数
有时候我们Flink任务正常运行,数据也可以打印,而且都保存到数据库了,但是UI上面却不显示数据接收和发送的条数,导致无法进行指标监控和查查flink任务运行的具体情况,这是什么原因导致的呢?
原因:是因为默认情况下Flink开启了operatorchain,所以当flink程序所有的算子都在一个chain里面时,也就是在一个DAG(task)里面,所有没有向下游发送数据,所以显示都为0。比如下图的情况所有指标都是0;
解决方案:第一种方法:在flink程序里添加自定义metric
第二种方法:使用startNewChain和disableChainin打断程序默认的operator chain
第三种方法:修改某个算子的并行度使其和上下游算子并行度不一致
六、Metric Reporter
Metrics可以暴露给外部系统,通过在flink配置文件conf/flink-conf.yaml配置即可,flink原生已经支持了很多reporter,如JMX、InfluxDB、Prometheus等等,同时也支持自定义reporter。
Flink自带了很多Reporter,包括JMX、InfluxDB、Prometheus等等,接下来介绍下InfluxDBReporter的使用。
只需在flink配置文件conf/flink-conf.yaml中配置Influxdb相关信息即可,主要包括域名、端口号、用户密码等等。
flink1.10之后采用
flink1.10之前
注意事项:收集flinkSQL任务的监控指标,如果用户书写的sql语句 insert into 或者insertoverwrite中单引号带有换行符,写入influxdb会报错
查看influxdb收集到监控信息,发现会自动给我生成数据库和measurement,所有的指标都存储在了具体的measurement中
七、flink metric监控程序
前面介绍了flink公共的监控指标以及如何自定义监控指标,那么实际开发flink任务我们需要及时知道这些监控指标的数据,去获取程序的健康值以及状态。这时候就需要我们通过flinkREST API,自己编写监控程序去获取这些指标。很简单,当我们知道每个指标请求的URL,我们便可以编写程序通过http请求获取指标的监控数据。
八、flink REST API监控程序
为了获取flink任务运行状态和吞吐量我们需要注意一下两点:
- flink集群模式需要知道 JobManager 的地址和端口(5004)
- 对于 flink on yarn 模式来说,则需要知道 RM 代理的 JobManager UI 地址,例如http://yarn-resource-manager-ui/proxy/application_155316436xxxx_xxxx
1.获取flink任务运行状态(我们可以在浏览器进行测试,输入如下的连接)
http://yarn-resource-manager-ui/proxy/application_155316436xxxx_xxxx/jobs
返回的结果
2.获取 job 详情
需要在/jobs/jobid
http://yarn-resource-manager-ui/proxy/application_155316436xxxx_xxxx/jobs/ce793f18efab10127f0626a37ff4b4d4
九、更灵活的方式获取每个指标的请求连接
有人可能会问,这么多指标,难道我要把每个指标的请求的URL格式都记住吗?
今天教大家一个小技巧,一个前端技术,就是进入flink任务的UI界面,按住F12进入开发者模式,然后我们点击任意一个metric指标,便能立即看到每个指标的请求的URL。比如获取flink任务的背压情况:
如下图我们点击某一个task的status,按一下f12,便看到了backpressue,点开backpressue就是获取任务背压情况的连接如下:
http://127.0.0.1/proxy/application_12423523_133234/jobs/86eb310874aeccb37b58ae2892feced3/vertices/cbc357ccb763df2852fee8c4fc7d55f2/backpressure
请求连接返回的json字符串如下:我们可以获取每一个分区的背压情况,如果不是OK状态便可以进行任务报警,其他的指标获取监控值都可以这样获取简单而又便捷。
十、案例:实时获取yarn上flink任务运行状态
我们使用 flink RESTAPI的方式,通过http请求实时获取flink任务状态,不是RUNNING状态则进行电话或邮件报警,达到实时监控的效果。
结果
推荐系统
微软Win11原版22H2下载_Win11GHOST 免 激活密钥 22H2正式版64位免费下载
语言:中文版系统大小:5.13GB系统类型:Win11微软Win11原版22H2下载_Win11GHOST 免 激活密钥 22H2正式版64位免费下载系统在家用办公上跑分表现都是非常优秀,完美的兼容各种硬件和软件,运行环境安全可靠稳定。Win11 64位 Office办公版(免费)优化 1、保留 Edge浏览器。 2、隐藏“操作中心”托盘图标。 3、保留常用组件(微软商店,计算器,图片查看器等)。 5、关闭天气资讯。
Win11 21H2 官方正式版下载_Win11 21H2最新系统免激活下载
语言:中文版系统大小:4.75GB系统类型:Win11Ghost Win11 21H2是微软在系统方面技术积累雄厚深耕多年,Ghost Win11 21H2系统在家用办公上跑分表现都是非常优秀,完美的兼容各种硬件和软件,运行环境安全可靠稳定。Ghost Win11 21H2是微软最新发布的KB5019961补丁升级而来的最新版的21H2系统,以Windows 11 21H2 22000 1219 专业版为基础进行优化,保持原汁原味,系统流畅稳定,保留常用组件
windows11中文版镜像 微软win11正式版简体中文GHOST ISO镜像64位系统下载
语言:中文版系统大小:5.31GB系统类型:Win11windows11中文版镜像 微软win11正式版简体中文GHOST ISO镜像64位系统下载,微软win11发布快大半年了,其中做了很多次补丁和修复一些BUG,比之前的版本有一些功能上的调整,目前已经升级到最新版本的镜像系统,并且优化了自动激活,永久使用。windows11中文版镜像国内镜像下载地址微软windows11正式版镜像 介绍:1、对函数算法进行了一定程度的简化和优化
微软windows11正式版GHOST ISO镜像 win11下载 国内最新版渠道下载
语言:中文版系统大小:5.31GB系统类型:Win11微软windows11正式版GHOST ISO镜像 win11下载 国内最新版渠道下载,微软2022年正式推出了win11系统,很多人迫不及待的要体验,本站提供了最新版的微软Windows11正式版系统下载,微软windows11正式版镜像 是一款功能超级强大的装机系统,是微软方面全新推出的装机系统,这款系统可以通过pe直接的完成安装,对此系统感兴趣,想要使用的用户们就快来下载
微软windows11系统下载 微软原版 Ghost win11 X64 正式版ISO镜像文件
语言:中文版系统大小:0MB系统类型:Win11微软Ghost win11 正式版镜像文件是一款由微软方面推出的优秀全新装机系统,这款系统的新功能非常多,用户们能够在这里体验到最富有人性化的设计等,且全新的柔软界面,看起来非常的舒服~微软Ghost win11 正式版镜像文件介绍:1、与各种硬件设备兼容。 更好地完成用户安装并有效地使用。2、稳定使用蓝屏,系统不再兼容,更能享受无缝的系统服务。3、为
雨林木风Windows11专业版 Ghost Win11官方正式版 (22H2) 系统下载
语言:中文版系统大小:4.75GB系统类型:雨林木风Windows11专业版 Ghost Win11官方正式版 (22H2) 系统下载在系统方面技术积累雄厚深耕多年,打造了国内重装系统行业的雨林木风品牌,其系统口碑得到许多人认可,积累了广大的用户群体,雨林木风是一款稳定流畅的系统,一直以来都以用户为中心,是由雨林木风团队推出的Windows11国内镜像版,基于国内用户的习惯,做了系统性能的优化,采用了新的系统
雨林木风win7旗舰版系统下载 win7 32位旗舰版 GHOST 免激活镜像ISO
语言:中文版系统大小:5.91GB系统类型:Win7雨林木风win7旗舰版系统下载 win7 32位旗舰版 GHOST 免激活镜像ISO在系统方面技术积累雄厚深耕多年,加固了系统安全策略,雨林木风win7旗舰版系统在家用办公上跑分表现都是非常优秀,完美的兼容各种硬件和软件,运行环境安全可靠稳定。win7 32位旗舰装机版 v2019 05能够帮助用户们进行系统的一键安装、快速装机等,系统中的内容全面,能够为广大用户
番茄花园Ghost Win7 x64 SP1稳定装机版2022年7月(64位) 高速下载
语言:中文版系统大小:3.91GB系统类型:Win7欢迎使用 番茄花园 Ghost Win7 x64 SP1 2022.07 极速装机版 专业装机版具有更安全、更稳定、更人性化等特点。集成最常用的装机软件,集成最全面的硬件驱动,精心挑选的系统维护工具,加上独有人性化的设计。是电脑城、个人、公司快速装机之首选!拥有此系统
相关文章
- 调查称英国百万级用户使用不安全路由器
- 网络交换机有什么功能 网络交换机分类及选购技巧【详解】
- 漏洞收集哪家强?FBI 不输任何地下军火商!
- 用了很多年Dubbo,连Dubbo线程池监控都不知道,觉得自己很厉害?
- 在Win8系统中, wifi连接受限怎么办?
- Win7系统中网络打印机怎么设置?
- 美国指责俄罗斯SVR发动网络攻击并对其进行制裁,俄罗斯表示必将回击
- 【宅客锋评】居e安和WeCool安防摄像头对比测评:都能用,但都够不友好
- 如何解决两因素和多因素身份验证的大问题
- 洞察僵尸网络的4条关键线索,你知道吗?
- 聚生网管监控软件、网络行为管理软件、局域网限速软件为网络管理保驾护航
- 如何保护自己免受流行性网络诈骗
- 欧盟理事会审议通过欧盟十年网络安全战略
- 2020 年 11 月头号恶意软件:臭名昭著的 Phorpiex 僵尸网络再度成为影响范围最大的感染病毒
- 10个好用的Web日志安全分析工具
- 承诺会保护隐私的社交应用True却意外曝光用户私人数据
- 报告:5G网络切片可能会给不法分子留下漏洞!
- QQ密码泄露后,如何避免QQ被他人登录?
热门系统
- 1华硕笔记本&台式机专用系统 GhostWin7 32位正式旗舰版2018年8月(32位)ISO镜像下载
- 2深度技术 Windows 10 x86 企业版 电脑城装机版2018年10月(32位) ISO镜像免费下载
- 3电脑公司 装机专用系统Windows10 x86喜迎国庆 企业版2020年10月(32位) ISO镜像快速下载
- 4雨林木风 Ghost Win7 SP1 装机版 2020年4月(32位) 提供下载
- 5深度技术 Windows 10 x86 企业版 六一节 电脑城装机版 版本1903 2022年6月(32位) ISO镜像免费下载
- 6深度技术 Windows 10 x64 企业版 电脑城装机版2021年1月(64位) 高速下载
- 7新萝卜家园电脑城专用系统 Windows10 x64 企业版2019年10月(64位) ISO镜像免费下载
- 8新萝卜家园 GhostWin7 SP1 最新电脑城极速装机版2018年8月(32位)ISO镜像下载
- 9电脑公司Ghost Win8.1 x32 精选纯净版2022年5月(免激活) ISO镜像高速下载
- 10新萝卜家园Ghost Win8.1 X32 最新纯净版2018年05(自动激活) ISO镜像免费下载
热门文章
常用系统
- 1雨林木风Ghost Win7 x64 SP1 极速装机版2020年5月(64位) 高速下载
- 2笔记本系统Ghost Win8.1 (X64) 全新纯净版2021年11月(永久激活) 提供下载
- 3电脑公司Ghost Win8.1 x32 精选纯净版2022年3月(免激活) ISO镜像高速下载
- 4番茄花园Ghost Win7 x64 SP1 极速装机版201810月(64位) 好用下载
- 5深度技术Ghost Win7 Sp1 电脑城万能装机版2022年6月(32位) ISO高速下载
- 6电脑公司Ghost Win8.1 X64位 元旦特别 纯净版2020年1月(自动激活) ISO镜像快速下载
- 7联想笔记本&台式机专用系统 GhostWin7 32位旗舰版2018年5月(32位) ISO镜像免费下载
- 8深度技术Ghost Win8.1 x32位 特别纯净版2022年5月(免激活) ISO镜像高速下载
- 9深度技术系统 GHOSTXPSP3 电脑城万能装机版 2018年8月 ISO镜像下载
- 10深度技术 Windows 10 x86 企业版 电脑城装机版2019年10月(32位) ISO镜像免费下载