allbet客户端下载:实战| 设置DataDog监控Apache Hudi应用指标

admin 2天前 科技 56 2

1. 可用性

在Hudi最新master分支,由Hudi活跃贡献者Raymond Xu贡献了DataDog监控Hudi应用指标,该功效将在0.6.0 版本公布,也谢谢Raymond的投稿。

2. 简介

Datadog是一个盛行的监控服务。在即将公布的Apache Hudi 0.6.0版本中,除已有的讲述者类型(Graphite和JMX)之外,我们将引入通过Datadog HTTP API讲述Hudi指标的功效。

3. 设置

类似于其他支持的讲述者,启用Datadog讲述者需要以下两个属性。

hoodie.metrics.on=true
hoodie.metrics.reporter.type=DATADOG

下面的属性用来设置Datdog API站点。它会决议请求被发送给api.datadoghq.eu (EU) 照样 api.datadoghq.com (US)。凭据你的Datadog账号作响应设置。

hoodie.metrics.datadog.api.site=EU # 或者 US

hoodie.metrics.datadog.api.key可以让你设置API密匙。

hoodie.metrics.datadog.api.key=<你的API密匙>
hoodie.metrics.datadog.api.key.supplier=<你的API密匙提供者>

出于安全性思量,你可能会选择在运行时返回API密匙。要使用这个方式,需要实现java.util.function.Supplier<String>。并把实现类的完整类名设置到hoodie.metrics.datadog.api.key.supplier。由于hoodie.metrics.datadog.api.key有更高的优先级,也要确保它没有设置。

下面的属性用来设置指标前缀,从而区分差别job的指标。

hoodie.metrics.datadog.metric.prefix=<你的指标前缀>

注重这里.会被用来隔离前缀和指标名。好比,若是前缀是foo,则foo.会被加在指标名称前。

其他的可选属性在设置参考页里有相关注释。

4. 示例演示

在这个示例中,我们运行了一个HoodieDeltaStreamer,启用了指标网络并做了响应的设置。

如图所示,我们能网络到Hudi操作相关的指标,好比

  • <前缀>.<表名>.commit.totalScanTime
  • <前缀>.<表名>.clean.duration
  • <前缀>.<表名>.index.lookup.duration

以及HoodieDeltaStreamer相关的指标。

  • <前缀>.<表名>.deltastreamer.duration
  • <前缀>.<表名>.deltastreamer.hiveSyncDuration

. 总结

Hudi提供了多种讲述者,利便监控Hudi应用运行时的各项指标,及时发现系统中的问题

,

欧博网址

www.ludiealliedinstitute.com欢迎进入欧博网址(Allbet Gaming),欧博网址开放会员注册、代理开户、电脑客户端下载、苹果安卓下载等业务。

Allbet声明:该文看法仅代表作者自己,与本平台无关。转载请注明:allbet客户端下载:实战| 设置DataDog监控Apache Hudi应用指标

文章归档

站点信息

  • 文章总数:348
  • 页面总数:0
  • 分类总数:8
  • 标签总数:711
  • 评论总数:20
  • 浏览总数:3418