Apache Hudi 异步Compaction部署方式有哪些

技术Apache Hudi 异步Compaction部署方式有哪些本篇文章为大家展示了Apache Hudi 异步Compaction部署方式有哪些,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希

本篇文章为大家展示了阿帕奇胡迪异步压紧部署方式有哪些,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。

对执行异步压紧的不同部署模型全面汇总。

1. Compaction

对于读取时合并表,数据使用列式镶木地板文件和行式Avro文件存储,更新被记录到增量文件,然后进行同步/异步压紧生成新版本的列式文件读取时合并表可减少数据摄入延迟,因而进行不阻塞摄入的异步压紧很有意义。

2. 异步Compaction

异步压紧会进行如下两个步骤

调度Compaction:由摄取作业完成,在这一步,胡迪扫描分区并选出待进行压紧的文件许可证,最后契约计划会写入胡迪的时间线.执行Compaction:一个单独的进程/线程将读取契约计划并对文件切片执行压紧操作。

3. 部署模型

几种执行异步压紧的方法如下

3.1 Spark Structured Streaming

在0.6.0版本,胡迪支持在火花结构拉伸作业中支持异步压实,压实在流动作业内被异步调度和执行火花,结构化作业在读取时合并表中会默认开启异步压实。

Java 语言(一种计算机语言,尤用于创建网站)语言(一种计算机语言,尤用于创建网站)代码示例如下

导入组织。阿帕奇。胡迪。datasourcewriteoptions导入组织。阿帕奇。胡迪。hoodiedatasourcehelpers导入组织。阿帕奇。胡迪。配置。hoodiecompactionconfig导入组织。阿帕奇。胡迪。配置。hoodeiewriteconfig导入组织。阿帕奇。火花。SQL。流媒体。OutPut模式;导入组织。阿帕奇。火花。SQL。流媒体。处理时间;datastreamwriterrarrow writer=stream input。writerstream().格式(' org.apache.hudi ').选项(数据源选项.OPERATION_OPT_KEY(),operationType().选项(数据源选项.表格类型.选项(数据源选项.RECORDKEY_FIELD_OPT_KEY(),' _row_key ').选项(数据源选项.PARTITIONPATH_FIELD_OPT_KEY(),' partition ').选项(数据源选项.PRECOMBINE_FIELD_OPT_KEY(),'时间戳').选项(HoodieCompactionConfig .INLINE _ COMPACT _ NUM _ DELTA _ COMMITES _ PROP,' 10 ').选项(数据源选项.ASYNC_COMPACT_ENABLE_OPT_KEY(),' true ').选项(HoodieWriteConfig .表名)。选项('检查点位置,检查点位置)。输出模式(输出模式.append());writer.trigger(新的处理时间(30000).start(tablePath);

3.2 DeltaStreamer Continuous模式

胡迪三角洲拖缆提供连续摄入模式,火花作业可以持续从上游消费数据写入胡迪,在该模式下,胡迪也支持异步压实,下面是在连续模式下进行异步压紧示例

spark-submit-package sorg。阿帕奇。胡迪:胡迪-公用事业-捆绑_ 2。11:0 .6 .0 \-类组织。阿帕奇。胡迪。公用事业。三角洲拖缆。hoodietel流光\-表类型merge _ ON _ READ \-目标-基路径胡迪_基_路径\-目标-表胡迪_表\-源-类组织。阿帕奇。胡迪。公用事业。来源。jsondfssource \-source-ordering-field ts \-schemaprovider是另一种异步执行指定压紧的方式,示例如下

胡迪: trips-compact ionrun-tablename table _ name-parallelism compalism-compact ioninstantinstantinstant time.

3.3 Hudi CLI

胡迪还提供了独立工具来异步执行指定压实,示例如下

spark-submit-package sorg。阿帕奇。胡迪:胡迪-公用事业-捆绑_ 2。11:0 .6 .0 \-类组织。阿帕奇。胡迪。公用事业。hoodiecompactor \-base-path base _ path \-表名table _ name \-即时压缩_ instant \-schema-fileHudi提供了不同的压紧方式,可根据不同应用场景部署不同压紧方式。

上述内容就是阿帕奇胡迪异步压紧部署方式有哪些,你们学到知识或技能了吗?如果还想学到更多技能或者丰富自己的知识储备,欢迎关注行业资讯频道。

内容来源网络,如有侵权,联系删除,本文地址:https://www.230890.com/zhan/102825.html

(0)

相关推荐

  • buffalo buffalo(buffalo buffalo buffalo)

    技术Buffalo 2.0如何整合spring小编给大家分享一下Buffalo 2.0如何整合spring,希望大家阅读完这篇文章之后都有所收获,下面让我们一起去探讨吧!Spring是当前最流行的轻量级容器,Buffal

    攻略 2021年12月24日
  • springboot如何使用拦截器判断是否登录

    技术springboot如何使用拦截器判断是否登录这期内容当中小编将会给大家带来有关springboot如何使用拦截器判断是否登录,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。spri

    攻略 2021年11月9日
  • 如何进行asmcmd的分析

    技术如何进行asmcmd的分析如何进行asmcmd的分析,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。在ASM实例中,所有的存储于ASM磁盘组中的文件对于操

    攻略 2021年11月30日
  • window10上登录Oracle时提示ORA-12546错误怎么办

    技术window10上登录Oracle时提示ORA-12546错误怎么办这篇文章主要介绍window10上登录Oracle时提示ORA-12546错误怎么办,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要

    2021年11月20日
  • 医保跨省转移,如何异地转移社保和医保

    技术医保跨省转移,如何异地转移社保和医保医保跨省转移手续:首先要在原参保地办理医疗保险关系注销手续,然后由本人向市社保中心提出医疗保险关系转移申请医保跨省转移;凭转出地经办机构出具的《参保(合)凭证》以及原参保地医疗保险

    生活 2021年10月31日
  • java基于NIO如何实现群聊模式

    技术java基于NIO如何实现群聊模式这篇文章将为大家详细讲解有关java基于NIO如何实现群聊模式,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。具体内容如下Clientpackage

    攻略 2021年11月23日