本篇文章为大家展示了阿帕奇胡迪异步压紧部署方式有哪些,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。
对执行异步压紧的不同部署模型全面汇总。
1. Compaction
对于读取时合并表,数据使用列式镶木地板文件和行式Avro文件存储,更新被记录到增量文件,然后进行同步/异步压紧生成新版本的列式文件读取时合并表可减少数据摄入延迟,因而进行不阻塞摄入的异步压紧很有意义。
2. 异步Compaction
异步压紧会进行如下两个步骤
调度Compaction:由摄取作业完成,在这一步,胡迪扫描分区并选出待进行压紧的文件许可证,最后契约计划会写入胡迪的时间线.执行Compaction:一个单独的进程/线程将读取契约计划并对文件切片执行压紧操作。
3. 部署模型
几种执行异步压紧的方法如下
3.1 Spark Structured Streaming
在0.6.0版本,胡迪支持在火花结构拉伸作业中支持异步压实,压实在流动作业内被异步调度和执行火花,结构化作业在读取时合并表中会默认开启异步压实。
Java 语言(一种计算机语言,尤用于创建网站)语言(一种计算机语言,尤用于创建网站)代码示例如下
导入组织。阿帕奇。胡迪。datasourcewriteoptions导入组织。阿帕奇。胡迪。hoodiedatasourcehelpers导入组织。阿帕奇。胡迪。配置。hoodiecompactionconfig导入组织。阿帕奇。胡迪。配置。hoodeiewriteconfig导入组织。阿帕奇。火花。SQL。流媒体。OutPut模式;导入组织。阿帕奇。火花。SQL。流媒体。处理时间;datastreamwriterrarrow writer=stream input。writerstream().格式(' org.apache.hudi ').选项(数据源选项.OPERATION_OPT_KEY(),operationType().选项(数据源选项.表格类型.选项(数据源选项.RECORDKEY_FIELD_OPT_KEY(),' _row_key ').选项(数据源选项.PARTITIONPATH_FIELD_OPT_KEY(),' partition ').选项(数据源选项.PRECOMBINE_FIELD_OPT_KEY(),'时间戳').选项(HoodieCompactionConfig .INLINE _ COMPACT _ NUM _ DELTA _ COMMITES _ PROP,' 10 ').选项(数据源选项.ASYNC_COMPACT_ENABLE_OPT_KEY(),' true ').选项(HoodieWriteConfig .表名)。选项('检查点位置,检查点位置)。输出模式(输出模式.append());writer.trigger(新的处理时间(30000).start(tablePath);
3.2 DeltaStreamer Continuous模式
胡迪三角洲拖缆提供连续摄入模式,火花作业可以持续从上游消费数据写入胡迪,在该模式下,胡迪也支持异步压实,下面是在连续模式下进行异步压紧示例
spark-submit-package sorg。阿帕奇。胡迪:胡迪-公用事业-捆绑_ 2。11:0 .6 .0 \-类组织。阿帕奇。胡迪。公用事业。三角洲拖缆。hoodietel流光\-表类型merge _ ON _ READ \-目标-基路径胡迪_基_路径\-目标-表胡迪_表\-源-类组织。阿帕奇。胡迪。公用事业。来源。jsondfssource \-source-ordering-field ts \-schemaprovider是另一种异步执行指定压紧的方式,示例如下
胡迪: trips-compact ionrun-tablename table _ name-parallelism compalism-compact ioninstantinstantinstant time.
3.3 Hudi CLI
胡迪还提供了独立工具来异步执行指定压实,示例如下
spark-submit-package sorg。阿帕奇。胡迪:胡迪-公用事业-捆绑_ 2。11:0 .6 .0 \-类组织。阿帕奇。胡迪。公用事业。hoodiecompactor \-base-path base _ path \-表名table _ name \-即时压缩_ instant \-schema-fileHudi提供了不同的压紧方式,可根据不同应用场景部署不同压紧方式。
上述内容就是阿帕奇胡迪异步压紧部署方式有哪些,你们学到知识或技能了吗?如果还想学到更多技能或者丰富自己的知识储备,欢迎关注行业资讯频道。
内容来源网络,如有侵权,联系删除,本文地址:https://www.230890.com/zhan/102825.html