spark streaming状态操作(sparkstreaming实时处理流程)

技术Spark Structured Streaming的高效处理RunOnceTrigger是怎样进行的Spark Structured Streaming的高效处理RunOnceTrigger是怎样进行的,相信很多没

Spark结构化流如何高效处理RunOnceTrigger?我相信很多没有经验的人都不知所措。为此,本文总结了问题产生的原因及解决方法。希望你能通过这篇文章解决这个问题。

传统上,当人们想到流处理时,就会想到“实时”、“24*7”或“始终开启”之类的词。这可能发生在生产中,数据只会定期到达,例如每小时或每天。在这些情况下,增量处理这些数据仍然是有益的。但是,在集群中运行24*7 Streaming作业似乎有点浪费,每天只需要少量处理就能受益。

幸运的是,在Spark版本中,通过使用结构化流的“运行一次”触发功能,您可以获得Catalyst Optimizer带来的好处以及在集群中运行空闲作业带来的成本节约。

一,Structured Streaming的Triggers

在结构化流中,触发器用于指定流查询产生结果的频率。触发触发器后,Spark将检查新数据是否可用。如果有新数据,查询将从上次触发的位置开始递增执行。如果没有新数据,流将继续休眠,直到触发下一个触发器。

结构化流的默认行为是以尽可能少的延迟运行,触发器将在最后一个触发器被触发后立即运行。对于一些低延迟需求的用例,结构化流支持ProcessingTime触发器,即查询将按照用户提供的时间间隔每分钟触发一次。

虽然这样很好,但是24*7跑是必然的。相反,RunOnce触发器只执行查询一次,然后停止查询。

启动流时会指定触发器。

import org . Apache . spark . SQL . streaming . trigger

//加载您的流式数据帧

val SDF=spark . ReadStream . format(' JSON ')。模式(我的模式)。加载('/in/path ')

//执行转换,然后编写…

sdf.writeStream.trigger(触发器。一次)。格式(“拼花”)。开始('/结束/路径')

二,RunOnce相比Batch高效之处

1,Bookkeeping

当运行执行增量更新的批处理作业时,通常需要处理哪些数据被更新,哪些应该被处理,哪些不应该被处理。结构化流已经为您完成了所有这些。在处理一般的流应用程序时,您应该只关心业务逻辑,而不是低级簿记。

2,表级原子性

大数据处理引擎最重要的特性是它如何容忍错误和失败。ETL作业可能(事实上,经常)失败。如果你的工作失败了,那么你需要确保你的工作输出被清理掉,否则在你下一次成功的工作之后,你会得到重复的或者垃圾的数据。当使用结构化流来编写基于文件的表时,结构化流会在每次成功离开后将每个作业创建的所有文件提交到日志中。当Spark重新读取该表时,它将通过日志识别哪些文件是有效的。这可以确保由故障引入的垃圾不会被下游应用程序消耗。

3,夸runs的状态操作

如果你的数据流可能会产生重复的记录,但是你想一次实现语义,那么如何在批处理中实现呢?使用结构化流,您可以使用dropDuplicates()来实现重复数据消除。配置水印足够长,可以包含几个运行的流作业,这可以确保您不会吹嘘运行过程重复数据。

4,成本节约

运行一个24*7的流作业是很浪费的。在某些情况下,数据计算中的一些延迟是可以接受的,或者数据本身将每小时或每天生成。为了获得上述结构化流的所有好处,您可能会一直人为地占用集群运行程序,但现在,由于触发器只执行一次,因此没有必要一直占用集群。

看完以上内容,你是否掌握了如何在Spark结构化流中高效处理RunOnceTrigger?如果您想学习更多技能或了解更多相关内容,请关注行业资讯频道,感谢您的阅读!

内容来源网络,如有侵权,联系删除,本文地址:https://www.230890.com/zhan/149262.html

(1)

相关推荐

  • 怎么编写Prometheus配置文件prometheus.yml

    技术怎么编写Prometheus配置文件prometheus.yml小编给大家分享一下怎么编写Prometheus配置文件prometheus.yml,希望大家阅读完这篇文章之后都有所收获,下面让我们一起去探讨吧!默认情

    攻略 2021年11月21日
  • 怎么进行一键部署linux服务器

    技术怎么进行一键部署linux服务器这篇文章将为大家详细讲解有关怎么进行一键部署linux服务器,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。今天推荐的是一款一键部署li

    攻略 2021年10月21日
  • c1驾照几年审一次,驾照c本,多久年检一次啊

    技术c1驾照几年审一次,驾照c本,多久年检一次啊驾照c本在换证时才需要年检c1驾照几年审一次。 根据《机动车驾驶证申领和使用规定》:
    第七十条 机动车驾驶人应当按照法律、行政法规的规定,定期到公安机关交通管理部门接受审

    生活 2021年10月28日
  • 整流桥KBP307-ASEMI如何测量好坏之电阻测试法

    技术整流桥KBP307-ASEMI如何测量好坏之电阻测试法 整流桥KBP307-ASEMI如何测量好坏之电阻测试法编辑-Z
    测量整流桥好坏的方法一般有两种,一种是电阻测试法,一种是压降测试法。整流桥KB

    礼包 2021年10月27日
  • C++对象模型之RTTI的实现原理是什么

    技术C++对象模型之RTTI的实现原理是什么本篇内容介绍了“C++对象模型之RTTI的实现原理是什么”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大

    攻略 2021年10月26日
  • 吵架了怎么和好,夫妻吵架你们都是怎么和好的

    技术吵架了怎么和好,夫妻吵架你们都是怎么和好的夫妻之间的打打闹闹,闹别扭吵吵嘴,这是经常事儿吵架了怎么和好。如果说夫妻二人总是相近如宾总是如意潭,平静的水没有波澜的话,这个爱情也没有什么激情。反倒是有时候两个人吵吵嘴,为

    生活 2021年10月26日