Hi Pinjie,

如果是需要 event triggered 的累計統計更新的話,可以考慮使用 SQL over aggregation
[1]。例如文件中提供的如下範例,計算當前 row  往前一小時內的加總結果。

> SELECT order_id, order_time, amount,
>   SUM(amount) OVER (
>     PARTITION BY product
>     ORDER BY order_time
>     RANGE BETWEEN INTERVAL '1' HOUR PRECEDING AND CURRENT ROW
>   ) AS one_hour_prod_amount_sumFROM Orders
>
> 但是這種作法只能根據收到的事件來觸發,無法根據處理時間。換句話說,如果 t=X 沒有數據進來的話,就不會有 t=(X-1) ~ X 的累計統計輸出。
考慮更複雜的情況需要結合事件和處理時間來觸發的話,需要透過 Process Function API 或者用 DataStream API 自定義
Trigger 的方式實現。

best regards,

[1]
https://nightlies.apache.org/flink/flink-docs-master/docs/dev/table/sql/queries/over-agg/

tison <[email protected]> 於 2021年11月23日 週二 下午2:03寫道:

> 如果你是想每时每刻(实际上开销很大,假设是每 1 分钟),那就用 Sliding Window
>
> Best,
> tison.
>
>
> tison <[email protected]> 于2021年11月23日周二 下午2:00写道:
>
> > 你的理解里就是必须整点对齐嘛,那其实是可以加个 offset 不整点对齐的捏。
> >
> > Best,
> > tison.
> >
> >
> > tison <[email protected]> 于2021年11月23日周二 下午1:59写道:
> >
> >>
> >>
> https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/dev/table/sql/queries/window-tvf/
> >>
> >> 你可以关注一下这里有个 offset 参数,这样就能用 tumbling window 了 =。=
> >>
> >> Best,
> >> tison.
> >>
> >>
> >> Pinjie Huang <[email protected]> 于2021年11月23日周二
> 下午1:18写道:
> >>
> >>> Hi Yidan,
> >>>
> >>> Tumbling window 只有
> >>> t=0~1h
> >>> t=1~2h
> >>> 等等的window
> >>>
> >>> 我现在需要在 t=X 时刻,得到 t=(X-1) ~ X 的window 比如
> >>> t=1.5h 时刻 我需要 t=0.5~1.5h 这个window
> >>>
> >>> On Tue, Nov 23, 2021 at 12:32 PM yidan zhao <[email protected]>
> wrote:
> >>>
> >>> > 其实问题还是没描述清楚,所以遇到问题究竟是啥,没发现tumbling window不行。
> >>> >
> >>> > zhiyuan su <[email protected]> 于2021年11月22日周一 下午4:59写道:
> >>> >
> >>> > > 感觉你的场景是近实时累计统计,你可以参考下window TVF 看下是否满足
> >>> > >
> >>> > >
> >>> >
> >>>
> https://flink-learning.org.cn/article/detail/a8b0895d4271bf6b770927eea214612d?tab=SQL&page=1
> >>> > > 具体在第2章第一节
> >>> > >
> >>> > > Pinjie Huang <[email protected]> 于2021年11月22日周一
> >>> > 下午3:52写道:
> >>> > >
> >>> > > > Hi friends,
> >>> > > >
> >>> > > > Flink 自带的window 有tumlbing sliding 和 session 但是似乎没有event
> triggerred。
> >>> > > >
> >>> > > > 比如说 想知道过去1小时event A trigger的次数,
> >>> > > >
> >>> > > > 如果使用tumbling window和1h window
> >>> > > > |1h | 1h |
> >>> > > > t=0
> >>> > > > 在t=1.5h时刻,读取数据,是t=1h 时刻过去一小时的数据,而不是实时的。
> >>> > > >
> >>> > > > 使用sliding window 的话需要define非常小的slide,而且依旧可能有延迟。
> >>> > > >
> >>> > > > 如果想知道实时的数据,需要基于event来更新state,如何实现event triggered window?
> >>> > > >
> >>> > >
> >>> >
> >>>
> >>>
> >>> --
> >>> Thanks,
> >>> Pinjie Huang
> >>>
> >>
>

回复