Spark Streaming 窗口函數(shù)

　　理解窗口的兩個(gè)關(guān)鍵概念，窗口長(zhǎng)度(window length)和滑動(dòng)間隔(slide interval)。 窗口函數(shù)會(huì)把原始 DStream 的若干批次的數(shù)據(jù)合并成為一個(gè)新的帶窗口的DStream。其中窗口長(zhǎng)度即每次生成新 DStream 需合并的原始 DStream 個(gè)數(shù)?；瑒?dòng)間隔即合并的原始 DStream 的時(shí)間間隔。

　　window

　　根據(jù)窗口長(zhǎng)度和窗口移動(dòng)速率合并原始DStream 生成新 DStream。

　　每 2 秒生成一個(gè)窗口長(zhǎng)度為 5 秒的 Dstream val windowedDstream = dstream.countByWindow(Seconds( 5 ), Seconds( 2))

　　countByWindow

　　返回指定長(zhǎng)度窗口中的元素個(gè)數(shù)

　　每 2 秒統(tǒng)計(jì)一次近 5 秒長(zhǎng)度時(shí)間窗口的 DStream 中元素的個(gè)數(shù)

　　val windowedDstream = dstream.countByWindow(Seconds( 5 ), Seconds( 2))

　　reduceByWindow(func, windowLength, slideInterval)

　　對(duì)設(shè)定窗口的 DStream 做 reduce 操作，類似 RDD 的 reduce 操作，只是增加了時(shí)間窗口維度。

　　每 2 秒合并一次近 5 秒長(zhǎng)度時(shí)間窗口的 DStream 中元素用“-”分隔

　　val windowedDstream = dstream.reduceByWindow(_ + "-" + _, Seconds( 5 ), Seconds( 2))

　　reduceByKeyAndWindow(func, windowLength, slideInterval, [numTasks])

　　根據(jù) Key 和 Window 來(lái)做 Reduce 聚合操作，在上述 reduceByWindow 的基礎(chǔ)上增加了 Key 維度，func 是相同 Key 的 value 值的聚合操作函數(shù)。數(shù)據(jù)源的 DStream 中的元素格式必須為 (k, v) 形式，windowLength 和 slideInterval同樣是用于確定一個(gè)窗口 Dstream 作為數(shù)據(jù)源。numTasks 是一個(gè)可選的并發(fā)數(shù)參數(shù)。

　　每 2 秒根據(jù) Key 聚合一次窗口長(zhǎng)度為 5 的 DStream 中元素，下例中聚合的方式為 value 相加。

　　val windowedDstream = pairsDstream.reduceByKeyAndWindow((a:Int , b:Int) => (a + b) , Seconds(5) , Seconds( 2 ))

　　reduceByKeyAndWindow(func, invFunc, windowLength, slideInterval, [numTasks])

　　這個(gè)方法比上一個(gè)多傳入一個(gè)函數(shù) invFunc。func 是 value 值的聚合操作函數(shù)，在數(shù)據(jù)流入的時(shí)候執(zhí)行這個(gè)操作。invFunc 是在數(shù)據(jù)流出窗口的范圍后執(zhí)行的操作。

　　每 2 秒根據(jù) Key 聚合一次窗口長(zhǎng)度為 5 的 DStream 中元素，聚合的方式為 value 相加。

　　invFunc：假設(shè) invFunc 的參數(shù)如下例為 a 和 b，那么 a 是上個(gè) window 經(jīng)過 func 操作后的結(jié)果，b 為此次 window 與上次 window 在時(shí)間上交叉的元素經(jīng)過 func 操作后結(jié)果。

　　val windowedDstream = pairsDstream.reduceByKeyAndWindow((a: Int, b:Int ) => (a + b) , (a:Int, b: Int) => (a - b) , Seconds(5) , Seconds( 2 ))

　　countByValueAndWindow(windowLength, slideInterval, [numTasks])

　　統(tǒng)計(jì)時(shí)間窗口中元素值相同的元素個(gè)數(shù)，類似于 RDD 的 countByValue 操作，在這個(gè)基礎(chǔ)上增加了時(shí)間窗口維度。同樣，數(shù)據(jù)源的 DStream 中的元素格式必須為 (k, v) 形式，返回的 DStream 格式為 (K, Long)。

　　每 2 秒根據(jù) Key 聚合一次窗口長(zhǎng)度為 5 的 DStream 中元素，下例中聚合的方式為 value 相加 val windowedDstream = pairsDstream.countByValueAndWindow(Seconds( 5 ), Seconds( 2))

　　更多關(guān)于前端培訓(xùn)的問題，歡迎咨詢千鋒教育在線名師。千鋒教育擁有多年IT培訓(xùn)服務(wù)經(jīng)驗(yàn)，采用全程面授高品質(zhì)、高體驗(yàn)培養(yǎng)模式，擁有國(guó)內(nèi)一體化教學(xué)管理及學(xué)員服務(wù)，助力更多學(xué)員實(shí)現(xiàn)高薪夢(mèng)想。