Spark Streaming 窗口函數(shù)

　　理解窗口的兩個關(guān)鍵概念，窗口長度(window length)和滑動間隔(slide interval)。 窗口函數(shù)會把原始 DStream 的若干批次的數(shù)據(jù)合并成為一個新的帶窗口的DStream。其中窗口長度即每次生成新 DStream 需合并的原始 DStream 個數(shù)?；瑒娱g隔即合并的原始 DStream 的時間間隔。

　　window

　　根據(jù)窗口長度和窗口移動速率合并原始DStream 生成新 DStream。

　　每 2 秒生成一個窗口長度為 5 秒的 Dstream val windowedDstream = dstream.countByWindow(Seconds( 5 ), Seconds( 2))

　　countByWindow

　　返回指定長度窗口中的元素個數(shù)

　　每 2 秒統(tǒng)計(jì)一次近 5 秒長度時間窗口的 DStream 中元素的個數(shù)

　　val windowedDstream = dstream.countByWindow(Seconds( 5 ), Seconds( 2))

　　reduceByWindow(func, windowLength, slideInterval)

　　對設(shè)定窗口的 DStream 做 reduce 操作，類似 RDD 的 reduce 操作，只是增加了時間窗口維度。

　　每 2 秒合并一次近 5 秒長度時間窗口的 DStream 中元素用“-”分隔

　　val windowedDstream = dstream.reduceByWindow(_ + "-" + _, Seconds( 5 ), Seconds( 2))

　　reduceByKeyAndWindow(func, windowLength, slideInterval, [numTasks])

　　根據(jù) Key 和 Window 來做 Reduce 聚合操作，在上述 reduceByWindow 的基礎(chǔ)上增加了 Key 維度，func 是相同 Key 的 value 值的聚合操作函數(shù)。數(shù)據(jù)源的 DStream 中的元素格式必須為 (k, v) 形式，windowLength 和 slideInterval同樣是用于確定一個窗口 Dstream 作為數(shù)據(jù)源。numTasks 是一個可選的并發(fā)數(shù)參數(shù)。

　　每 2 秒根據(jù) Key 聚合一次窗口長度為 5 的 DStream 中元素，下例中聚合的方式為 value 相加。

　　val windowedDstream = pairsDstream.reduceByKeyAndWindow((a:Int , b:Int) => (a + b) , Seconds(5) , Seconds( 2 ))

　　reduceByKeyAndWindow(func, invFunc, windowLength, slideInterval, [numTasks])

　　這個方法比上一個多傳入一個函數(shù) invFunc。func 是 value 值的聚合操作函數(shù)，在數(shù)據(jù)流入的時候執(zhí)行這個操作。invFunc 是在數(shù)據(jù)流出窗口的范圍后執(zhí)行的操作。

　　每 2 秒根據(jù) Key 聚合一次窗口長度為 5 的 DStream 中元素，聚合的方式為 value 相加。

　　invFunc：假設(shè) invFunc 的參數(shù)如下例為 a 和 b，那么 a 是上個 window 經(jīng)過 func 操作后的結(jié)果，b 為此次 window 與上次 window 在時間上交叉的元素經(jīng)過 func 操作后結(jié)果。

　　val windowedDstream = pairsDstream.reduceByKeyAndWindow((a: Int, b:Int ) => (a + b) , (a:Int, b: Int) => (a - b) , Seconds(5) , Seconds( 2 ))

　　countByValueAndWindow(windowLength, slideInterval, [numTasks])

　　統(tǒng)計(jì)時間窗口中元素值相同的元素個數(shù)，類似于 RDD 的 countByValue 操作，在這個基礎(chǔ)上增加了時間窗口維度。同樣，數(shù)據(jù)源的 DStream 中的元素格式必須為 (k, v) 形式，返回的 DStream 格式為 (K, Long)。

　　每 2 秒根據(jù) Key 聚合一次窗口長度為 5 的 DStream 中元素，下例中聚合的方式為 value 相加 val windowedDstream = pairsDstream.countByValueAndWindow(Seconds( 5 ), Seconds( 2))

　　更多關(guān)于前端培訓(xùn)的問題，歡迎咨詢千鋒教育在線名師。千鋒教育擁有多年IT培訓(xùn)服務(wù)經(jīng)驗(yàn)，采用全程面授高品質(zhì)、高體驗(yàn)培養(yǎng)模式，擁有國內(nèi)一體化教學(xué)管理及學(xué)員服務(wù)，助力更多學(xué)員實(shí)現(xiàn)高薪夢想。