千鋒教育-做有情懷、有良心、有品質(zhì)的職業(yè)教育機構(gòu)

手機站
千鋒教育

千鋒學習站 | 隨時隨地免費學

千鋒教育

掃一掃進入千鋒手機站

領(lǐng)取全套視頻
千鋒教育

關(guān)注千鋒學習站小程序
隨時隨地免費學習課程

當前位置:首頁  >  技術(shù)干貨  > 大數(shù)據(jù)面試題:經(jīng)典面試題答疑(十)

大數(shù)據(jù)面試題:經(jīng)典面試題答疑(十)

來源:千鋒教育
發(fā)布人:syq
時間: 2022-06-09 10:41:00 1654742460

  1.延遲數(shù)據(jù)(allowedLateness)

  答案:延長窗口銷毀

  窗口watermark和allowedLateness之后依然遲到的流數(shù)據(jù),也是通過.sideOutputLateData(outputTag)和result.getSideOutput(outputTag)的側(cè)輸出流方式輸出的,拿到這一部分數(shù)據(jù)后用戶可以自己處理。

wps4nPq4V

  2.什么是barrier不對齊?

  答案:當還有其他輸入流的barrier還沒有到達時,會把已到達的barrier之后的數(shù)據(jù)1、2、3擱置在緩沖區(qū),等待其他流的barrier到達后才能處理。

  barrier不對齊就是指當還有其他流的barrier還沒到達時,為了不影響性能,也不用理會,直接處理barrier之后的數(shù)據(jù)。等到所有流的barrier的都到達后,就可以對該Operator做CheckPoint了。

  3.為什么要進行barrier對齊?不對齊到底行不行?

  答案:Exactly Once時必須barrier對齊,如果barrier不對齊就變成了At Least Once;

  CheckPoint的目的就是為了保存快照,如果不對齊,那么在第n次快照之前,已經(jīng)處理了一些n快照之后對應的offset之后的數(shù)據(jù),當程序從n次恢復任務時,n次快照對應的offset之后的數(shù)據(jù)還會被處理一次,所以就出現(xiàn)了重復消費。如果聽不懂沒關(guān)系,后面有案例讓您懂。

  4.相關(guān)參數(shù)配置

  答案:

wpsALVdBd

  5.Flink是如何保證Exactly-once語義的?

  答案:

  1)事務寫(有延遲):兩階段提交(Two-Phase-Commit,2PC),預寫日志(Write-Ahead-Log,WAL)

  兩階段提交:如果外部系統(tǒng)自身就支持事務(比如Kafka),可以使用2PC方式,提供百分百端到端的Exactly-Once。

  WAL:WAL方式通用性更強,適合幾乎所有外部系統(tǒng),但也不能提供百分百端到端的Exactly-Once;

  2)冪等性

  多次寫入相同數(shù)據(jù),結(jié)果是一致的的(redis,hbase等)

  更多關(guān)于大數(shù)據(jù)培訓的問題,歡迎咨詢千鋒教育在線名師,如果想要了解我們的師資、課程、項目實操的話可以點擊咨詢課程顧問,獲取試聽資格來試聽我們的課程,在線零距離接觸千鋒教育大咖名師,讓你輕松從入門到精通。

tags:
聲明:本站稿件版權(quán)均屬千鋒教育所有,未經(jīng)許可不得擅自轉(zhuǎn)載。
10年以上業(yè)內(nèi)強師集結(jié),手把手帶你蛻變精英
請您保持通訊暢通,專屬學習老師24小時內(nèi)將與您1V1溝通
免費領(lǐng)取
今日已有369人領(lǐng)取成功
劉同學 138****2860 剛剛成功領(lǐng)取
王同學 131****2015 剛剛成功領(lǐng)取
張同學 133****4652 剛剛成功領(lǐng)取
李同學 135****8607 剛剛成功領(lǐng)取
楊同學 132****5667 剛剛成功領(lǐng)取
岳同學 134****6652 剛剛成功領(lǐng)取
梁同學 157****2950 剛剛成功領(lǐng)取
劉同學 189****1015 剛剛成功領(lǐng)取
張同學 155****4678 剛剛成功領(lǐng)取
鄒同學 139****2907 剛剛成功領(lǐng)取
董同學 138****2867 剛剛成功領(lǐng)取
周同學 136****3602 剛剛成功領(lǐng)取
相關(guān)推薦HOT