1. 數(shù)據(jù)傾斜
答案：避免熱點key設(shè)計，雙keyby設(shè)計
2. checkpoint優(yōu)化
答案：
1）降低Source的并發(fā)度、拉取頻率、拉取量
2）提高checkpoint發(fā)送頻率
3）提升同是處理線程數(shù)(實操)
4）提高checkpoint超時時間
3.如何保證數(shù)據(jù)質(zhì)量(數(shù)倉)？
答案：數(shù)據(jù)質(zhì)量：指我們數(shù)據(jù)加工、轉(zhuǎn)換、計算等整個流程中的數(shù)據(jù)正確性，主要體現(xiàn)在ODS層和ADS層急需要數(shù)據(jù)質(zhì)量，ODS主要判斷ODS中的數(shù)據(jù)和業(yè)務(wù)庫中的數(shù)據(jù)是否一致(條數(shù))，ADS層主要是看最終指標是否正確，也即入口和出口一定把質(zhì)量監(jiān)控好。
1）大公司就可以說是公司自研的數(shù)據(jù)質(zhì)量系統(tǒng)來保障數(shù)據(jù)質(zhì)量，保證ODS同步數(shù)據(jù)是否多少、可以配置ODS層數(shù)據(jù)量為上游數(shù)據(jù)的百分比、可以配置告警。如：業(yè)務(wù)庫訂單表今天3000萬條，但是采集到ODS層2000萬條，配置告警規(guī)則為業(yè)務(wù)庫orders/ods層orders=100%，這個時候肯定就要觸發(fā)告警，因為訂單涉及到錢，一條數(shù)據(jù)都不能丟。行為日志可以丟一些，自行根據(jù)需求設(shè)置即可。
2）小公司，就是將1步驟中的實現(xiàn)過程自己實現(xiàn)，比如第一個版本使用Shell腳本自己實現(xiàn)ODS層和ADS層數(shù)據(jù)質(zhì)量監(jiān)控的；第二版本自己寫的web項目來對數(shù)據(jù)質(zhì)量監(jiān)控，主要實現(xiàn)數(shù)據(jù)條數(shù)、同環(huán)比指標的一些監(jiān)控?；蛘呤褂瞄_源的框架：Griffin或DolphinScheduler 3.0就有數(shù)據(jù)質(zhì)量功能了。
4.女生學習大數(shù)據(jù)技術(shù)可以嗎，會不會受到歧視？
答案： 女生學習大數(shù)據(jù)技術(shù)可以嗎，會不會受到歧視? - 擁抱大數(shù)據(jù)的回答 - 知乎
5.更新大數(shù)據(jù)隨堂視頻(zookeeper-功能介紹)
答案：zookeepr-功能介紹 - 擁抱大數(shù)據(jù)的視頻 - 知乎
6.更新大數(shù)據(jù)隨堂視頻(zookeeper-集群搭建)
答案：zookeeper-集群搭建 - 擁抱大數(shù)據(jù)的視頻 - 知乎
更多關(guān)于大數(shù)據(jù)培訓的問題，歡迎咨詢千鋒教育在線名師。千鋒教育擁有多年IT培訓服務(wù)經(jīng)驗，采用全程面授高品質(zhì)、高體驗培養(yǎng)模式，擁有國內(nèi)一體化教學管理及學員服務(wù)，助力更多學員實現(xiàn)高薪夢想。
京公網(wǎng)安備 11010802030320號