HBase系列常見面試題匯總---怎樣合理設(shè)置HBase RowKey 2022-08-12
Rowkey 是一個二進制碼流，建議越短越好，一般不超過 16 個字節(jié)，主要是出于以下的考慮：數(shù)據(jù)的持久化文件 HFile 中是按照 KeyValue 存儲的，...詳情>
HBase系列常見面試題匯總---給一個場景HBase的RowKey設(shè)計 2022-08-12
你的題目和描述不一致，你的描述是在說ID-Mapping的問題嗎，這和HBase行鍵設(shè)計是兩個領(lǐng)域的問題。先說第一個問題HBase行鍵設(shè)計。加鹽(隨機前綴...詳情>
HDFS 機架感知詳解 2022-08-12
互聯(lián)網(wǎng)公司的 Hadoop 集群一般都會比較大，幾百臺服務(wù)器會分布在不同的機架上，甚至在不同的機房。出于保證數(shù)據(jù)安全性和數(shù)據(jù)傳輸?shù)母咝缘钠?..詳情>
Spark repartition和coalesce的區(qū)別 2022-08-12
repartition只是coalesce接口中shuffle為true的實現(xiàn)。不經(jīng)過 shuffle，也就是coaleasce shuffle為false，是無法增加RDD的分區(qū)數(shù)的，比如你源RD...詳情>
Spark groupByKey 和 reduceBykey 區(qū)別 2022-08-12
reduceByKey 可以接收一個 func 函數(shù)作為參數(shù)，這個函數(shù)會作用到每個分區(qū)的數(shù)據(jù)上，即分區(qū)內(nèi)部的數(shù)據(jù)先進行一輪計算，然后才進行 shuffle 將數(shù)...詳情>
Spark Streaming 窗口函數(shù) 2022-08-11
理解窗口的兩個關(guān)鍵概念，窗口長度(window length)和滑動間隔(slide interval)。 窗口函數(shù)會把原始 DStream 的若干批次的數(shù)據(jù)合并成為一個新的...詳情>
Spark Structured Streaming 優(yōu)勢 2022-08-11
增量查詢模型(Incremental query model)：Structured Streaming 將會在新增的流式數(shù)據(jù)上不斷執(zhí)行增量查詢，同時代碼的寫法和批處理 API (基于 ...詳情>
大數(shù)據(jù)是干什么的？學(xué)完大數(shù)據(jù)有什么用 2022-07-29
大數(shù)據(jù)是干什么的？大數(shù)據(jù)是單臺計算機無法處理或在規(guī)定時間內(nèi)無法處理的一組數(shù)據(jù)。大數(shù)據(jù)是一種信息資產(chǎn)。接下來給大家分享一些大數(shù)據(jù)介紹及...詳情>
純小白去學(xué)大數(shù)據(jù)好學(xué)嗎？小白如何學(xué)習(xí)大數(shù)據(jù) 2022-07-19
純小白去學(xué)大數(shù)據(jù)好學(xué)嗎？對于零基礎(chǔ)的學(xué)員來說，學(xué)習(xí)大數(shù)據(jù)還是有一定難度的。因此在學(xué)習(xí)前期需要打好基礎(chǔ)，尤其是JAVA語言基礎(chǔ)。如果有條件...詳情>
零基礎(chǔ)應(yīng)該如何進行大數(shù)據(jù)的學(xué)習(xí)？這四個方法不能錯過 2022-07-18
在大數(shù)據(jù)行業(yè)，這個名詞聽上去有點空洞，甚至讓我們很多想入行的小伙伴都有些迷惑，但其實一提到大數(shù)據(jù)技術(shù)，大家的第一印象就“高薪”、“高...詳情>
熱問標(biāo)簽 更多>>
在線提問
專業(yè)導(dǎo)師線上坐鎮(zhèn)，解答個性化學(xué)習(xí)難題
提交問題
京公網(wǎng)安備 11010802030320號