學(xué)習(xí)大數(shù)據(jù)是比較復(fù)雜的，涉及到很多技術(shù)層面的知識。大數(shù)據(jù)技術(shù)學(xué)什么課程總體來說可以分為三大階段：離線數(shù)倉階段、實時倉庫階段和實踐項目階段。每一個階段需要掌握的能力、技術(shù)點以及勝任的職位將在下文中為大家詳細闡述。
第一階段：離線數(shù)倉(7周)
1.掌握能力
掌握企業(yè)級基建環(huán)境部署、Hive和Spark數(shù)據(jù)開發(fā)、數(shù)據(jù)倉庫搭建、數(shù)據(jù)抽取、數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)加載、數(shù)據(jù)應(yīng)用和京東離線ETL。
2.技術(shù)點
Java、MySQL、Maven、Git、OpenResty、Linux、Shell、HDFS、YARN、Zookeeper、MapReduce、Scala、Python、SparkCore、Hive、SparkSQL、Presto、Sqoop、DataX、Flume、CDH、數(shù)倉架構(gòu)、維度建模、SuperSet、Azkaban、Airflow等。掌握企業(yè)級基建環(huán)境部署、Hive和Spark數(shù)據(jù)開發(fā)、數(shù)據(jù)倉庫搭建、數(shù)據(jù)抽取、數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)加載、數(shù)據(jù)應(yīng)用和京東離線ETL。
3.勝任職位
離線數(shù)據(jù)工程師、數(shù)據(jù)倉庫工程師、ETL工程師、數(shù)據(jù)采集工程師、數(shù)據(jù)支持工程師、BI商業(yè)分析師、數(shù)據(jù)可視化工程師、Hadoop工程師、Spark工程師。
第二階段：實時倉庫(5周)
1.掌握能力
掌握流數(shù)據(jù)接入、基于Flink實時數(shù)據(jù)開發(fā)、流批一體數(shù)據(jù)倉庫開發(fā)、數(shù)據(jù)湖開發(fā)、實時ETL、實時監(jiān)控系統(tǒng)和京東實時數(shù)據(jù)開發(fā)。
2.技術(shù)點
Kafka、Structured Streaming、Hudi、Canal、Flink、ClickHouse、HBase、Phoenix、Elasticsearch、Redis。
3.勝任職位
實時工程師、Flink工程師、實時數(shù)據(jù)倉庫工程師、實時ETL工程師、Spark工程師。
第三階段：實時倉庫(4周)
1.掌握能力
掌握企業(yè)項目開發(fā)流程、用戶畫像開發(fā)、企業(yè)級推薦系統(tǒng)開發(fā)、數(shù)據(jù)治理、基于生產(chǎn)環(huán)境項目部署和京東項目性能調(diào)優(yōu)。
2.技術(shù)點
數(shù)據(jù)采集與監(jiān)控平臺、準實時數(shù)據(jù)倉庫、用戶畫像、推薦系統(tǒng)、基于Flink的實時數(shù)據(jù)倉庫、元數(shù)據(jù)管理與數(shù)據(jù)治理。
3.勝任職位
數(shù)據(jù)服務(wù)工程師、離線數(shù)據(jù)倉庫開發(fā)工程師、BI商業(yè)分析師、實時數(shù)據(jù)倉庫工程師、實時監(jiān)控系統(tǒng)工程師、ETL工程師、數(shù)據(jù)可視化工程師、數(shù)據(jù)治理工程師、高級數(shù)據(jù)開發(fā)工程師、推薦工程、數(shù)據(jù)平臺工程師、數(shù)據(jù)架構(gòu)師。
以上就是大數(shù)據(jù)技術(shù)學(xué)什么課程的解答，千鋒設(shè)有大數(shù)據(jù)人才共建班，千鋒好程序員大數(shù)據(jù)+數(shù)據(jù)智能，與京東云大廠合作共建大數(shù)據(jù)技術(shù)領(lǐng)域的實戰(zhàn)型前瞻深度課程。對大廠熱門技術(shù)及項目進行系統(tǒng)、深度的研發(fā)和建設(shè)，形成獨特的教研壁壘。如果你想了解大數(shù)據(jù)培訓(xùn)課程，歡迎咨詢千鋒教育！
京公網(wǎng)安備 11010802030320號