亚洲成a人片在线观看无码,公出差我和公乱高清电影

為什么學(xué)習(xí)大數(shù)據(jù)+數(shù)據(jù)智能？

大數(shù)據(jù)浪潮席卷全球，應(yīng)用領(lǐng)域?qū)拸V，產(chǎn)業(yè)規(guī)模空前
就業(yè)口徑寬廣，價(jià)值堪比黃金石油，“錢途”無量

應(yīng)用范圍廣

大數(shù)據(jù)時(shí)代，大數(shù)據(jù)幾乎沒有
行業(yè)限制

崗位天花板高

時(shí)代大趨勢(shì)，未來前景好，職場(chǎng)
雙渠道發(fā)展

崗位起薪高

大數(shù)據(jù)人才缺口大，人才薪資
待遇好

物流

醫(yī)療

科技

新能源

農(nóng)業(yè)

工業(yè)

大數(shù)據(jù)
應(yīng)用廣泛

交通

醫(yī)療

教育

信用

傳媒

金融

電信

P線

數(shù)據(jù)科學(xué)家

大數(shù)據(jù)研究員

大數(shù)據(jù)架構(gòu)師

大數(shù)據(jù)專家

M線

CTO

數(shù)據(jù)總監(jiān)

項(xiàng)目經(jīng)理

大數(shù)據(jù)高級(jí)工程師

大數(shù)據(jù)中級(jí)工程師

大數(shù)據(jù)近年來薪資變化趨勢(shì)

12.0K

2016年

18.4K

2017年

22.8K

2018年

21.9K

2019年

21.8K

2020年

24.9K

2021年

27.7K

2022年

此處數(shù)據(jù)來源職友集，樣本選取截止日期為2023年3月23日，僅作內(nèi)容展示，不作效果承諾

更多大數(shù)據(jù)行業(yè)前景

千鋒大數(shù)據(jù)課程特色優(yōu)勢(shì)

主流核心技術(shù)

理論到實(shí)踐，根據(jù)企業(yè)市場(chǎng)需求，聚焦數(shù)據(jù)倉庫+數(shù)據(jù)開發(fā)，掌握核心技術(shù)

大廠實(shí)戰(zhàn)項(xiàng)目

大廠實(shí)際業(yè)務(wù)場(chǎng)景與案例，大廠PB級(jí)項(xiàng)目 1:1 引進(jìn)課堂，多類型聯(lián)合項(xiàng)目，沉浸式學(xué)習(xí)

特色課程體系

實(shí)戰(zhàn)項(xiàng)目貫穿教學(xué)過程，理論+實(shí)戰(zhàn)+就業(yè)，一站式培養(yǎng)優(yōu)秀人才

實(shí)戰(zhàn)老師授課

千鋒總監(jiān)級(jí)導(dǎo)師授課，豐富實(shí)戰(zhàn)及教學(xué)經(jīng)驗(yàn)，實(shí)力助力學(xué)習(xí)

豐富學(xué)習(xí)資源

大廠授課平臺(tái)，線上云實(shí)驗(yàn)環(huán)境、企業(yè)級(jí)數(shù)據(jù)集、項(xiàng)目案例、畢業(yè)設(shè)計(jì)案例等

未來職場(chǎng)賦能

老學(xué)員一次學(xué)習(xí)長期職場(chǎng)賦能，定期直播、論壇、講座，多方位職場(chǎng)進(jìn)階

更多課程優(yōu)勢(shì)

大數(shù)據(jù)多元化課程滿足不同學(xué)習(xí)需求

大數(shù)據(jù)面授班

大數(shù)據(jù)時(shí)代開啟職場(chǎng)新起點(diǎn)

從0到1，小白到精英，入門+進(jìn)階課程

理論+實(shí)戰(zhàn)深入技術(shù)源碼

學(xué)前+學(xué)習(xí)+生活+求職+職后”一站式服務(wù)

全國20+校區(qū)分布，可就近學(xué)習(xí)

學(xué)完能找到什么工作

大數(shù)據(jù)職后課

跟隨時(shí)代腳步未來職場(chǎng)加油站

職場(chǎng)人拓展技術(shù)棧，增加職場(chǎng)核心競(jìng)爭(zhēng)力

數(shù)據(jù)"采、傳、存、算、用、管"企業(yè)高頻技術(shù)

有技術(shù)經(jīng)驗(yàn)者轉(zhuǎn)型、突破職場(chǎng)瓶頸

隨時(shí)隨地碎片化時(shí)間學(xué)

課程要學(xué)多久

四大核心階段系統(tǒng)掌握實(shí)用技能

第一階段 Java SE編程 & MySQL+Java EE開發(fā)（1-6周）

Java編程與MySQL關(guān)系型數(shù)據(jù)庫編程是大數(shù)據(jù)根基，正所謂“根基不牢，地動(dòng)山搖”。

本階段可以說是大數(shù)據(jù)研發(fā)人員不可或缺的一部分，內(nèi)容涵蓋基礎(chǔ)理論、實(shí)踐操作、綜合練習(xí)及項(xiàng)目等，專注于Java SE編程、MySQL關(guān)系型數(shù)據(jù)庫、JDBC、Maven、Git和SpringBoot等核心技術(shù)，為大數(shù)據(jù)的深入學(xué)習(xí)打下堅(jiān)實(shí)根基。

0基礎(chǔ)

入門，易學(xué)習(xí)，上手快

200+

核心知識(shí)點(diǎn)

10+

真場(chǎng)景實(shí)戰(zhàn)及解決方案

100+

高頻面試點(diǎn)

核心技術(shù)（部分）

Java 基礎(chǔ)語法、Java面向?qū)ο?、常用類、異常、集合、Java多線程、IO、MySQL+JDBC、Maven、Git、SpringBoot

學(xué)完收獲

1 掌握J(rèn)ava編程語法與規(guī)范、面向?qū)ο蠹跋嚓P(guān)實(shí)踐

2 掌握J(rèn)ava常用數(shù)據(jù)結(jié)構(gòu)、常用類和異常等

3 掌握多線程、數(shù)據(jù)流、并發(fā)和IO操作

4 掌握MySQL相關(guān)SQL編寫操作和JDBC

5 掌握企業(yè)級(jí)SprigBoot與Java EE開發(fā)工具等

第二階段 Hadoop生態(tài)技術(shù) & 數(shù)據(jù)倉庫開發(fā)（7-12周）

Hadoop生態(tài)技術(shù)與數(shù)據(jù)倉庫開發(fā)堪稱大數(shù)據(jù)鼻祖，占據(jù)企業(yè)大數(shù)據(jù)研發(fā)半壁江山。

本階段理論結(jié)合實(shí)踐，專注數(shù)據(jù)倉庫及周邊，覆蓋Linux、Shell、Zookeeper、Hadoop、Hive、Hue、DBeaver、Kettle、Superset、FineBI、DataX、Flume、DolphinScheduler、數(shù)據(jù)倉庫方法論等核心技術(shù)及企業(yè)級(jí)離線數(shù)據(jù)倉庫項(xiàng)目實(shí)踐。助力從0到1掌握大數(shù)據(jù)硬技術(shù)，直擊企業(yè)大數(shù)據(jù)所需。

數(shù)據(jù)倉庫

著重SQL，輔助代碼

10+

真場(chǎng)景實(shí)戰(zhàn)項(xiàng)目教學(xué)

50+

大廠顧問，復(fù)刻企業(yè)真實(shí)場(chǎng)景

500+

核心技能，攻略企業(yè)技術(shù)棧

核心技術(shù)（部分）

Linux操作系統(tǒng)、Shell腳本編程、Zookeeper、Hadoop生態(tài)技術(shù)、Hive、Hue、Kettle、FineBI && FineReport、Superset、BI分析與可視化項(xiàng)目、DataX、Flume、DolphinScheduler、數(shù)據(jù)倉庫技術(shù)、離線數(shù)據(jù)倉庫項(xiàng)目、基于ODPS電商數(shù)據(jù)倉庫項(xiàng)目、自研數(shù)據(jù)倉庫項(xiàng)目

學(xué)完收獲

1 掌握數(shù)據(jù)Hadoop生態(tài)相關(guān)技術(shù)及實(shí)踐

2 掌握數(shù)據(jù)倉庫ETL工具實(shí)踐與性能調(diào)優(yōu)

3 掌握數(shù)據(jù)分析與可視化工具的應(yīng)用

4 掌握數(shù)據(jù)倉庫方法論、建設(shè)流程和規(guī)范

5 掌握企業(yè)級(jí)數(shù)據(jù)倉庫實(shí)施流程及問題與解決方案

第三階段 Spark生態(tài)技術(shù) & 企業(yè)級(jí)項(xiàng)目開發(fā)（13-18周）

Java編程與MySQL關(guān)系型數(shù)據(jù)庫編程是大數(shù)據(jù)根基，正所謂“根基不牢，地動(dòng)山搖”。

本階段可以說是大數(shù)據(jù)研發(fā)人員不可或缺的一部分，內(nèi)容涵蓋基礎(chǔ)理論、實(shí)踐操作、綜合練習(xí)及項(xiàng)目等，專注于Java SE編程、MySQL關(guān)系型數(shù)據(jù)庫、JDBC、Maven、Git和SpringBoot等核心技術(shù)，為大數(shù)據(jù)的深入學(xué)習(xí)打下堅(jiān)實(shí)根基。

專注Spark

原理及代碼研發(fā)

強(qiáng)化SQL

編程能力

200+

大廠解決方案

企業(yè)級(jí)

項(xiàng)目實(shí)戰(zhàn)，手把手帶你學(xué)

核心技術(shù)（部分）

Scala高級(jí)編程、Kafka、Redis、ClickHouse、SparkCore核心、SparkSQL、Structured Streaming、趣頭條準(zhǔn)實(shí)時(shí)數(shù)據(jù)倉庫工程實(shí)踐、趣頭條用戶畫像工程實(shí)踐、企業(yè)級(jí)推薦系統(tǒng)工程實(shí)踐

學(xué)完收獲

1 掌握Scala高級(jí)編程技能，涵Scala面向?qū)ο?、方法函?shù)、模式匹配和隱式轉(zhuǎn)換等

2 掌握Spark Core相關(guān)核心概念和操作實(shí)踐

3 掌握SparkSQL數(shù)據(jù)抽象、SQL編寫、函數(shù)應(yīng)用和執(zhí)行流程與優(yōu)化

4 掌握Kafka、Redis和ClickHouse等相關(guān)工具概念及應(yīng)用

5 掌握企業(yè)級(jí)大數(shù)據(jù)用戶畫像和推薦系統(tǒng)等項(xiàng)目開發(fā)

第四階段 Flink批流一體技術(shù) & 實(shí)時(shí)數(shù)據(jù)開發(fā)（19-20周）

Flink批流一體生態(tài)技術(shù)與實(shí)時(shí)數(shù)據(jù)開發(fā)是大數(shù)據(jù)當(dāng)前流行和較為成熟的技術(shù)，應(yīng)用場(chǎng)景增多，企業(yè)要求不斷提高。

本階段內(nèi)容契合市場(chǎng)需求，覆蓋Flink、FlinkSQL、Canal、Maxwell、CDC、實(shí)時(shí)數(shù)據(jù)倉庫和基于阿里云的Flink等核心技能，同時(shí)也包含實(shí)時(shí)數(shù)據(jù)開發(fā)和實(shí)時(shí)數(shù)倉開發(fā)實(shí)戰(zhàn)。助力學(xué)員全面掌握大數(shù)據(jù)實(shí)時(shí)研發(fā)技術(shù)生態(tài)，直達(dá)企業(yè)級(jí)大數(shù)據(jù)全棧工程師。

專注大數(shù)據(jù)

實(shí)時(shí)研發(fā)技術(shù)Flink及生態(tài)

加強(qiáng)SQL

解決企業(yè)級(jí)實(shí)時(shí)需求

大廠顧問

聯(lián)合共研，直擊企業(yè)所需

100+企業(yè)級(jí)

高頻實(shí)時(shí)技術(shù)問題

核心技術(shù)（部分）

Flink批流技術(shù)、Canal、maxwell、FlinkSQL編程、基于阿里云大數(shù)據(jù)實(shí)時(shí)項(xiàng)目、實(shí)時(shí)數(shù)據(jù)倉庫項(xiàng)目、高頻面試題、簡(jiǎn)歷制作

學(xué)完收獲

1 掌握Flink批流一體核心技術(shù)概念與實(shí)踐

2 掌握實(shí)時(shí)數(shù)據(jù)采集工具Canal和Maxwell原理與應(yīng)用

3 掌握Flink SQL數(shù)據(jù)類型、連接器、函數(shù)、CDC與Hive整合等

4 掌握基于原生和商業(yè)Flink的實(shí)時(shí)數(shù)據(jù)開發(fā)

一鍵查看詳細(xì)課程大綱

課程全新升級(jí) 重構(gòu)業(yè)務(wù)知識(shí)體系

覆蓋場(chǎng)景
更廣全

企業(yè)級(jí)項(xiàng)目與自研項(xiàng)目結(jié)合

1:1還原大廠實(shí)際業(yè)務(wù)場(chǎng)景，數(shù)據(jù)倉庫類項(xiàng)目為主，數(shù)據(jù)開發(fā)類項(xiàng)目為輔，自研企業(yè)項(xiàng)目，錘煉企業(yè)開發(fā)實(shí)戰(zhàn)能力。

自研企業(yè)級(jí)數(shù)據(jù)倉庫項(xiàng)目

企業(yè)級(jí)推薦系統(tǒng)

數(shù)據(jù)分析與可視化項(xiàng)目

實(shí)時(shí)數(shù)據(jù)倉庫項(xiàng)目

用戶畫像工程實(shí)踐

符合
主流趨勢(shì)

與一線大廠共研主流技術(shù)

企業(yè)主流應(yīng)用技術(shù)體系，開源與商業(yè)環(huán)境共用，理論輔助實(shí)踐，強(qiáng)化場(chǎng)景應(yīng)用與優(yōu)化。

Hadoop、Spark和Flink生態(tài)及優(yōu)化

Hive、SparkSQL、Kettle和數(shù)據(jù)倉庫方法論

FineBI和Superset數(shù)據(jù)分析與可視化體系

DolphinScheduler企業(yè)級(jí)任務(wù)調(diào)度

兼具
深度廣度

大數(shù)據(jù)技術(shù)生態(tài)源碼深入

直擊Hadoop、Spark和Flink等生態(tài)技術(shù)源碼，深入剖析運(yùn)行原理和性能調(diào)優(yōu)。

HDFS存儲(chǔ)、Checkpoint和MapReduce執(zhí)行流程源碼

Hive運(yùn)行源碼、DataX任務(wù)切分源碼

Spark提交和SQL執(zhí)行流程源碼

沉浸式
實(shí)戰(zhàn)

企業(yè)級(jí)項(xiàng)目與自研項(xiàng)目結(jié)合

企業(yè)級(jí)大數(shù)據(jù)云服務(wù)與環(huán)境實(shí)踐，云主機(jī)、云數(shù)據(jù)庫、大數(shù)據(jù)云服務(wù)與部署等，直擊企業(yè)所需。

ECS云主機(jī)

云數(shù)據(jù)庫實(shí)踐

云上大數(shù)據(jù)服務(wù)

了解升級(jí)課程

引進(jìn)大廠項(xiàng)目在實(shí)戰(zhàn)中夯實(shí)大數(shù)據(jù)技能

專注大數(shù)據(jù)中、高階工程師技能

多學(xué)科協(xié)作

覆蓋前端、中臺(tái)、后臺(tái)全流程，精進(jìn)高難度大型項(xiàng)目實(shí)戰(zhàn)能力

跨平臺(tái)實(shí)施

項(xiàng)目交叉融合PC端、移動(dòng)端、智能端，各平臺(tái)功能實(shí)現(xiàn)

真場(chǎng)景實(shí)操

還原企業(yè)真實(shí)開發(fā)場(chǎng)景，學(xué)實(shí)用核心技術(shù)

全流程參與

項(xiàng)目交叉融合PC端、移動(dòng)端、智能端，各平臺(tái)功能實(shí)現(xiàn)

高標(biāo)準(zhǔn)驗(yàn)收

覆超高驗(yàn)收標(biāo)準(zhǔn)，確保項(xiàng)目無BUG，流暢運(yùn)行

數(shù)據(jù)
倉庫

團(tuán)隊(duì)
協(xié)作能力

核心
競(jìng)爭(zhēng)力

落地
實(shí)踐

溝通
表達(dá)能力

多場(chǎng)景
實(shí)戰(zhàn)

職場(chǎng)
賦能

企業(yè)業(yè)務(wù)
解決方案

理論
+實(shí)踐

源碼
深入

數(shù)據(jù)
開發(fā)

電商離線數(shù)據(jù)倉庫

基于ODPS離線數(shù)據(jù)倉庫

云學(xué)習(xí)平臺(tái)用戶畫像（三選一）

電商平臺(tái)自研項(xiàng)目（三選一）

問答大數(shù)據(jù)平臺(tái)

企業(yè)級(jí)工程推薦系統(tǒng)

電商離線數(shù)據(jù)倉庫

離線數(shù)據(jù)倉庫是大數(shù)據(jù)中的一個(gè)基礎(chǔ)性項(xiàng)目，幾乎有數(shù)據(jù)的企業(yè)都需要的一個(gè)項(xiàng)目。離線數(shù)倉有很多實(shí)現(xiàn)方式，項(xiàng)目主要基于：DataX、Hadoop、Flume、Hive、Spark、DolphinScheudler、Python、Shell等技術(shù)搭建。整個(gè)項(xiàng)目包括商城數(shù)據(jù)同步、數(shù)倉分層、數(shù)據(jù)清洗、數(shù)據(jù)ETL和數(shù)據(jù)可視化應(yīng)用等。

技術(shù)架構(gòu)

MySQL+Hadoop+DataX+Flume+Hive+Spark+DolphinScheudler+Python+Shell+Superset等

項(xiàng)目職責(zé)

1.基于電商的業(yè)務(wù)數(shù)據(jù)需求分析和指標(biāo)體系建立
2.原始數(shù)據(jù)(業(yè)務(wù)數(shù)據(jù)和日志數(shù)據(jù))探索
3.用戶、商品、訂單、訂單詳情、訂單支付、收獲地址、供應(yīng)商、時(shí)間維度、地區(qū)維度等相關(guān)業(yè)務(wù)數(shù)據(jù)全量和增量同步
4.業(yè)務(wù)數(shù)據(jù)同步任務(wù)開發(fā)、上線、測(cè)試及數(shù)據(jù)同步問題的數(shù)據(jù)補(bǔ)跑
5.用戶瀏覽、點(diǎn)擊、交互、啟動(dòng)、安裝、滑動(dòng)、輸入和搜索等相關(guān)行為數(shù)據(jù)采集和任務(wù)上線運(yùn)行
6.廣告投放外部數(shù)據(jù)采集和任務(wù)上線運(yùn)行
7.用戶、訂單、交易、營銷等主題的DWD、DWS和ADS層開發(fā)
8.維度層數(shù)據(jù)加工與開發(fā)處理
9.ADS層數(shù)據(jù)導(dǎo)出到MySQL，配置相關(guān)任務(wù)，上線運(yùn)行
10.使用Superset BI可視化工具實(shí)現(xiàn)各個(gè)主題報(bào)表配置、看板配置與看板發(fā)布

基于ODPS離線數(shù)據(jù)倉庫

當(dāng)前，一站式商業(yè)大數(shù)據(jù)服務(wù)繁多，ODPS采用抽象的作業(yè)處理框架將不同場(chǎng)景的各種計(jì)算任務(wù)統(tǒng)一在同一個(gè)平臺(tái)之上，共享安全、存儲(chǔ)、數(shù)據(jù)管理和資源調(diào)度，將不同用戶需求的各種數(shù)據(jù)處理任務(wù)提供統(tǒng)一的編程接口和界面。基于ODPS的電商大數(shù)據(jù)是將電商相關(guān)用戶、訂單、交易、營銷、商品、店鋪和活動(dòng)等業(yè)務(wù)數(shù)據(jù)和用戶行為數(shù)據(jù)進(jìn)行集成、轉(zhuǎn)換和分析等處理，最終使用QuickBI進(jìn)行BI報(bào)表展示和挖掘其它價(jià)值，輔助運(yùn)營，實(shí)現(xiàn)商城健康發(fā)展。

技術(shù)架構(gòu)

ECS、RDS、DataHub、MaxCompute、DataWorks、QuickBI

項(xiàng)目職責(zé)

1 部署一站式ODPS大數(shù)據(jù)環(huán)境
2 探索商城多種C端、B端和物流端等業(yè)務(wù)與數(shù)據(jù)，梳理相關(guān)業(yè)務(wù)指標(biāo)體系
3 ODS層建立對(duì)應(yīng)模型，應(yīng)用ODPS的數(shù)據(jù)集成模塊，將業(yè)務(wù)數(shù)據(jù)同步至ODS層
4 DWD和DIM層數(shù)據(jù)建模，將ODS層數(shù)據(jù)加工處理到DWD和DIM層
5 構(gòu)建DWS層用戶行為、商品、購物車和訂單等寬表模型，并將DWD層數(shù)據(jù)加工到對(duì)應(yīng)的寬表
6 ADS面向應(yīng)用構(gòu)建需求模型，將DWS層的數(shù)據(jù)再次加工到ADS層各個(gè)表中
7 使用QuickBI制作數(shù)據(jù)報(bào)表與可視化看板操作
8 數(shù)據(jù)質(zhì)量監(jiān)控開發(fā)和數(shù)據(jù)權(quán)限控制設(shè)置

云學(xué)習(xí)平臺(tái)用戶畫像（三選一）

學(xué)習(xí)平臺(tái)用戶畫像是基于學(xué)習(xí)平臺(tái)數(shù)據(jù)倉庫之上的項(xiàng)目，即需要先搭建學(xué)習(xí)平臺(tái)的數(shù)據(jù)倉庫，然后基于數(shù)據(jù)倉庫，再擴(kuò)展用戶、課程等畫像標(biāo)簽體系。本項(xiàng)目使用 Hadoop、Hive、Spark、DolphinScheudler、Hue 等技術(shù)構(gòu)建，主要解決畫像標(biāo)簽計(jì)算，實(shí)現(xiàn)標(biāo)簽設(shè)計(jì)、人群定位和用戶精細(xì)化運(yùn)營等。

技術(shù)架構(gòu)

Hadoop、Hive、Spark、DolphinScheudler、Hue、Shell

項(xiàng)目職責(zé)

1 用戶和課程標(biāo)簽體系建設(shè)
2 ID-Mapping打通
3 用戶基礎(chǔ)標(biāo)簽與聚合標(biāo)簽?zāi)Ｐ蜆?gòu)建與加工
4 物品基礎(chǔ)標(biāo)簽與聚合標(biāo)簽的模型構(gòu)建與加工等
5 畫像標(biāo)簽落盤與維護(hù)
6 畫像標(biāo)簽的應(yīng)用與服務(wù)

電商平臺(tái)自研項(xiàng)目（三選一）

隨著互聯(lián)網(wǎng)發(fā)展，電商累積了訂單、用戶、流量等各類數(shù)據(jù)，但數(shù)據(jù)分散在各個(gè)業(yè)務(wù)系統(tǒng)中，隨著業(yè)務(wù)發(fā)展，新主題模型不斷產(chǎn)生，數(shù)據(jù)量不斷增加，如何管理各類主題模型以及海量數(shù)據(jù)，需要對(duì)數(shù)據(jù)倉庫進(jìn)行科學(xué)架構(gòu)。另外，數(shù)據(jù)倉庫是數(shù)據(jù)挖掘技術(shù)的關(guān)鍵和基礎(chǔ)，良好的數(shù)倉結(jié)構(gòu)能夠幫助用戶快速理解現(xiàn)有數(shù)據(jù)能力，并且在當(dāng)前信息基礎(chǔ)上，對(duì)未來企業(yè)狀況做出預(yù)測(cè)。

技術(shù)架構(gòu)

MySQL、Kafka、Hadoop、Hive、Spark、ClickHouse、Superset、Hue、DolphinScheduler 或采用阿里云大數(shù)據(jù)服務(wù)

項(xiàng)目職責(zé)

1 電商業(yè)務(wù)需求討論與評(píng)審
2 業(yè)務(wù)評(píng)審、架構(gòu)評(píng)審和技術(shù)評(píng)審
3 電商相關(guān)指標(biāo)體系，用戶、訂單、交易和商品等主題劃分
4 相關(guān)類別、地域和品牌等維度層數(shù)據(jù)加工，數(shù)據(jù)倉庫各層模型構(gòu)建
5 電商業(yè)務(wù)數(shù)據(jù)同步和指標(biāo)計(jì)算的任務(wù)排期、任務(wù)測(cè)試與上線部署
6 使用BI工具進(jìn)行主題數(shù)據(jù)報(bào)表和看板制作與發(fā)布
7 企業(yè)級(jí)大屏數(shù)據(jù)抽取、加工、推送、露出全流程數(shù)據(jù)加工流轉(zhuǎn)方式

問答大數(shù)據(jù)平臺(tái)

問答系統(tǒng)近些年發(fā)展迅猛，尤其最近ChatGPT類及似產(chǎn)品流行，這將會(huì)積累海量問、答和互動(dòng)數(shù)據(jù)，需要運(yùn)用大數(shù)據(jù)技術(shù)進(jìn)行數(shù)據(jù)加工、處理和分析，從而回饋用戶更佳的答案，保持問和答等核心模塊健康良好發(fā)展。

技術(shù)架構(gòu)

MySQL、Kafka、Hadoop、Hive、Spark、ClickHouse、SuperSet、Hue、DolphinScheduler 等

項(xiàng)目職責(zé)

1 問答系統(tǒng)業(yè)務(wù)需求討論與評(píng)審
2 問答系統(tǒng)數(shù)據(jù)倉庫架構(gòu)構(gòu)建
3 問答系統(tǒng)相關(guān)指標(biāo)體系，用戶、問答和互動(dòng)等主題劃分及各層模型建設(shè)
4 業(yè)務(wù)數(shù)據(jù)和行為數(shù)據(jù)的同步與采集
5 用戶、問答、互動(dòng)和行為相關(guān)指標(biāo)的計(jì)算
6 使用可視化工具對(duì)相關(guān)指標(biāo)和數(shù)據(jù)進(jìn)行展示
7 相關(guān)任務(wù)調(diào)度與上線配置

企業(yè)級(jí)工程推薦系統(tǒng)

推薦系統(tǒng)企業(yè)工程實(shí)戰(zhàn)項(xiàng)目作為大數(shù)據(jù)基礎(chǔ)應(yīng)用的延伸，構(gòu)建于用戶畫像項(xiàng)目之上，旨在讓學(xué)員學(xué)習(xí)企業(yè)級(jí)推薦系統(tǒng)構(gòu)建的基本思路，深入講解推薦系統(tǒng)中的兩個(gè)最重要的環(huán)節(jié)召回和排序，各環(huán)節(jié)基于Spark-Mllib引入相關(guān)算法，比如召回層ItemCF,ALS兩路召回算法，融合排序?qū)右隚BDT+LR，在理解算法的同時(shí)更偏重工程實(shí)戰(zhàn)，我們會(huì)從原始數(shù)據(jù)的特征抽取，轉(zhuǎn)換，算法模型設(shè)計(jì)到編程實(shí)現(xiàn)做深入的講解，同時(shí)也會(huì)對(duì)算法模型的跨平臺(tái)部署方案做實(shí)際的案例，讓學(xué)員學(xué)習(xí)到算法模型是如何在實(shí)際工程中部署運(yùn)用的。

技術(shù)架構(gòu)

本項(xiàng)目工程組件： Spark MLlib + SpringBoot + Redis +HBase+ Milvus
本項(xiàng)目涉及算法: Word2Vec + ItemCF+ALS+GBDT+LR+BloomFilter
監(jiān)控架構(gòu)依然采用：Prometheus + Grafana + IM
本項(xiàng)目的組件監(jiān)控：推薦API+HBase[Metric]+Prometheus + Grafana +Supervisor+ IM

項(xiàng)目職責(zé)

1 項(xiàng)目協(xié)同過濾模型
2 基于ItemCF模型的召回，將召回的特征數(shù)據(jù)桶方式存儲(chǔ)HBase中
3 基于ALS模型的召回，將召回的特征數(shù)據(jù)以HBase的桶方式裝載到HBase中
4 物品的基礎(chǔ)特征向量加工和存儲(chǔ)HBase
5 用戶基礎(chǔ)特征向量加工處理與存儲(chǔ)HBase
6 物品和用戶嵌入向量的加工處理與存儲(chǔ)HBase
7 推薦系統(tǒng)排序階段解析，LR和GBDT模型構(gòu)建、訓(xùn)練和測(cè)試
8 PMML跨平臺(tái)構(gòu)建，Jpmml-SparkML的源碼研發(fā)，實(shí)現(xiàn)自定義Transformer，PMML模型文件保存
9 多路召回模型特征向量進(jìn)行Union，并存儲(chǔ)HBase中
10 PMML模型文件加載，應(yīng)用線上數(shù)據(jù)，對(duì)外開發(fā)推薦服務(wù)API
11 基于Promethuse和Grafana架構(gòu)的推薦API服務(wù)監(jiān)控

查看更多項(xiàng)目

導(dǎo)師一點(diǎn)勝庸師百言

千鋒好程序員師資篩選自干鋒百人教研團(tuán)隊(duì)及
互聯(lián)網(wǎng)一線大廠核心技術(shù)人才，5維嚴(yán)選錄取率僅1%

免費(fèi)學(xué)習(xí)大數(shù)據(jù)視頻課程

立即學(xué)習(xí)