Hadoop的核心是分布式存儲和計算框架。它由兩個主要組件組成:
Hadoop分布式文件系統(tǒng)(Hadoop Distributed File System,HDFS):它是一個分布式文件系統(tǒng),設(shè)計用于存儲大量的數(shù)據(jù),支持?jǐn)?shù)據(jù)的可靠性和容錯性,允許在集群中的節(jié)點(diǎn)之間進(jìn)行數(shù)據(jù)的高效共享。
Hadoop計算框架(Hadoop MapReduce):它是一個分布式計算框架,可以將計算任務(wù)分解成多個子任務(wù),并將這些子任務(wù)分配給集群中的多個節(jié)點(diǎn)進(jìn)行并行計算,從而加快計算速度。
Hadoop還包含一些其他的組件,例如Hadoop YARN(Yet Another Resource Negotiator),它是一個資源管理器,用于調(diào)度和管理集群上的應(yīng)用程序資源;Hadoop Common,它是一組共享庫和實(shí)用程序,為Hadoop生態(tài)系統(tǒng)中的各個組件提供基礎(chǔ)設(shè)施。