Hadoop的核心是分布式存儲和計算框架。它由兩個主要組件組成:
Hadoop分布式文件系統(tǒng)(Hadoop Distributed File System,HDFS):它是一個分布式文件系統(tǒng),設計用于存儲大量的數(shù)據(jù),支持數(shù)據(jù)的可靠性和容錯性,允許在集群中的節(jié)點之間進行數(shù)據(jù)的高效共享。
Hadoop計算框架(Hadoop MapReduce):它是一個分布式計算框架,可以將計算任務分解成多個子任務,并將這些子任務分配給集群中的多個節(jié)點進行并行計算,從而加快計算速度。
Hadoop還包含一些其他的組件,例如Hadoop YARN(Yet Another Resource Negotiator),它是一個資源管理器,用于調(diào)度和管理集群上的應用程序資源;Hadoop Common,它是一組共享庫和實用程序,為Hadoop生態(tài)系統(tǒng)中的各個組件提供基礎設施。