RDD與DataFrame區(qū)別，什么場景用RDD什么場景用DataFrame？

　　區(qū)別

　　RDD是分布式的不可變的抽象的數(shù)據(jù)集，比如，RDD[Person]是以Person為類型參數(shù)，但是，Person類的內(nèi)部結(jié)構(gòu)對于RDD而言卻是不可知的。

　　DataFrame是以RDD為基礎(chǔ)的分布式的抽象數(shù)據(jù)集，也就是分布式的Row類型的集合(每個Row對象代表一行記錄)，提供了詳細的結(jié)構(gòu)信息，即Schema信息。

　　Spark SQL可以清楚地知道該數(shù)據(jù)集中包含哪些列、每列的名稱和類型。

　　應用場景

　　RDD的使用場景： 你需要使用low-level的transformation和action來控制你的數(shù)據(jù)集；

　　你得數(shù)據(jù)集非結(jié)構(gòu)化，比如，流媒體或者文本流; 你想使用函數(shù)式編程來操作你得數(shù)據(jù)，而不是用特定領(lǐng)域語言(DSL)表達；

　　你不在乎schema，比如，當通過名字或者列處理(或訪問)數(shù)據(jù)屬性不在意列式存儲格式；

　　你放棄使用DataFrame和Dataset來優(yōu)化結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)集; DataFrame的使用場景： 你想使用豐富的語義，high-level抽象，和特定領(lǐng)域語言API，那你可DataFrame或者Dataset；

　　你處理的半結(jié)構(gòu)化數(shù)據(jù)集需要high-level表達， filter，map，aggregation，average，sum ，SQL 查詢，列式訪問和使用lambda函數(shù)，那你可DataFrame或者Dataset；

　　你想利用編譯時高度的type-safety，Catalyst優(yōu)化和Tungsten的code生成，那你可DataFrame或者Dataset；

　　你想統(tǒng)一和簡化API使用跨Spark的Library，那你可DataFrame或者Dataset；

　　如果你是一個R使用者，那你可DataFrame或者Dataset；

　　如果你是一個Python使用者，那你可DataFrame或者Dataset。