Pipelinedb的實(shí)現(xiàn)原理是什么?

一、Pipelinedb的實(shí)現(xiàn)原理

數(shù)據(jù)虛擬化是PipelineDB設(shè)計(jì)的精髓，憑著這種設(shè)計(jì)，PipelineDB可以只占用較小的硬件資源實(shí)現(xiàn)高效的大數(shù)據(jù)量處理。

PipelineDB的目標(biāo)是消除許多數(shù)據(jù)傳輸中的ETL過程。原始數(shù)據(jù)流式寫入PipelineDB，被已聲明的流式查詢實(shí)時(shí)地轉(zhuǎn)換和提取，這使得它在將成型的輸出加載到數(shù)據(jù)庫前不必周期性地處理顆粒數(shù)據(jù)，前提是這些處理過程可以通過SQL定義。

在PipelineDB的設(shè)計(jì)理念中，實(shí)用性是名列前茅要素，這也是我們將其包裝為PostgreSQL插件的原因。所有數(shù)據(jù)存儲和處理都交由PostgreSQL：一個(gè)極其穩(wěn)定、成熟以及運(yùn)用廣泛的數(shù)據(jù)庫。此外，PipelineDB兼容活躍的PostgreSQL生態(tài)中的所有工具。我們沒有為PipelineDB設(shè)計(jì)特有的語法甚至是客戶端，因?yàn)樗梢院芎玫丶嫒萑魏位赑ostgreSQL開發(fā)的庫。

延伸閱讀：

二、并發(fā)鎖

在一定條件下，MyISAM也支持查詢和操作的并發(fā)進(jìn)行。
MyISAM存儲引擎有一個(gè)系統(tǒng)變量concurrent_insert，專門用以控制其并發(fā)插入的行為，其值分別可以為0、1或2。
當(dāng)concurrent_insert設(shè)置為0時(shí)，不允許并發(fā)插入。
當(dāng)concurrent_insert設(shè)置為1時(shí)，如果MyISAM允許在一個(gè)讀表的同時(shí)，另一個(gè)進(jìn)程從表尾插入記錄。這也是MySQL的默認(rèn)設(shè)置。
當(dāng)concurrent_insert設(shè)置為2時(shí)，無論MyISAM表中有沒有空洞，都允許在表尾插入記錄，都允許在表尾并發(fā)插入記錄。
可以利用MyISAM存儲引擎的并發(fā)插入特性，來解決應(yīng)用中對同一表查詢和插入鎖爭用。例如，將concurrent_insert系統(tǒng)變量為2，總是允許并發(fā)插入；同時(shí)，通過定期在系統(tǒng)空閑時(shí)段執(zhí)行OPTIONMIZE TABLE語句來整理空間碎片，收到因刪除記錄而產(chǎn)生的中間空洞。