近日，Precog宣布了他們的大數(shù)據(jù)倉儲和分析服務(wù)，該服務(wù)負(fù)責(zé)處理數(shù)據(jù)的抓取、變換分析和可視化等過程，以及服務(wù)運(yùn)行所基于的基礎(chǔ)架構(gòu)。不過，這一服務(wù)也通過RESTful API預(yù)留了各種開放的訪問點(diǎn)，支持開發(fā)者和數(shù)據(jù)科學(xué)家控制整個(gè)過程。
Precog可以從各種數(shù)據(jù)源抓取輸入數(shù)據(jù)，其中包括SQL數(shù)據(jù)庫、Amazon S3、Hadoop、MongoDB、客戶端Web應(yīng)用和后端服務(wù)器等。RESTful API支持開發(fā)者從外部源（如Twitter或Facebook）、CSV文件或移動設(shè)備抓取數(shù)據(jù)。抓取的數(shù)據(jù)保存到一個(gè)叫做PrecogDB的定制數(shù)據(jù)庫中，而且我們還可以使用人群統(tǒng)計(jì)、態(tài)度、位置和其他信息使數(shù)據(jù)更為豐富。
之后，數(shù)據(jù)可以通過多種手段加以分析，比如通過一個(gè)API，或是利用客戶庫（JavaScript，PHP），或者使用Labcoat（一種支持使用Quirrel這種聲明式查詢語言進(jìn)行數(shù)據(jù)分析的IDE）。開發(fā)者可以創(chuàng)建自己的數(shù)據(jù)抓取、強(qiáng)化和分析模塊，甚至可以將這些模塊拿到市場上銷售。
Precog能夠?qū)⒄麄€(gè)過程運(yùn)行在不同的云供應(yīng)商之上——如Amazon EC2和SoftLayer——以便增加系統(tǒng)的彈性和正常運(yùn)行時(shí)間。
在InfoQ進(jìn)行的一次采訪中，Precog的CEO和創(chuàng)始人John A. De Goes解釋到：
“（系統(tǒng)的）架構(gòu)與數(shù)據(jù)庫分析有些相似，比如都包括面向列的存儲；但是其區(qū)別在于，前者支持完全異構(gòu)的、非規(guī)范化的數(shù)據(jù)，通過對Quirrel的支持，相對于使用RDBMS進(jìn)行分析，使用這種類似于“面向大數(shù)據(jù)的R”的語言，你能夠很方便地執(zhí)行很多更為高級的計(jì)算。”
PrecogDB是該平臺的核心，它是一種用Scala編寫的、面向列的數(shù)據(jù)庫，運(yùn)行在JVM上，它也為數(shù)據(jù)捕獲和分析進(jìn)行了優(yōu)化。據(jù)De Goes介紹，PrecogDB中可以保存“測量數(shù)據(jù)，如點(diǎn)擊、購買、尺寸、Twitter數(shù)據(jù)，或是收集自其他各種活動的日志信息”。他還補(bǔ)充 道，“Precog尚不能存儲大塊的非結(jié)構(gòu)化數(shù)據(jù)，盡管在生物信息學(xué)和其他一些領(lǐng)域的應(yīng)用的確有這種需求。不過這一功能已經(jīng)在我們的路線圖上了。”
至于Quirrel——這種由Precog實(shí)現(xiàn)的統(tǒng)計(jì)查詢語言，De Goes談到：“Quirrel很多方面都與R編程語言比較相似。像R一樣，Quirrel也是為高級的分析與統(tǒng)計(jì)而設(shè)計(jì)的。但與R不同的 是，Quirrel并非圖靈完備的語言，它是純聲明式的，利用它更容易高效地在大規(guī)模集群的機(jī)器中分發(fā)Quirrel查詢（這也使Quirrel比R更容 易學(xué)習(xí)）。”
PrecogDB有一些“用于常見的分析與統(tǒng)計(jì)計(jì)算的內(nèi)置例程”，它還提供了一個(gè)“細(xì)粒度的、基于能力的安全模型，支持來自移動設(shè)備或Web的應(yīng)用程序通過RESTAPI直接訪問其功能”。
chaunceyhao