大資料分析界的「神獸」Apache Kylin有多牛

2025-04-18 07:45:28 字數 1083 閱讀 9885

1樓:匿名使用者

在現在的大資料時代,越來越多的企業開始使用hadoop管理資料,但是現有的業務分析工具(如tableau,microstrategy等)往往存在很大的侷限,如難以水平擴充套件、無法處理超大規模資料、缺少對hadoop的支援;而利用hadoop做數蠢仿據分析依然存在諸多障礙,例如大多數分析師只習慣使用sql,hadoop難以實現快速互動式查詢等等。神獸apache kylin就是為了解決這些問題而設計的。

apache kylin,中文名麒(shen)麟(shou) 是hadoop動物園的重要成員。apache kylin是乙個開源的分散式分析引擎,最初由ebay開發貢獻至開源社群。它提供hadoop之上的sql查詢介面及緩或多維分析(olap)能力以支援大規模資料,能夠處理tb乃至pb級別的分析任務,能夠在亞秒級查詢巨大的hive表,並支援高併發。

apache kylin於2014年10月在github開源,並很快在2014年11月加入apache孵化器,於2015年11月正式畢業擾檔伍成為apache頂級專案,也成為首個完全由中國團隊設計開發的apache頂級專案。於2016年3月,apache kylin核心開發成員建立了kyligence公司,力求更好地推動專案和社群的快速發展。

2樓:匿名使用者

kylin提供了乙個原生的web介面,在這裡,使用者可以方便的建立和設定cube、管控cube構建進度,並提供sql查詢和基本的結果視覺化。

根據公開資料顯示,kylin的查詢效能不只是針對個別sql,而是對上萬種sql 的平均表現,生產環境下90%ile查詢能夠在在3s內返回。在上孫公升個月舉辦的則弊老apache kylin meetup中,來自美團、京東、等網際網絡公司分享了他們的使用情況。例如,在京東雲海的案例中,單卜孝個cube最大有8個維度,最大資料條數4億,最大儲存空間800g,30個cube共佔儲存空間4t左右。

查詢效能上,當qps在50左右,所有查詢平均在200ms以內,當qps在200左右,平均響應時間在1s以內。

目前,有越來越多的國內外公司將kylin作為大資料生產環境中的重要元件,如ebay、銀聯、、中國移動等。大家如果想了解更多社群的案例和動態,可以登入apache kylin官網或kyligence部落格進行檢視。

做大資料分析一般用什麼工具呢,大資料分析一般用什麼工具呢?

python 與用於建立自定義演算法的程式設計方法不同,python不是一種獨特的軟體,但它是很多資料科學家的首選。在最近資料科學 kdnuggets對2052名使用者進行的分析 資料科學軟體調查中,python被65.6 的受訪者列為首選工具。r 與python類似,r是很多資料科學專業人員喜愛的...

大資料,資料分析和資料探勘的區別

資料分析與資料探勘的目的不一樣,資料分析是有明確的分析群體,就是對群體進行各個維度的拆 分 組合,來找到問題的所在,而資料探勘的目標群體是不確定的,需要我們更多是是從資料的內在聯絡上去分析,從而結合業務 使用者 資料進行更多的洞察解讀。資料分析與資料探勘的思考的方式不同,一般來講,資料分析是根據客觀...

大資料分析行業前景如何

簡單的說就是海量資料同完美計算能力結合的結果,確切的說是流動互聯網 物聯網產生了海量的資料,大資料計算技術完美地解決了海量資料的收集 儲存 計算 分析的問題。網際網絡最熱職位人才報告指出,產品研發工程師 產品經理,人力資源 市場營銷 運營及資料分析是當下需求最旺盛的六類人才職位。資料分析包含不同的角度...