1樓:
3全部第一階段:熟練掌握scala語言第二階段:精通spark平臺本身提供給開發折的api
1,掌握spark中面向rdd的開發模式,掌握各種transformation和action函式的使用。
2,掌握spark中的款依賴和窄依賴,lineage機制。
3,掌握rdd的計算流程,如stage的劃分,spark應用程式提交給叢集的基礎過程和work節點基礎的工作原理。
第三階段:深入spark核心
此階段主要是通過spark框架的原始碼研讀來深入spark核心部分:
1,通過原始碼掌握spark的任務提交,
2,通過原始碼掌握spark的叢集的任務排程,
3,尤其要精通dagscheduler,taskscheduler和worker節點內部的工作的每一步細節。
第四階段:掌握spark上的核心框架的使用
spark作為雲端計算大資料時代的集大成者,在實時流式處理,圖技術,機器學習,nosql查詢等方面具有明顯的優勢,我們使用spark的時候大部分時間都是在使用其框架:
sparksql,spark streaming等
1,spark streaming是出色的實時流失處理框架,要掌握,dstream,transformation和checkpoint等。
2,spark sql是離線統計分析工具,shark已經沒落。
3,對於spark中的機器學習和graphx等要掌握其原理和用法。
第五階段:做商業級的spark專案
通過一個完整的具有代表性的spark專案來貫穿spark的方方面面,包括專案的框架設計,用到的技術的剖析,開始實現,運維等,完善掌握其中的每一個階段和細節,以後你就可以從容的面對絕大多數spark專案。
第六階段:提供spark解決方案
1,徹底掌握spark框架原始碼的每一個細節,
2,根據步同的業務場景的需要提供spark在不同場景的解決方案,
3,根據實際需要,在spark框架基礎上經行2次開發,打造自己的spark框架。
2樓:匿名使用者
試試學習spark 2.x企業級大資料專案實戰(實時統計、離線分析和實時etl)
密碼:t194
如何學習spark大資料
3樓:安徽新華電腦專修學院
主要學習spark大資料概念、 基本原理、與hadoop的區別與聯絡、spark開發環境搭建、 spark叢集、 scala開發語言、intellij idea開發工具使用、spark sql資料存取、spark streaming流式計算、spark mllib機器學習、spark graphx圖計算等內容。
大資料spark 和 hodoop 這兩個什麼情況?未來哪個會取代哪個?
大資料初學者應該怎麼學?
職場菜鳥如何升級職場精英,職場菜鳥如何變精英?
剛剛進入職場的新人,我們都是從職場的菜鳥逐漸學習,不斷提升和總結,向高人請教,從而逐漸走上職場精英的道路。在這個過程中大致分為以下三點 二 站在巨人的肩膀上才能夠走得更高更遠。三 抱著主人翁和創業者的心態來做事情。剛剛進入職場,往往是一種打工者的心態。然而在職場上始終都是業績為王,結果導向。這就需要...
菜鳥驛站如何盈利的,菜鳥驛站怎麼賺錢?
回答您好,您的問題我已經看到了,正在整理答案,請稍等一會兒哦您好,您的問題我已經看到了,正在整理答案,請稍等一會兒哦您好,您的問題我已經看到了,正在整理答案,請稍等一會兒哦您好,開菜鳥驛站是有利潤的,下面為您介紹菜鳥驛站的盈利點 7 票券 是指菜鳥驛站提供的車票 機票等預訂服務。以上就是菜鳥驛站的盈...
如何禁止菜鳥驛站代收快遞,怎樣阻止菜鳥驛站代收?
快遞未經允許直接放菜鳥驛站,讓很多人頭疼,今天我釋出一篇攻略,親測非常有效,非常有效,非常有效,重要的事情說三遍 方法一 撥打12345 市長 投訴菜鳥驛站消防隱患,因為菜鳥驛站一般都是把各種包裹混堆放,有極大的安全隱患,而消防處罰力度極大,幾萬起步都是。做生意的都懂。方法二 次日撥打12345,投...