python大數據處理方向學習路線
時間:2019-06-24 00:00:00
來源:信盈達
作者:信盈達
Python的學習,知識涵蓋極為廣泛,對不同應用目標的學習,進階的路線有很大的差異。下面分享一下python大數據處理方向的學習路線,希望對大家有所幫助。
1、Python基礎學習
(1)Python語句
學習python的運算符和表達式,聲明語句,基本的輸入輸出語句、注釋語句、流程控制語句
(2)函數、模塊和包
函數的定義和使用,模塊的導入,多模塊和包聲明
(3)數據結構
元組,列表,字典,集合的抽象與使用
(4)面向對象
類定義、對象的構建和實例化、子類繼承和方法重寫、異常類的使用
(5)正則表達
字符串匹配和過濾,數據的搜尋和識別
(6)文件操作
文件和目錄的新建與查找,文件內容的讀取與寫入
2、大數據進階學習
(1)Linux系統及網絡服務
Linux操作系統命令行環境,網絡服務配置
(2)Hadoop核心組件
MapReduce和HDFSGoogleHadoop的概念,Hive數據倉庫操作,HBase存儲設計,Pig計算,Sqoop數據遷移,Oozie、Azkaban工作流
(3)Spark技術
Spark大數據處理Spark的特點與應用場景,PythonSpark程序開發,GraphX架構
3、大數據高級學習
(1)SparkMLlib與機器學習
機器學習分類及算法,MLlib算法庫
(2)Storm實時開發框架
Storm的開發環境與生產環境,拓撲與流分組,spout和bolt類
(3)Storm的輔助框架
Zookeeper分布式服務框架,storm-starter項目管理,trident實時計算抽象
(4)大數據架構設計
flume數據采集+kafka數據緩沖接入+storm流式計算+mysql分析結果持久化存儲
以上就是python大數據處理方向的學習路線。