python大數(shù)據(jù)處理方向?qū)W習路線
時間:2019-06-24 00:00:00
來源:信盈達
作者:信盈達
Python的學習,知識涵蓋極為廣泛,對不同應(yīng)用目標的學習,進階的路線有很大的差異。下面分享一下python大數(shù)據(jù)處理方向的學習路線,希望對大家有所幫助。
1、Python基礎(chǔ)學習
(1)Python語句
學習python的運算符和表達式,聲明語句,基本的輸入輸出語句、注釋語句、流程控制語句
(2)函數(shù)、模塊和包
函數(shù)的定義和使用,模塊的導入,多模塊和包聲明
(3)數(shù)據(jù)結(jié)構(gòu)
元組,列表,字典,集合的抽象與使用
(4)面向?qū)ο?/span>
類定義、對象的構(gòu)建和實例化、子類繼承和方法重寫、異常類的使用
(5)正則表達
字符串匹配和過濾,數(shù)據(jù)的搜尋和識別
(6)文件操作
文件和目錄的新建與查找,文件內(nèi)容的讀取與寫入
2、大數(shù)據(jù)進階學習
(1)Linux系統(tǒng)及網(wǎng)絡(luò)服務(wù)
Linux操作系統(tǒng)命令行環(huán)境,網(wǎng)絡(luò)服務(wù)配置
(2)Hadoop核心組件
MapReduce和HDFSGoogleHadoop的概念,Hive數(shù)據(jù)倉庫操作,HBase存儲設(shè)計,Pig計算,Sqoop數(shù)據(jù)遷移,Oozie、Azkaban工作流
(3)Spark技術(shù)
Spark大數(shù)據(jù)處理Spark的特點與應(yīng)用場景,PythonSpark程序開發(fā),GraphX架構(gòu)
3、大數(shù)據(jù)高級學習
(1)SparkMLlib與機器學習
機器學習分類及算法,MLlib算法庫
(2)Storm實時開發(fā)框架
Storm的開發(fā)環(huán)境與生產(chǎn)環(huán)境,拓撲與流分組,spout和bolt類
(3)Storm的輔助框架
Zookeeper分布式服務(wù)框架,storm-starter項目管理,trident實時計算抽象
(4)大數(shù)據(jù)架構(gòu)設(shè)計
flume數(shù)據(jù)采集+kafka數(shù)據(jù)緩沖接入+storm流式計算+mysql分析結(jié)果持久化存儲
以上就是python大數(shù)據(jù)處理方向的學習路線。