前言
對(duì)于做大數(shù)據(jù)平臺(tái)的工程師，如果等到使用者來(lái)抱怨自己維護(hù)的大數(shù)據(jù)平臺(tái)不穩(wěn)定、性能差的時(shí)候，可能就有點(diǎn)晚了，因?yàn)檫@些消息可能已經(jīng)傳到老板那里了。所以必須自己不停地跑一些測(cè)試，了解大數(shù)據(jù)平臺(tái)的狀況。有了 HiBench，這些問(wèn)題都很容易就可以解決，HiBench 內(nèi)置了主要的大數(shù)據(jù)程序，支持多種大數(shù)據(jù)產(chǎn)品。最重要的是使用特別簡(jiǎn)單，初學(xué)者可以把 HiBench 當(dāng)作學(xué)習(xí)工具，可以很快運(yùn)行起各種數(shù)據(jù)分析和機(jī)器學(xué)習(xí)大數(shù)據(jù)應(yīng)用。大數(shù)據(jù)工程師也可以用 HiBench 測(cè)試自己的大數(shù)據(jù)平臺(tái)，驗(yàn)證各種大數(shù)據(jù)產(chǎn)品的性能。
使用
HiBench 使用非常簡(jiǎn)單，只需要三步：
1. 配置，配置要測(cè)試的數(shù)據(jù)量、大數(shù)據(jù)運(yùn)行環(huán)境和路徑信息等基本參數(shù)。
2. 初始化數(shù)據(jù)，生成準(zhǔn)備要計(jì)算的數(shù)據(jù)，比如要測(cè)試 1TB 數(shù)據(jù)的排序，那么就生成 1TB 數(shù)據(jù)。
3. 執(zhí)行測(cè)試，運(yùn)行對(duì)應(yīng)的大數(shù)據(jù)計(jì)算程序。
具體初始化和執(zhí)行命令也非常簡(jiǎn)單，比如要生成數(shù)據(jù)，只需要運(yùn)行 bin 目錄下對(duì)應(yīng) workload 的 prepare.sh 就可以自動(dòng)生成配置大小的數(shù)據(jù)。
bin/workloads/micro/terasort/prepare/prepare.sh
要執(zhí)行大數(shù)據(jù)計(jì)算，運(yùn)行 run.sh 就可以了。
bin/workloads/micro/terasort/hadoop/run.sh
bin/workloads/micro/terasort/spark/run.sh
價(jià)值
HiBench 內(nèi)置了若干主要的大數(shù)據(jù)計(jì)算程序作為基準(zhǔn)測(cè)試的負(fù)載（workload）。
Sort，對(duì)數(shù)據(jù)進(jìn)行排序大數(shù)據(jù)程序。
WordCount，前面多次提到過(guò)，詞頻統(tǒng)計(jì)大數(shù)據(jù)計(jì)算程序。
TeraSort，對(duì) 1TB 數(shù)據(jù)進(jìn)行排序，最早是一項(xiàng)關(guān)于軟件和硬件的計(jì)算力的競(jìng)賽，所以很多大數(shù)據(jù)平臺(tái)和硬件廠商進(jìn)行產(chǎn)品宣傳的時(shí)候會(huì)用 TeraSort 成績(jī)作為賣(mài)點(diǎn)。
Bayes 分類(lèi)，機(jī)器學(xué)習(xí)分類(lèi)算法，用于數(shù)據(jù)分類(lèi)和預(yù)測(cè)。
k-means 聚類(lèi)，對(duì)數(shù)據(jù)集合規(guī)律進(jìn)行挖掘的算法。
邏輯回歸，數(shù)據(jù)進(jìn)行預(yù)測(cè)和回歸的算法。
SQL，包括全表掃描、聚合操作（group by）、連接操作（join）幾種典型查詢(xún) SQL。PageRank，Web 排序算法。
此外還有十幾種常用大數(shù)據(jù)計(jì)算程序，支持的大數(shù)據(jù)框架包括 MapReduce、Spark、Storm 等。
對(duì)于很多非大數(shù)據(jù)專(zhuān)業(yè)人士而言，HiBench 的價(jià)值不在于對(duì)各種大數(shù)據(jù)系統(tǒng)進(jìn)行基準(zhǔn)測(cè)試，而是學(xué)習(xí)大數(shù)據(jù)、驗(yàn)證自己大數(shù)據(jù)平臺(tái)性能的工具。
暫無(wú)評(píng)論，快來(lái)評(píng)論吧!