php可以使用hadoop嗎

 今天小編給大家分享的是php可以使用hadoop嗎，相信很多人都不太了解，為了讓大家更加了解，所以給大家總結(jié)了以下內(nèi)容，一起往下看吧。一定會有所收獲的哦。

Hadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)，用戶可以在不了解分布式底層細節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進行高速運算和存儲。

HP是一種通用開源腳本語言。語法吸收了C語言、Java和Perl的特點，利于學習，使用廣泛，主要適用于Web開發(fā)領(lǐng)域。PHP 獨特的語法混合了C、Java、Perl以及PHP自創(chuàng)的語法。它可以比CGI或者Perl更快速地執(zhí)行動態(tài)網(wǎng)頁。

雖然Hadoop是用java寫的，但是Hadoop提供了Hadoop流，Hadoop流提供一個API,，允許用戶使用任何語言編寫map函數(shù)和reduce函數(shù)。  

Hadoop流動關(guān)鍵是，它使用UNIX標準流作為程序與Hadoop之間的接口。因此，任何程序只要可以從標準輸入流中讀取數(shù)據(jù)，并且可以把數(shù)據(jù)寫入標準輸出流中，那么就可以通過Hadoop流使用任何語言編寫MapReduce程序的map函數(shù)和reduce函數(shù)。

例如：

bin/hadoop jar contrib/streaming/hadoop-streaming-0.20.203.0.jar -mapper /usr/local/hadoop/mapper.php -reducer /usr/local/hadoop/reducer.php -input test/* -output out4

Hadoop流引入的包：hadoop-streaming-0.20.203.0.jar,Hadoop根目錄下是沒有hadoop-streaming.jar的，因為streaming是一個contrib，所以要去contrib下面找，以hadoop-0.20.2為例，它在這里：

-input：指明輸入hdfs文件的路徑

-output：指明輸出hdfs文件的路徑

-mapper：指明map函數(shù)

-reducer：指明reduce函數(shù)

mapper函數(shù)

mapper.php文件，寫入如下代碼：

#!/usr/local/php/bin/php
<?php
$word2count = array();
// input comes from STDIN (standard input)
// You can this code :$stdin = fopen(“php://stdin”, “r”);
while (($line = fgets(STDIN)) !== false) {
    // remove leading and trailing whitespace and lowercase
    $line = strtolower(trim($line));
    // split the line into words while removing any empty string
    $words = preg_split('/\W/', $line, 0, PREG_SPLIT_NO_EMPTY);
    // increase counters
    foreach ($words as $word) {
        $word2count[$word] += 1;
    }
}
// write the results to STDOUT (standard output)
// what we output here will be the input for the
// Reduce step, i.e. the input for reducer.py
foreach ($word2count as $word => $count) {
    // tab-delimited
    echo $word, chr(9), $count, PHP_EOL;
}
?>

關(guān)于php可以使用hadoop嗎就分享到這里了，希望以上內(nèi)容可以對大家有一定的參考價值，可以學以致用。如果喜歡本篇文章，不妨把它分享出去讓更多的人看到。