Storm 是一個(gè)類似Hadoop MapReduce的系統(tǒng)， 用戶按照指定的接口實(shí)現(xiàn)一個(gè)任務(wù)，然后將這個(gè)任務(wù)遞交給JStorm系統(tǒng)，Jstorm將這個(gè)任務(wù)跑起來，并且按7 * 24小時(shí)運(yùn)行起來，一旦中間一個(gè)worker 發(fā)生意外故障， 調(diào)度器立即分配一個(gè)新的worker替換這個(gè)失效的worker，

阿里類似Hadoop MapReduce的系統(tǒng)：jstorm

。因此，從應(yīng)用的角度，JStorm 應(yīng)用是一種遵守某種編程規(guī)范的分布式應(yīng)用。從系統(tǒng)角度， JStorm一套類似MapReduce的調(diào)度系統(tǒng)。 從數(shù)據(jù)的角度， 是一套基于流水線的消息處理機(jī)制。實(shí)時(shí)計(jì)算現(xiàn)在是大數(shù)據(jù)領(lǐng)域中最火爆的一個(gè)方向，因?yàn)槿藗儗?duì)數(shù)據(jù)的要求越來越高，實(shí)時(shí)性要求也越來越快，傳統(tǒng)的 Hadoop Map Reduce，逐漸滿足不了需求，因此在這個(gè)領(lǐng)域需求不斷。

特點(diǎn)：

    在Storm和JStorm出現(xiàn)以前，市面上出現(xiàn)很多實(shí)時(shí)計(jì)算引擎，但自storm和JStorm出現(xiàn)后，基本上可以說一統(tǒng)江湖,其優(yōu)點(diǎn):

    開發(fā)非常迅速:接口簡單，容易上手，只要遵守Topology，Spout， Bolt的編程規(guī)范即可開發(fā)出一個(gè)擴(kuò)展性極好的應(yīng)用，底層rpc，worker之間冗余，數(shù)據(jù)分流之類的動(dòng)作完全不用考慮。

    擴(kuò)展性極好:當(dāng)一級(jí)處理單元速度，直接配置一下并發(fā)數(shù)，即可線性擴(kuò)展性能

    健壯:當(dāng)worker失效或機(jī)器出現(xiàn)故障時(shí)， 自動(dòng)分配新的worker替換失效worker

    數(shù)據(jù)準(zhǔn)確性: 可以采用Acker機(jī)制，保證數(shù)據(jù)不丟失，

電腦資料

《阿里類似Hadoop MapReduce的系統(tǒng)：jstorm》(http://www.lotusphilosophies.com)。 如果對(duì)精度有更多一步要求，采用事務(wù)機(jī)制，保證數(shù)據(jù)準(zhǔn)確。

    應(yīng)用場(chǎng)景：

    JStorm處理數(shù)據(jù)的方式是基于消息的流水線處理， 因此特別適合無狀態(tài)計(jì)算，也就是計(jì)算單元的依賴的數(shù)據(jù)全部在接受的消息中可以找到， 并且最好一個(gè)數(shù)據(jù)流不依賴另外一個(gè)數(shù)據(jù)流。

    日志分析:從日志中分析出特定的數(shù)據(jù)，并將分析的結(jié)果存入外部存儲(chǔ)器如數(shù)據(jù)庫。目前，主流日志分析技術(shù)就使用JStorm或Storm

    管道系統(tǒng)： 將一個(gè)數(shù)據(jù)從一個(gè)系統(tǒng)傳輸?shù)搅硗庖粋�(gè)系統(tǒng)， 比如將數(shù)據(jù)庫同步到Hadoop

    消息轉(zhuǎn)化器： 將接受到的消息按照某種格式進(jìn)行轉(zhuǎn)化，存儲(chǔ)到另外一個(gè)系統(tǒng)如消息中間件

    統(tǒng)計(jì)分析器： 從日志或消息中，提煉出某個(gè)字段，然后做count或sum計(jì)算，最后將統(tǒng)計(jì)值存入外部存儲(chǔ)器。中間處理過程可能更復(fù)雜。

    項(xiàng)目主頁：http://www.open-open.com/lib/view/home/1393491704037