英特爾AI生態(tài)兩大利器，讓AI開發(fā)更快更簡單

　　 【IT168 評論】今天，大數(shù)據(jù)與人工智能已經(jīng)非常普及。像Hadoop和Spark這樣的大數(shù)據(jù)平臺，幾乎已經(jīng)成為業(yè)界最常見的，對大規(guī)模數(shù)據(jù)進(jìn)行存儲、處理和分析的平臺。但許多組織、企業(yè)的數(shù)據(jù)科學(xué)團(tuán)隊(duì)，在面向AI的實(shí)際開發(fā)過程中，仍然不免要面臨許多系統(tǒng)和平臺層面的挑戰(zhàn)。

　　英特爾在AI領(lǐng)域布局廣泛，一直致力于提供全棧的技術(shù)解決方案，除了面向不同場景的硬件外，也通過不斷完善軟件生態(tài)來支撐AI產(chǎn)業(yè)發(fā)展。在此前舉行的英特爾人工智能大會上，英特爾軟件和服務(wù)事業(yè)部高級首席工程師、大數(shù)據(jù)技術(shù)全球CTO戴金權(quán)分享了兩大軟件“利器”——BigDL和Analytics Zoo。

　　 幫助用戶構(gòu)建統(tǒng)一的大數(shù)據(jù)分析與AI平臺

　　據(jù)介紹，BigDL是一個由英特爾開發(fā)且開源的，基于Apache Spark的開源分布式深度學(xué)習(xí)框架，它可以幫助用戶直接在已有的Hadoop/Spark集群上開發(fā)深度學(xué)習(xí)工作應(yīng)用，無需特意將數(shù)據(jù)從大數(shù)據(jù)集群上拷貝到獨(dú)立的深度學(xué)習(xí)集群上進(jìn)行訓(xùn)練。也可在存儲數(shù)據(jù)的同一個集群上使用深度學(xué)習(xí)來進(jìn)行分析，重用現(xiàn)有的大數(shù)據(jù)工具(如Spark工作流)構(gòu)建大規(guī)模深度學(xué)習(xí)應(yīng)用。

　　Analytics Zoo可以說是BigDL一個擴(kuò)充，它能夠?qū)⒉煌能浖蚣?，如Spark、TensorFlow、Keras等無縫集成到一個端到端的數(shù)據(jù)處理流水線中，分布式地運(yùn)行在大規(guī)模集群上，并且對用戶透明，幫助用戶構(gòu)建統(tǒng)一的大數(shù)據(jù)分析和AI平臺。

英特爾軟件和服務(wù)事業(yè)部高級首席工程師、大數(shù)據(jù)技術(shù)全球CTO戴金權(quán)

　　戴金權(quán)表示：“(借助BigDL與Analytics Zoo)用戶能夠在現(xiàn)有的大數(shù)據(jù)集群和大數(shù)據(jù)平臺上，在數(shù)據(jù)存儲的地方直接運(yùn)行深度學(xué)習(xí)和AI應(yīng)用，也能將數(shù)據(jù)的全生命處理流程——從數(shù)據(jù)收集、處理、分析，到機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等，整合到統(tǒng)一的工作流和數(shù)據(jù)流水線當(dāng)中，這樣大大提高了開發(fā)、運(yùn)維和部署的效率。”

　　 行業(yè)用戶認(rèn)可，實(shí)際應(yīng)用效果顯著

　　寶信軟件是寶鋼股份控股的上市軟件企業(yè)，它的前身是寶鋼的自動化部門。該公司致力于推動新一代信息技術(shù)與制造技術(shù)融合發(fā)展，幫助制造企業(yè)從信息化、自動化向智慧制造邁進(jìn)。為推動智能制造發(fā)展，寶信軟件推出了具有自主知識產(chǎn)權(quán)的大數(shù)據(jù)平臺軟件xInsight，探索工業(yè)大數(shù)據(jù)如何在實(shí)際應(yīng)用場景中創(chuàng)造價值。

　　寶信軟件研發(fā)團(tuán)隊(duì)與英特爾團(tuán)隊(duì)共同合作，利用了Analytics Zoo解決方案建立了無監(jiān)督的深度學(xué)習(xí)的系統(tǒng)，開發(fā)了設(shè)備故障自動預(yù)測的驗(yàn)證模型。寶信軟件研究開發(fā)部總經(jīng)理董文生表示：“寶信與英特爾目前的合作成果，已經(jīng)把Analytics Zoo以及BigDL與xInsight大數(shù)據(jù)平臺做了集成，在我們大數(shù)據(jù)平臺上可以提供相關(guān)的方案。在智能制造領(lǐng)域，我們還將與英特爾一起合作，進(jìn)一步探索，提供更多解決方案?！?

　　此外，戴金權(quán)還分享了更案例。美的集團(tuán)與英特爾團(tuán)隊(duì)基于Analytics Zoo構(gòu)建了一個高度優(yōu)化的缺陷檢測解決方案，從而通過計(jì)算機(jī)視覺自動化地探測流水線上的產(chǎn)品缺陷。利用Analytics Zoo，研發(fā)團(tuán)隊(duì)無縫地將Spark、BigDL和TensorFlow程序統(tǒng)一到了一個集成式的流水線中。

　　世界銀行采用了英特爾的Analytics Zoo以及AWS Databricks平臺構(gòu)建圖像分類模型，Analytics Zoo將復(fù)雜的數(shù)據(jù)處理分析和模型訓(xùn)練的流水線單一化，幫助研發(fā)團(tuán)隊(duì)輕松訓(xùn)練由69類、近百萬張圖片組成的數(shù)據(jù)集，實(shí)現(xiàn)了高準(zhǔn)確性，部分?jǐn)?shù)據(jù)集還可實(shí)現(xiàn)近乎線性的擴(kuò)展。

　　超級計(jì)算公司CRAY與英特爾團(tuán)隊(duì)共同合作，成功為他們的TB級訓(xùn)練數(shù)據(jù)構(gòu)建了短期降水預(yù)測模型，同時確保了極佳的可擴(kuò)展性。借助Analytics Zoo中基于Apache Spark的可擴(kuò)展深度學(xué)習(xí)功能，數(shù)據(jù)科學(xué)家輕松構(gòu)建了復(fù)雜的工作流，充分利用了CRAY的超級計(jì)算機(jī)。

　　 最后

　　如今的深度學(xué)習(xí)和AI領(lǐng)域，優(yōu)秀的算法和框架數(shù)不勝數(shù)，用于訓(xùn)練的數(shù)據(jù)也常常能夠達(dá)到要求。但隨著應(yīng)用場景的增多，AI應(yīng)用的開發(fā)也越來越難，項(xiàng)目流程越來越復(fù)雜。英特爾推出的BigDL和Analytics Zoo，在一定程度上很好地填補(bǔ)了在AI開發(fā)流程優(yōu)化以及效率提升方面的空白，能夠幫助開發(fā)人員將更多精力集中在模型的優(yōu)化上，推動應(yīng)用落地。