1 制造大數(shù)據(jù)的產(chǎn)生和研究現(xiàn)狀

1.1 制造大數(shù)據(jù)的研究現(xiàn)狀

    大數(shù)據(jù)一詞在《The Third Wave》一書中最早被提出后，在農(nóng)業(yè),、交通,、金融、醫(yī)療,、遙感等行業(yè)得到了充分的發(fā)展和應(yīng)用,，制造業(yè)也不例外,，尤其在2013年的《中國大數(shù)據(jù)技術(shù)與產(chǎn)業(yè)發(fā)展白皮書》中，明確指出在制造業(yè)采用大數(shù)據(jù)技術(shù)可以減少20%到50%的產(chǎn)品開發(fā)時間,，促進制造業(yè)的轉(zhuǎn)型升級,；在2014年的《大數(shù)據(jù)標(biāo)準(zhǔn)化白皮書》中強調(diào)必須推動大數(shù)據(jù)在大規(guī)模制造業(yè)生產(chǎn)過程中的應(yīng)用，鼓勵企業(yè)運用大數(shù)據(jù)開展個性化定制,，創(chuàng)新生產(chǎn)管理模式,，降低生產(chǎn)成本，提高企業(yè)競爭力,。

    文獻[1]提出一種基于服務(wù)的制造數(shù)據(jù)管理方法,，實現(xiàn)了產(chǎn)品研制和生產(chǎn)制造過程的有效管理；文獻[2]利用物聯(lián)網(wǎng)技術(shù)加強制造信息的管理和服務(wù),，旨在利用大數(shù)據(jù)技術(shù)構(gòu)建一個高效節(jié)能,、綠色環(huán)保的人性化工廠,；文獻[3]利用RFID技術(shù)實現(xiàn)生產(chǎn)制造過程的工人,、工序、工件,、工時的實時統(tǒng)計和分析,，便于質(zhì)量管理和追溯的目的；文獻[4]提出一套制造執(zhí)行系統(tǒng)的關(guān)鍵技術(shù)體系和實現(xiàn)框架,，為解決生產(chǎn)制造過程實時數(shù)據(jù)采集和傳輸提供了技術(shù)支持,；文獻[5]闡述了一種融合RFID和條形碼的生產(chǎn)制造過程自動識別技術(shù)；文獻[6]通過對制造單元感知實體屬性和感知設(shè)備方面的分析,，實現(xiàn)對生產(chǎn)線制造過程的實時跟蹤,、精確管理。

    綜上文獻資料,，學(xué)術(shù)界近幾年對制造領(lǐng)域的數(shù)據(jù)分析和處理進行了大量的科學(xué)研究,。隨著制造業(yè)信息化進程的推進，制造業(yè)產(chǎn)生的數(shù)據(jù)量呈爆炸式增長趨勢,，傳統(tǒng)的數(shù)據(jù)分析和挖掘算法在數(shù)據(jù)維度和規(guī)模增大時,，需要的內(nèi)存和硬件資源呈指數(shù)級增長，尤其是處理PB級別數(shù)據(jù)量時,，其時空復(fù)雜度表現(xiàn)為線性增長,，超出人們能夠忍受的正常范圍，急需更簡單有效的算法來解決當(dāng)前的問題,。本文在闡述制造大數(shù)據(jù)研究現(xiàn)狀的基礎(chǔ)上,，綜合分析其來源，給出制造大數(shù)據(jù)的定義,，并提出一種制造大數(shù)據(jù)的技術(shù)架構(gòu),，同時展開其關(guān)鍵技術(shù)的探討,。

1.2 制造大數(shù)據(jù)的產(chǎn)生

    E-works的黃培博士早在2012績效年會開幕致辭《中國制造業(yè)的大數(shù)據(jù)時代》中提到制造業(yè)處于數(shù)據(jù)爆炸的時代。車間的產(chǎn)品數(shù)據(jù),，流通階段的運營數(shù)據(jù),，客戶、廠商和合作者之間的價值鏈數(shù)據(jù),、市場的輿情數(shù)據(jù),、行業(yè)競爭對手的數(shù)據(jù)、國家政策信息以及PDM,、MES,、ERP、CRM,、SCM,、CAD/M/E、CAPP等軟件和RFID射頻識別,、物聯(lián)網(wǎng),、傳感器、電子標(biāo)簽,、互聯(lián)網(wǎng)+等技術(shù)在制造業(yè)的廣泛應(yīng)用,，促進了制造模式的創(chuàng)新，產(chǎn)生了制造大數(shù)據(jù),。

1.3 制造大數(shù)據(jù)的概念

    目前業(yè)界對大數(shù)據(jù)的定義尚有爭議,，研究機構(gòu)Gartner認為“大數(shù)據(jù)”是在新處理模式下具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量,、高增長率和多樣化的信息資產(chǎn),；麥肯錫給出的定義是：一種在獲取、存儲,、管理,、分析方面規(guī)模巨大，超出了傳統(tǒng)軟件工具能力范圍的數(shù)據(jù)集合,，具有海量的數(shù)據(jù)規(guī)模,、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價值密度低四大特征^[7-8],，后者的觀點更能得到業(yè)界的普遍認同,。

    綜合各界對大數(shù)據(jù)的闡述，結(jié)合制造業(yè)信息化的概念及應(yīng)用^[9],，將制造大數(shù)據(jù)定義為：制造業(yè)通過網(wǎng)絡(luò)化,、數(shù)字化形成的海量異構(gòu)制造行業(yè)數(shù)據(jù)資產(chǎn)匯聚，通過信息驅(qū)動的制造行業(yè)數(shù)據(jù)資源應(yīng)用，為改造和提升制造業(yè)創(chuàng)新制造及服務(wù)能力,、促進轉(zhuǎn)型升級,、實現(xiàn)智慧制造提供了支撐^[10]。

2 制造大數(shù)據(jù)的技術(shù)架構(gòu)

2.1 制造大數(shù)據(jù)處理流程分析

    制造大數(shù)據(jù)的處理流程^[11]如圖1所示,，主要包括以下部分：(1)傳感器,，是制造大數(shù)據(jù)的主要采集工具；(2)采集中間件,，負責(zé)源數(shù)據(jù)的采集,，同時對數(shù)據(jù)預(yù)處理，消除數(shù)據(jù)不確定性,，規(guī)范化處理數(shù)據(jù),；(3)存儲中間件，制造大數(shù)據(jù)具有海量,、異構(gòu),、實時、多源的特點,，從而要求存儲設(shè)備實現(xiàn)性能和容量的線性擴展,；(4)處理中間件，數(shù)據(jù)處理離不開規(guī)則約束下的有效挖掘,，因此,，高效的人工智能,、機械學(xué)習(xí),、數(shù)據(jù)挖掘算法是基礎(chǔ)技術(shù)；(5)安全管理中間件,，制造大數(shù)據(jù)的應(yīng)用絕大部分用于車間,、工廠、企業(yè),、市場,，其數(shù)據(jù)的安全性和準(zhǔn)確性直接關(guān)系到應(yīng)用的有效性；(6)制造大數(shù)據(jù)應(yīng)用,，是制造業(yè)信息化,、網(wǎng)絡(luò)化、智能化的最終體現(xiàn),。

2.2 制造大數(shù)據(jù)技術(shù)架構(gòu)分析

    基于數(shù)據(jù)驅(qū)動的制造大數(shù)據(jù)處理流程分析,，提出如圖2所示的制造大數(shù)據(jù)技術(shù)架構(gòu)，主要包括數(shù)據(jù)采集,、預(yù)處理,、分析、應(yīng)用4個部分^[12-13]。(1)數(shù)據(jù)采集,，以傳感器為主要采集工具,，結(jié)合FRID、條碼掃描器,、生產(chǎn)和監(jiān)測設(shè)備,、PDA、人機交互,、智能終端等手段采集制造領(lǐng)域多源,、異構(gòu)數(shù)據(jù)信息，并通過互聯(lián)網(wǎng)等技術(shù)實現(xiàn)源數(shù)據(jù)的實時準(zhǔn)確傳輸,。采集的源數(shù)據(jù)歸納起來一共是結(jié)構(gòu)化,、半結(jié)構(gòu)化、非結(jié)構(gòu)化三類數(shù)據(jù),，相應(yīng)的數(shù)據(jù)說明如表1所示,。(2)數(shù)據(jù)預(yù)處理，首次采集獲得的源數(shù)據(jù)是多維異構(gòu)的,，為避免噪音或干擾項給后期分析帶來的困難,，必須執(zhí)行同構(gòu)化處理，同時將處理結(jié)果有效存儲在性能和容量都能線性擴展的分布式數(shù)據(jù)庫中,。數(shù)據(jù)預(yù)處理包括四個步驟^[14]：數(shù)據(jù)清洗,、數(shù)據(jù)交換、數(shù)據(jù)集成,、數(shù)據(jù)歸約,；(3)數(shù)據(jù)分析，在傳統(tǒng)數(shù)據(jù)挖掘的基礎(chǔ)上,，結(jié)合新興的云計算,、Hadoop、專家系統(tǒng)等對同構(gòu)數(shù)據(jù)執(zhí)行高效準(zhǔn)確地分析運算,，并用可視化技術(shù)展示結(jié)果,；(4)數(shù)據(jù)應(yīng)用，主要應(yīng)用于車間,、工廠的流程管控和優(yōu)化,，產(chǎn)品研發(fā)的決策支持，質(zhì)量檢測和故障預(yù)警,，供應(yīng)鏈優(yōu)化等方面,。

2.3 制造大數(shù)據(jù)關(guān)鍵技術(shù)分析

    制造系統(tǒng)中不僅包括制造設(shè)備軟硬件，還包括制造工藝等多維異構(gòu)數(shù)據(jù),。提高采集,、分析和處理制造數(shù)據(jù)的能力,，真實客觀地反映制造過程，是確保生產(chǎn)制造過程高效,、可靠的關(guān)鍵,。其中，云計算是基礎(chǔ),；分布式文件系統(tǒng)為其提供數(shù)據(jù)存儲架構(gòu),；分布式數(shù)據(jù)庫便于數(shù)據(jù)管理，同時提供高效的訪問速度,；MapReduce等技術(shù)對異構(gòu)數(shù)據(jù)進行分析處理,，最后利用可視化技術(shù)形象生動地呈現(xiàn)在用戶眼前，滿足用戶需求,。

    (1)云計算

    在海量制造數(shù)據(jù)面前,，如何分析、提取有效信息是企業(yè)的當(dāng)務(wù)之急,。來自公有云,、私有云和混合云之上的強大的云計算能力^[15]，是提取大數(shù)據(jù)價值的前提,。云計算的核心服務(wù)包括三種類型：SaaS,、PaaS和IaaS^[16]。

    (2)分布式技術(shù)

    分布式文件系統(tǒng)是指管理模式下的實際存儲資源,，有的與本地節(jié)點直接物理連接,，有的則通過互聯(lián)網(wǎng)與本地相連^[17]。目前常見的分布式文件系統(tǒng)有GFS,、S3,、TFS等。

    分布式數(shù)據(jù)庫的基本思想是將原來集中式關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)分散存儲到多個通過網(wǎng)絡(luò)連接的數(shù)據(jù)存儲節(jié)點上,，以獲取更大的存儲容量和更高的并發(fā)訪問量,。目前常見的分布式數(shù)據(jù)庫有BigTable、PNUTS和Dynamo等,。

    (3)MapReduce技術(shù)

    MapReduce是基于Hadoop分布式平臺下的一種計算機編程模型，適用于大規(guī)模數(shù)據(jù)集的并行計算,，它為底層程序員提供了一種快速開發(fā),、分析處理海量數(shù)據(jù)的環(huán)境，并且使這種模型下開發(fā)出來的程序能夠在一些大型的商業(yè)集群上以一種高速,、穩(wěn)定,、容錯的方式運行^[18-19]。

    (4)可視化技術(shù)

    數(shù)據(jù)可視化主要是借助于圖形化手段,，清晰有效地傳達與溝通信息,，便于非專業(yè)人士根據(jù)需要從不同的角度觀察和分析數(shù)據(jù)。如今，可視化的研究和應(yīng)用已經(jīng)覆蓋了科研界,、企業(yè)界,、社交網(wǎng)絡(luò)等多個領(lǐng)域。目前常用的可視化工具有FushionCarts,、Tableau,、Dipity等。

3 制造大數(shù)據(jù)的應(yīng)用

    (1)基于制造大數(shù)據(jù)的產(chǎn)品研發(fā)決策與優(yōu)化

    美國的福特汽車公司利用大數(shù)據(jù)分析的技術(shù),，打破公司內(nèi)部數(shù)據(jù)孤島,，通過分析外部收集的數(shù)據(jù)和內(nèi)部反饋的詳細數(shù)據(jù)，探索最佳工藝指標(biāo)和生產(chǎn)流程,，改進或幫助改變其業(yè)務(wù)模式,，對內(nèi)指導(dǎo)公司生產(chǎn)流水線，提高產(chǎn)品質(zhì)量,，對外推廣市場,，贏得較好的口碑和效益，使得福特實現(xiàn)了連續(xù)17個季度盈利,。

    (2)基于制造大數(shù)據(jù)的生產(chǎn)流程管控與優(yōu)化

    家居行業(yè)的尚品宅配利用大數(shù)據(jù)分析的技術(shù),，串聯(lián)整個產(chǎn)業(yè)鏈，實現(xiàn)了柔性生產(chǎn)和大規(guī)模定制,。通過收集樓盤,、房型數(shù)據(jù)建立房型庫，再擴展到產(chǎn)品庫,、設(shè)計庫,、解決方案庫的三位一體，形成云設(shè)計庫,?；诖耍井a(chǎn)能提高了10倍,，出錯率則從30%下降到了3%以下,，交貨周期從30天縮短到了15天以內(nèi)，實現(xiàn)了徹底的零庫存,。

    (3)基于制造大數(shù)據(jù)的價值鏈集成和綜合決策

    中國石油依托大數(shù)據(jù)技術(shù)發(fā)展其“資源,、市場、國際化”的戰(zhàn)略,。首先,，通過挖掘數(shù)據(jù)潛在價值，實現(xiàn)新的油氣增產(chǎn),；其次,，通過完善數(shù)據(jù)收集分析和監(jiān)測體系,，擴大市場份額；最后,，通過對重點資源國地緣政治,、經(jīng)濟動態(tài)的分析和把握，建立良性互動的競爭合作關(guān)系,，從而為正確實施“走出去”戰(zhàn)略,，降低海外投資風(fēng)險提供保障。

4 制造大數(shù)據(jù)的挑戰(zhàn)

    結(jié)合我國制造業(yè)的現(xiàn)狀和大數(shù)據(jù)的瓶頸,，制造大數(shù)據(jù)帶來的挑戰(zhàn)表現(xiàn)為以下幾點：

    (1)制造大數(shù)據(jù)多源異構(gòu)融合的復(fù)雜性

    制造大數(shù)據(jù)來源廣泛,，種類繁多，關(guān)系繁雜,。目前缺乏對實時,、多源、不確定數(shù)據(jù)的有效自動識別和獲取的解決方案,，致使數(shù)據(jù)質(zhì)量參差不齊,，難以實現(xiàn)低成本、低能耗,、高可靠性的目標(biāo),。如何構(gòu)建融合多源異構(gòu)數(shù)據(jù)的泛化模型是制造大數(shù)據(jù)在感知、分析和處理時面臨的巨大挑戰(zhàn),。

    (2)制造大數(shù)據(jù)團隊的核心技術(shù)和運營理念

    中國的制造業(yè)大而不強,，源于兩個因素：核心技術(shù)依賴于國外、缺乏資源整合和運作的團隊領(lǐng)導(dǎo)能力,。大數(shù)據(jù)的熱潮帶來了創(chuàng)新的思維模式和革新的信息技術(shù),，實現(xiàn)技術(shù)升級和管理升級是中國制造業(yè)面臨的迫切需求。因此,，如何培養(yǎng)一批“懂中國”,、“懂技術(shù)”、“懂管理”的本土專業(yè)人才是當(dāng)前面臨的又一大挑戰(zhàn),。

    (3)制造大數(shù)據(jù)技術(shù)有效實施的安全手段

    制造大數(shù)據(jù)自身的特點決定了其處理方式的多樣性,、靈活性和廣泛性，大量數(shù)據(jù)信息跨界傳送,，使得安全問題相伴而生,。黑客、病毒,、人為故障、自然災(zāi)害等因素都是潛在的安全隱患,。常用的數(shù)據(jù)保護措施不再適用,，如何開發(fā)出行之有效的保密手段將是下一階段的難點之一,。

5 制造大數(shù)據(jù)展望

    兩化深度融合、發(fā)展戰(zhàn)略性新興產(chǎn)業(yè)和先進制造業(yè)是保持我國制造業(yè)競爭優(yōu)勢的重要支撐,。未來十年是我國制造業(yè)依靠制造大數(shù)據(jù)技術(shù)轉(zhuǎn)型升級,，從“制造大國”走向“制造強國”的關(guān)鍵時期。通過大力推行數(shù)字化,、網(wǎng)絡(luò)化,、智能化手段，提高創(chuàng)新設(shè)計能力,，提升產(chǎn)品質(zhì)量,，主要發(fā)展以下方向：

    (1)基于制造大數(shù)據(jù)的可持續(xù)發(fā)展

    可持續(xù)生產(chǎn)發(fā)展關(guān)鍵的兩個方面是能源消耗的最小化和廢物排放最少化。因此,，制造產(chǎn)品全生命周期中對環(huán)境資源的一體化需求驅(qū)使用戶思考和使用新的決策工具,。借助于制造大數(shù)據(jù)的契機，積極推進制造業(yè)的轉(zhuǎn)型升級,，通過采集,、存儲、分析制造業(yè)的大數(shù)據(jù)有望實現(xiàn)制造業(yè)資源的浪費最小化和能源最大化利用的目標(biāo),。

    (2)基于制造大數(shù)據(jù)的智慧制造

    在制造業(yè)轉(zhuǎn)型升級過程中,，制造業(yè)正朝著數(shù)字化、信息化,、網(wǎng)絡(luò)化,、綠色化為一體的智慧制造方向前進。在未來一段時期,，基于制造大數(shù)據(jù)技術(shù)的智慧制造企業(yè)將支撐起中國制造業(yè)的可持續(xù)發(fā)展,，智慧工廠就是一個典型。在智慧工廠中,，通過人與智能設(shè)備的有機協(xié)作,，利用物聯(lián)網(wǎng)感知監(jiān)控技術(shù)加強生產(chǎn)線的可控性，最終提升企業(yè)競爭力,，促進工業(yè)增長,。

    (3)基于制造大數(shù)據(jù)的互聯(lián)網(wǎng)+協(xié)同制造

    依托互聯(lián)網(wǎng)+，制造業(yè)需要通過兩化深度融合,，利用制造大數(shù)據(jù)技術(shù)實現(xiàn)用戶,、車間、工廠,、企業(yè)等各個環(huán)節(jié)數(shù)據(jù)的快速傳遞,，構(gòu)建網(wǎng)絡(luò)化協(xié)同制造公共服務(wù)平臺，加快形成網(wǎng)絡(luò)化制造業(yè)生態(tài)體系,，實現(xiàn)產(chǎn)品全生命周期的互聯(lián),、互通,、協(xié)同，真正滿足市場客戶的個性化定制需求,，使企業(yè)實現(xiàn)從單純制造向“制造+服務(wù)”的轉(zhuǎn)型升級,，最終促進國民經(jīng)濟的發(fā)展。

參考文獻

[1] 劉威,，喬立紅,，楊建軍.基于服務(wù)的制造數(shù)據(jù)管理[J].計算機集成制造系統(tǒng)，2009(7)：1342-1348.

[2] JAMES T.Smart factories[J].Engineering and Technology,，2012,，7(6)：64-67.

[3] YAO X，DAI H,，ZHANG Z.RFID-enhanced integrated manufacturing for Job-shop floor problems[J].Icic Express Letters Part B Applications,，2011(2)：319-324.

[4] 張映鋒，趙曦濱,，孫樹棟,，等.一種基于物聯(lián)技術(shù)的制造執(zhí)行系統(tǒng)實現(xiàn)方法與關(guān)鍵技術(shù)[J].計算機集成制造系統(tǒng)，2012(12)：2634-2642.

[5] LIU W N,，ZHENG L J,，SUN D H，et al.RFID-enabled real-time production management system for Loncin motorcycle assembly line[J].International Journal of Computer Integrated Manufacturing,，2012,，25(1)：86-99.

[6] 彭煜.制造單元物聯(lián)感知關(guān)鍵技術(shù)的研究與實踐[D].武漢：武漢理工大學(xué)，2013.

[7] 王珊,，王會舉,，覃雄派，等.架構(gòu)大數(shù)據(jù):挑戰(zhàn),、現(xiàn)狀與展望[J].計算機學(xué)報,，2011(10)：1741-1752.

[8] 王元卓，靳小龍,，程學(xué)旗.網(wǎng)絡(luò)大數(shù)據(jù):現(xiàn)狀與展望[J].計算機學(xué)報,，2013(6)：1125-1138.

[9] 顧新建，張棟,，紀楊建,，等.制造業(yè)服務(wù)化和信息化融合技術(shù)[J].計算機集成制造系統(tǒng)，2010(11)：2530-2536.

[10] 陳偉興,，李少波,，黃海松.離散型制造物聯(lián)過程數(shù)據(jù)主動感知及管理模型[J].計算機集成制造系統(tǒng)，2016(1)：166-176.

[11] 張桂剛，畢婭,，李超,，等.海量物聯(lián)網(wǎng)數(shù)據(jù)安全處理模型研究[J].小型微型計算機系統(tǒng),，2013(9)：2090-2094.

[12] 孟小峰,，慈祥.大數(shù)據(jù)管理:概念、技術(shù)與挑戰(zhàn)[J].計算機研究與發(fā)展,，2013(1)：146-169.

[13] 劉智慧,，張泉靈.大數(shù)據(jù)技術(shù)研究綜述[J].浙江大學(xué)學(xué)報(工學(xué)版)，2014(6)：957-972.

[14] HUANG J,，LI Y F,，XIE M.An empirical analysis of data preprocessing for machine learning-based software cost estimation[J].Information & Software Technology，2015,，67：108-127.

[15] MELL P,，GRANCE T.The NIST definition of cloud computing[J].National Institute of Standards and Technology，2009,，53(6)：50.

[16] QI Z,，LU C，BOUTABA R.Cloud computing: state-of-the-art and research challenges[J].Journal of Internet Services & Applications,，2010,，1(1)：7-18.

[17] 周江，王偉平,，孟丹,，等.面向大數(shù)據(jù)分析的分布式文件系統(tǒng)關(guān)鍵技術(shù)[J].計算機研究與發(fā)展，2014(2)：382-394.

[18] 覃雄派,，王會舉,，杜小勇，等.大數(shù)據(jù)分析——RDBMS與MapReduce的競爭與共生[J].軟件學(xué)報,，2012(1)：32-45.

[19] XIAO Z,，XIAO Y.Achieving Accountable MapReduce in cloud computing[J].Future Generation Computer Systems，2014,，30(1)：1-13.