摘要：隨著信息技術(shù)和計(jì)算機(jī)技術(shù)的飛速發(fā)展,，大量的語音、數(shù)據(jù),、圖像,、圖形等信息需要計(jì)算平臺進(jìn)行實(shí)時(shí)感知和處理，用戶對高性能,、高帶寬,、抗惡劣環(huán)境計(jì)算平臺也提出了越來越高的要求。本文提出一種基于VPX總線設(shè)計(jì)的高級計(jì)算平臺,，為高性能,、高帶寬、適應(yīng)惡劣環(huán)境計(jì)算平臺的實(shí)現(xiàn)提供了技術(shù)路線和方法,。
關(guān)鍵詞：VPX總線高級計(jì)算平臺多CPU高速互聯(lián)智能平臺管理軟件
第一作者介紹：陳志列（1963年）,，男，高級工程師,，研究方向?yàn)樘胤N計(jì)算機(jī)
　　　　　　　　　　　AdvancedComputingPlatformBasedonVPXBus
Abstract:Alongwiththerapiddevelopmentoftheinformationtechnologyandthecomputertechnology,alargequantityofinformationsuchasvoice,data,imageandgraphics,etcrequiresreal-timeperceptionandprocessing;higherrequirementsareraisedforthehighperformance,highbandwidthandhushenvironmentresistantcomputingplatform.AnadvancedcomputingplatformbasedonVPXbusisdiscussedinthepaper,whichprovidesthetechnologyroutesandmethodstorealizethehigh-performance,highbandwidthandhushenvironmentresistantcomputingplatform.
Keywords:VPXbus;advancedcomputingplatform;versatileCPUhigh-speedinterconnection;intelligentplatformmanagementsoftware

　　引言
　　隨著信息技術(shù)和計(jì)算機(jī)技術(shù)的飛速發(fā)展,，未來社會(huì)將是一個(gè)高效的數(shù)字化社會(huì)，大量的語音,、數(shù)據(jù),、圖像、圖形等信息需要計(jì)算平臺進(jìn)行實(shí)時(shí)感知和處理,。而伴隨著計(jì)算機(jī)在各個(gè)領(lǐng)域的深入,，特別是在航空航天控制、海底勘探考察,、地震火山的災(zāi)難檢測,、大規(guī)模導(dǎo)彈發(fā)射控制、雷達(dá)監(jiān)測及電子對抗,、以及地外星球科考等高端測控領(lǐng)域,，用戶對高性能、抗惡劣環(huán)境計(jì)算平臺也提出了越來越高的要求,，使得傳統(tǒng)的并行總線正在逐漸退出歷史舞臺,，出現(xiàn)了新一代的串行總線。但在惡劣環(huán)境適應(yīng)性方面,，商用總線技術(shù)在堅(jiān)固性方面不能長期適應(yīng)惡劣工作環(huán)境的需求,，而在接口的模塊化、動(dòng)態(tài)重組等方面也難以滿足應(yīng)用需要，其可靠性不高且維修極不方便,。并且近年來CPCI總線工控機(jī)和VME總線工控機(jī)處在一個(gè)共同競爭和發(fā)展的并存狀況[1],，由于先入為主的緣故，VME總線在高性能的實(shí)時(shí)工業(yè)應(yīng)用領(lǐng)域一直處于主導(dǎo)地位,。但CPCI后來居上,，其開放性的架構(gòu)體系和通用的操作系統(tǒng)等優(yōu)勢，使CPCI總線自誕生起在PC機(jī),、工控機(jī)和軍用裝備等各個(gè)領(lǐng)域受到廣泛關(guān)注并被普遍采用,。遺憾的是，在這個(gè)以帶寬為生命的海量數(shù)據(jù)時(shí)代,，目前這兩種總線均顯得力不從心,。迫于生存和競爭，VITA于2006年首次推出VPX總線技術(shù)標(biāo)準(zhǔn)（VITA46）和REDI加固增強(qiáng)的機(jī)械設(shè)計(jì)規(guī)范（VITA48）,，不僅在帶寬上突破Gigabytes傳輸,，而且非常好的解決了加固，高速互聯(lián),，管理等各個(gè)方面的問題,，可以廣泛的應(yīng)用在航空、航天,、雷達(dá),、海底勘探、通信等領(lǐng)域,。
　　VPX總線的發(fā)展歷史
　　VPX（VersatileProtocolSwitch多協(xié)議交換）是由VITA（VMEbusInternationalTradeAssociation）組織制定的用以滿足惡劣環(huán)境下高可靠性,、高帶寬要求的下一代高級計(jì)算平臺標(biāo)準(zhǔn)。由原先的VME（VersaModuleEurocard）總線升級而來,，并且兼容了XMC,、FibreChannel、PCI-Express,、RapidIO,、Hypertransport等高速串行總線協(xié)議,。誕生于近30年前的VME總線是一種通用的計(jì)算機(jī)總線,，結(jié)合了Motorola公司Versa總線的電氣規(guī)范和Eurocard機(jī)械封裝標(biāo)準(zhǔn)，是一種開放式架構(gòu),，支持并獨(dú)立于多處理器計(jì)算機(jī)系統(tǒng),。1984年，VITA成立,，致力于推動(dòng)VME總線的市場和發(fā)展,。1987年，VME總線被IEEE正式接納為萬用背板總線（VersatileBackPlaneBus）標(biāo)準(zhǔn),，標(biāo)準(zhǔn)號為ANSI/IEEE-1014,，總線接口為兩個(gè)96芯的針孔連接器,，數(shù)據(jù)寬度為32位，帶寬為40MB/s,，市場名稱為VME32,。伴隨電子技術(shù)的發(fā)展，VITA先后多次推出升級版本,，如VME64,、VME64x、VME320,。其中,，VME64數(shù)據(jù)寬度從原先的32位擴(kuò)展為64位，把P1/J1和P2/J2連接器從三行96針改為5行160針,，帶寬為80MB/s,，增加了總線鎖定周期和第一插槽探測功能，并加入了對熱插拔的支持,；VME64x相對于VME64,，在P1/J1和P2/J2之間加入了一個(gè)P0/J0連接器，傳輸協(xié)議從四沿傳輸變?yōu)殡p沿信號傳輸,，數(shù)據(jù)速率可達(dá)到160MB/s,；其后VME320在VME64x基礎(chǔ)上進(jìn)一步采用雙沿源同步傳輸協(xié)議（2eSST），可將理論帶寬提高到320MB/s,，但用戶對VME的帶寬進(jìn)展速度不滿意,，此外，設(shè)備性能的大幅提高也帶來了發(fā)熱量迅速增加和可靠性降低等派生問題,。近幾年,，為了滿足更大帶寬和更強(qiáng)制冷能力的要求，VITA先后推出VXS（VITA41）,、VPX（VITA46）和REDI（VITA48）等一系列新的模塊標(biāo)準(zhǔn),。其中，VPX全部采用的MultiGigRT2連接器具有連接緊密,、插入損耗小和誤碼率底等優(yōu)點(diǎn),；通過結(jié)合REDI構(gòu)成的VPX-REDI平臺可以滿足苛刻環(huán)境和大帶寬的需求。
VPX定義了新型的高速連接器標(biāo)準(zhǔn),，每個(gè)模塊最多支持728個(gè)信號引腳,，所有連接器均支持高速差分信號，能夠支持PCI-Express,，10GEthernet,，SerialRapidIO等協(xié)議；定義了風(fēng)冷，傳導(dǎo),，水冷等5種加固散熱結(jié)構(gòu),；定義了中央交換，分布式交換的背板結(jié)構(gòu),；定義了模擬信號和光信號的模塊背板互聯(lián)標(biāo)準(zhǔn),；定義了電源標(biāo)準(zhǔn)；定義了基于IPMI的智能管理,，非常好的解決了加固,，高速互聯(lián)，管理等各個(gè)方面的問題,。

　　基于VPX總線的高級計(jì)算平臺需要解決的關(guān)鍵問題
　　基于VPX總線的高級計(jì)算平臺,，需要研究多協(xié)議高速互連、高性能CPU硬件平臺,、高可靠性保護(hù),、智能管理、冗余設(shè)計(jì),、傳導(dǎo)散熱結(jié)構(gòu)等關(guān)鍵技術(shù),。要解決如下關(guān)鍵技術(shù)問題：1）VPX高級計(jì)算平臺的環(huán)境適應(yīng)性問題，平臺需滿足對航空航天控制,、導(dǎo)彈/火箭發(fā)射,、海底勘探、災(zāi)難監(jiān)測等抗沖擊能力強(qiáng),、溫度變化劇烈下的環(huán)境應(yīng)用要求,，因此需要解決VPX高級計(jì)算平臺的連接可靠性、環(huán)境適應(yīng)性的難題,；2）VPX高級計(jì)算平臺的多核CPU的AMP,、SMP處理問題，平臺的處理板均采用多核處理器,，而產(chǎn)品在應(yīng)用中需要采用對稱多處理模式,、非對稱多處理模式或者兩者結(jié)合的方式，這就要求對多核處理做深入研究,，實(shí)現(xiàn)SMP和AMP方式,，以滿足實(shí)際應(yīng)用的需求；3）多CPU高速互聯(lián)總線協(xié)同處理問題,，平臺需要支持PCI-E/SerialRapidIO/Ethernet互聯(lián),，需要能支持多塊處理板通過互聯(lián)總線實(shí)現(xiàn)多CPU處理,，實(shí)現(xiàn)同步或異步的協(xié)同處理機(jī)制,，在VPX智能平臺系統(tǒng)板上還需實(shí)現(xiàn)SerialRapidIO協(xié)議棧，解決SerialRapidIO互聯(lián)，多CPU啟動(dòng)機(jī)制,，多CPU配置等技術(shù)難題,；4）高度靈活的XMC/PMC擴(kuò)展問題，平臺的處理板需要支持XMC/PMC擴(kuò)展,，支持各種存儲(chǔ)板,、DSP板、交換板等,，因XMC走線多為差分信號,，對信號質(zhì)量提出了很高的要求，同時(shí)為了加強(qiáng)環(huán)境適應(yīng)性,，處理板均有三層鋁合金保護(hù)殼,，布局布線均有諸多限制；5）智能平臺管理控制問題,，平臺每塊單板包括一個(gè)單獨(dú)的處理模塊（VMC）,，用來實(shí)現(xiàn)IPMI功能對整個(gè)機(jī)箱進(jìn)行管理，此模塊獨(dú)立于主處理模塊,，實(shí)現(xiàn)溫度自動(dòng)監(jiān)控,，模塊上下電等功能，需要軟硬件協(xié)調(diào)配合才能實(shí)現(xiàn)實(shí)時(shí)的風(fēng)扇監(jiān)控,、溫度監(jiān)控,、電壓監(jiān)控等功能；6）多層次數(shù)據(jù)總線設(shè)計(jì)問題,，平臺支持四個(gè)層次的通道：采用全網(wǎng)拓?fù)浣Y(jié)構(gòu)的PCI-Express/Serial-RapidIO/10GEthernet的數(shù)據(jù)通道,，采用雙星拓?fù)浣Y(jié)構(gòu)的千兆以太控制通道，基于I2C的IPMI冗余總線以及通用總線,，它們之間的交互以及協(xié)同處理需要統(tǒng)一考慮,。
　　基于VPX總線的高級計(jì)算平臺的架構(gòu)[2]
　　本論文設(shè)計(jì)的基于VPX總線的高級計(jì)算平臺參照VPX系列協(xié)議VITA46、VITA48規(guī)范,、VITA65標(biāo)準(zhǔn)來實(shí)現(xiàn),，其架構(gòu)如圖1所示包括4類通道：通用通道，IPMI通道,，數(shù)據(jù)通道和控制通道,。
通用通道實(shí)現(xiàn)總線拓?fù)洌渲邪穗娫赐ǖ捞峁┎煌档碾娫?、?fù)位通道,、模塊地址配置等。IPMI通道實(shí)現(xiàn)冗余總線拓?fù)?，?shí)現(xiàn)兩條總線型的IPMI通道,。發(fā)送方在兩個(gè)通道同時(shí)發(fā)送相同的數(shù)據(jù),，而接收方VMC接收進(jìn)程實(shí)時(shí)監(jiān)聽通道的狀態(tài)，其正常工作時(shí)使用其中的一個(gè)通道,，當(dāng)出現(xiàn)延遲或者鏈路斷開時(shí),，VMC接收方自動(dòng)切換到另一通道。數(shù)據(jù)通道提供在1-5槽實(shí)現(xiàn)全網(wǎng)狀拓?fù)湓O(shè)計(jì),，用于實(shí)現(xiàn)大數(shù)據(jù)量的高速傳輸,，其每個(gè)槽位作為一個(gè)節(jié)點(diǎn)，與其他四個(gè)槽位分別實(shí)現(xiàn)4X全雙工通信,?？刂仆ǖ劳ㄟ^第六槽交換槽實(shí)現(xiàn)雙星冗余拓?fù)洌换グ遄鳛橹醒虢粨Q單元,，每個(gè)處理槽位有兩個(gè)千兆以太網(wǎng)通道同中央交換單元互聯(lián),，中央交換單元將每個(gè)通道連接到一個(gè)交換矩陣，實(shí)現(xiàn)雙星拓?fù)浣Y(jié)構(gòu),。

　　　　　　　　　　　　　　　　　圖1VPX高級計(jì)算平臺架構(gòu)圖
　　VPX背板用來互聯(lián)各個(gè)處理模塊及后IO模塊,，交換模塊，周邊模塊,，存儲(chǔ)模塊,，提供四種通路以及SATA等用戶可自定義的通道。背板還互聯(lián)電源模塊和其它模塊,，除此之外,，背板為IPMI管理還提供了一個(gè)存儲(chǔ)單元，用于存儲(chǔ)CHMC的SDR,，SEL等信息,。本論文設(shè)計(jì)的平臺背板為6U、6槽的VPX背板,，其中5個(gè)Payload（負(fù)載）槽位,，1個(gè)網(wǎng)絡(luò)控制交換槽。5個(gè)Payload槽的數(shù)據(jù)通道（J1）進(jìn)行分布式互連,，每個(gè)槽位有4路×4的差分信號（PCI-Express或者Serial-RapidIO）,，可分為A、B,、C,、D四個(gè)通道，分別與其它4個(gè)槽位的A,、B,、C、D四個(gè)通道進(jìn)行互連,，其連接方案如圖2所示,。

　　　　　　　　　　　　　　　　　圖2背板數(shù)據(jù)通道互連框圖
　　基于VPX總線的高級計(jì)算平臺的具體設(shè)計(jì)[3]
本論文具體設(shè)計(jì)中主要介紹了基于FreescaleQorIQP40808核CPU并支持SerialRapidIO/PCI-Express交換的VPX高級計(jì)算平臺處理板,，基于MPC8377和Broadcom方案的VPX高級計(jì)算平臺交換板，VPX智能平臺管理軟件等,。
基于FreescaleQorIQP4080[4]的8核CPU的處理板
VPX高級計(jì)算平臺處理板是VPX系統(tǒng)的核心，它通過VPX背板和其他處理板或周邊板配合完成業(yè)務(wù)需求,。比如它可以通過PCI-E互聯(lián)擴(kuò)展網(wǎng)絡(luò),，存儲(chǔ)，顯示等周邊功能,，也可以通過RapidIO互聯(lián)擴(kuò)展DSP,，F(xiàn)PGA等用于處理數(shù)字信號，圖像語音處理,。除此之外,，VPX處理板提供了兩個(gè)PMC/XMC擴(kuò)展槽，可以用于擴(kuò)展1553B等軍用總線,。采用PowerPC最新的QorQ平臺,，8核CPUP4080，同時(shí)支持PCI-Express和SerialRapidIO板內(nèi)交換,，如圖3所示,。

　　　　　　　　　　　　　　　　　圖3基于FreescaleQorIQP4080的8核CPU的處理板
采用PowerPC最新的QorIQ平臺，8核CPUP4080,，支持對稱多處理和非對稱多處理,，并能實(shí)現(xiàn)一塊CPU支持多種操作系統(tǒng)，圖4為該處理板的多核方案：

　　　　　　　　　　　　　　　　　圖4多核CPU方案
　　在本論文VPX平臺上我們將同時(shí)支持Linux的SMP系統(tǒng),，VxWorks的SMP和AMP系統(tǒng),。實(shí)現(xiàn)一顆CPU多操作系統(tǒng)的配置，或某些單獨(dú)的核實(shí)現(xiàn)RAWCODE,。
　　針對多CPU高速互聯(lián)總線協(xié)同處理問題：我們采用的解決方案是通過在處理板上增加PCI-Express和Serial-RapidIO交換,，以PCI-Express交換提供周邊擴(kuò)展，以Serial-RapidIO交換實(shí)現(xiàn)多CPU協(xié)同工作,。提供啟動(dòng)Flash,，每個(gè)Flash中劃分8個(gè)區(qū)域，每個(gè)區(qū)域提供一個(gè)Bootloader和操作系統(tǒng),，并實(shí)現(xiàn)兩塊flash冗余,，用以支持AMP的多核處理。系統(tǒng)啟動(dòng)后,，由第一槽（系統(tǒng)槽）首先啟動(dòng),，其啟動(dòng)代碼對Serial-RapidIO進(jìn)行配置，配置轉(zhuǎn)發(fā)端口和路由策略,，配置成功后啟動(dòng)其他CPU的Bootloader,，啟動(dòng)其他CPU,。
　　針對多核CPU的AMP、SMP處理問題：基于P4080的VPXSBC支持SMP和AMP模式,。系統(tǒng)提供大容量的NORFlash并進(jìn)行分區(qū),。高端地址用于存放啟動(dòng)代碼，低端地址用于存放用戶數(shù)據(jù),。啟動(dòng)代碼區(qū)被分為16個(gè)部分,，為P4080中的每一個(gè)內(nèi)核提供2個(gè)可選的啟動(dòng)區(qū)域。為避免因Flash數(shù)據(jù)被破壞而無法啟動(dòng),，系統(tǒng)提供了一個(gè)ROM存放啟動(dòng)代碼,，用于系統(tǒng)恢復(fù)。
　　基于MPC8377和Broadcom方案的交換板
　　VPX高級計(jì)算平臺的交換板主要是提供控制通道的以太網(wǎng)數(shù)據(jù)交換,，我們在實(shí)現(xiàn)時(shí)采用單交換矩陣,，共劃分為兩個(gè)VLAN，每個(gè)VLAN內(nèi)包括處理板,，周邊板的一路千兆以太網(wǎng)接口,。提供二三層交換路由協(xié)議STP，RSTP,，MSTP,，RIP，OSPF,，IGMP等,，提供二三層協(xié)議處理和路由交換管理；對用戶提供CLI,，WEB,，SNMP的管理接口；提供IPMI的機(jī)架管理功能CHMC,，對VPX平臺內(nèi)的所有VMC的SDR,，SEL，F(xiàn)RU,，Sensor進(jìn)行管理,，同時(shí)提供對熱插拔的支持；支持OpenVPXSLT6-SWH-4F24T-10.4.4,，使用MPC8377CPU和Broadcom交換芯片,，支持單矩陣交換。

　　　　　　　　　　　　　　　　　圖5VPX高級計(jì)算平臺交換板框圖
　　VPX高級計(jì)算平臺的交換板實(shí)現(xiàn)框圖如圖5所示,。數(shù)據(jù)層面采用Broadcom千兆交換芯片,，提供L2表，路由表,，組播表,，ACL,，VLAN等功能進(jìn)行數(shù)據(jù)轉(zhuǎn)發(fā)，管理層面采用freescaleMPC8377處理器,，運(yùn)行各種協(xié)議,，實(shí)現(xiàn)管理接口。
　　VPX高級計(jì)算平臺管理軟件
　　圖6為VPX系統(tǒng)管理軟件的架構(gòu)[5]圖,，根據(jù)功能從上往下依次可以劃分為：系統(tǒng)管理層,、平臺管理層和系統(tǒng)驅(qū)動(dòng)層。其中系統(tǒng)管理是上層管理軟件,，向用戶提供一個(gè)系統(tǒng)管理接口,；平臺管理則是VPX系統(tǒng)管理軟件設(shè)計(jì)的核心部分,，位于VPX系統(tǒng)管理軟件架構(gòu)的中間層,，負(fù)責(zé)整個(gè)平臺管理，向上與SystemManager通信,，向下與VMC控制器進(jìn)行通信,；系統(tǒng)驅(qū)動(dòng)層包括操作系統(tǒng)移植和驅(qū)動(dòng)程序。
　　圖中中間框起來的部分為平臺管理的核心部分,，由一個(gè)MessageHandler和若干平臺管理功能模塊組成,。根據(jù)所管理范圍的不同，我們將這些管理模塊分成ChassisManagement和BoardManagement兩部分,，其中ChassisManagement包括SEL,、PEF、FRUDiscover&Control,、CoolingManagement以及PowerSupplyManagement,；BoardManagement包括SDRManagement、FRUInfornationManagement,、FRUStateManagement,、SensorManagement（FRUHealthMonitor、ThresholdSensorPolling以及Self&PayloadTest）,。平臺管理軟件在初始化的時(shí)候獲取SYS_CON*信號狀態(tài)（或者直接根據(jù)槽位號）,，如果為低則啟動(dòng)ChassisManagement功能，否則僅啟動(dòng)BoardManagement功能,。
　　為了調(diào)試和管理的方便,，本系統(tǒng)還設(shè)計(jì)了一個(gè)內(nèi)嵌的CLI接口，該CLI接口通過CHMC的調(diào)試串口同用戶交互,，可以用于本地實(shí)現(xiàn)一些簡單的查詢和操作命令,，如SEL查詢及清理、SDR和FRU信息的查詢,、Sensor列表及狀態(tài)的查詢,、FRUControl操作等,。

　　　　　　　　　　　　　　　　　圖6VPX系統(tǒng)管理軟件的架構(gòu)圖
　　針對智能平臺管理控制，每塊單板包括一個(gè)單獨(dú)的處理模塊,，用來實(shí)現(xiàn)IPMI功能對整個(gè)機(jī)箱進(jìn)行管理,，此模塊獨(dú)立于主處理模塊，實(shí)現(xiàn)溫度自動(dòng)監(jiān)控,，模塊上下電等功能,，需要軟硬件協(xié)調(diào)配合實(shí)現(xiàn)。采用脈寬調(diào)制方法由IPMI控制風(fēng)扇工作狀態(tài),，每個(gè)風(fēng)扇各自配有故障告警信號和風(fēng)速控制信號來進(jìn)行風(fēng)扇監(jiān)控,。在交換控制板、背板和節(jié)點(diǎn)板上設(shè)置溫度傳感器,，交換控制板通過IPMI接口對各發(fā)熱點(diǎn)進(jìn)行檢測來進(jìn)行溫度監(jiān)控,。交換控制板和節(jié)點(diǎn)板上電壓種類較多，一旦電壓波動(dòng)超出系統(tǒng)要求范圍,，需要交換控制板CPU進(jìn)行報(bào)警,，由IPMI接口控制觸發(fā)電壓保護(hù)電路來進(jìn)行電壓監(jiān)控保護(hù)。
　　總結(jié)
　　本設(shè)計(jì)平臺性能高,、帶寬高,、穩(wěn)定性好，抗干擾能力強(qiáng),，維護(hù)方便,，適用于惡劣工作環(huán)境。本設(shè)計(jì)平臺產(chǎn)品已在不同環(huán)境下進(jìn)行了長時(shí)間測試,，運(yùn)行穩(wěn)定可靠,，各項(xiàng)技術(shù)指標(biāo)良好。伴隨著信息與工業(yè)化不斷融合,，計(jì)算機(jī)在各個(gè)領(lǐng)域的不斷深入,，基于VPX總線的高級計(jì)算平臺必將在未來數(shù)字化社會(huì)里被廣泛應(yīng)用。

　　[參考文獻(xiàn)]

　　1,、張?zhí)炝?，張思敏，《CPCI-E與VPX總線標(biāo)準(zhǔn)的比較分析》,，工業(yè)控制計(jì)算機(jī),，2009.7
（共3頁）
　　2、《AmericanNationalStandardforVPXBaselineStandard》,，ANSI/VITA46.0-2007,，2007.10（18-48）
　　3、《AmericanNationalStandardforEnvironments,DesignandConstruction,Safety,andQualityforPlug-InUnitsStandard》，ANSI/VITA47-2005（2007）,，2007.9（共21頁）
　　4,、《P4080QorIQ™IntegratedMulticoreCommunicationProcessorFamilyReferenceManual》，F(xiàn)reescale,，2010.4(1-48)
　　5,、《IntelligentPlatformManagementInterfaceSpecificationv1.5》2002.2（40-68）