《電子技術(shù)應(yīng)用》
您所在的位置:首頁(yè) > 通信與網(wǎng)絡(luò) > 業(yè)界動(dòng)態(tài) > E級(jí)超算樣機(jī)要來(lái)了

E級(jí)超算樣機(jī)要來(lái)了

2017-01-22

從天河二號(hào)到神威太湖之光,中國(guó)多次登頂世界超算500強(qiáng),,無(wú)愧于超算大國(guó)之名,,而在向超算強(qiáng)國(guó)蛻變的路上,,中國(guó)再次有了突破性的進(jìn)展,,在不久的將來(lái),,或能摘下超算領(lǐng)域的“下一頂皇冠”——E級(jí)超算,。近日,,據(jù)媒體報(bào)道,,2016年天津超算中心同國(guó)防科技大學(xué)合作,啟動(dòng)了新一代百億億次超級(jí)計(jì)算機(jī)樣機(jī)系統(tǒng)的研制,,目前已經(jīng)取得了階段性成果,,預(yù)計(jì)2017年底能夠研制成功。

天津市人大代表,、天津超算中心應(yīng)用研發(fā)工程師張婷出席本月17日舉行的天津市第十六屆人大六次會(huì)議時(shí),,介紹了有關(guān)新一代百億億次超級(jí)計(jì)算機(jī)一些信息。

據(jù)國(guó)家并行計(jì)算機(jī)工程技術(shù)研究中心此前透露,,該中心牽頭的“E級(jí)高性能計(jì)算機(jī)原型系統(tǒng)”研制項(xiàng)目正式啟動(dòng),,目標(biāo)10倍于目前世界最高水平。這標(biāo)志著包括核心處理器在內(nèi)的全國(guó)產(chǎn)化百億億次超級(jí)計(jì)算機(jī)步入實(shí)際研發(fā)階段,。

張婷介紹說(shuō),,新一代百億億次超級(jí)計(jì)算機(jī)預(yù)計(jì)2020年研制成功并建成投用,它的計(jì)算能力將是目前中國(guó)首臺(tái)千萬(wàn)億次超級(jí)計(jì)算機(jī)“天河一號(hào)”的200倍,。

除了在計(jì)算能力上的拓展,,更重要的是技術(shù)的突破,,它在計(jì)算密度、單塊計(jì)算芯片計(jì)算能力,、內(nèi)部數(shù)據(jù)通信速率等方面都將得到極大提升,,而且,它將是國(guó)內(nèi)自主化率最高的超算,,包括自主芯片、自主操作系統(tǒng),、自主運(yùn)行計(jì)算環(huán)境等,。

張婷表示,新一代百億億次超級(jí)計(jì)算機(jī)研制成功后,,將依托超級(jí)計(jì)算平臺(tái),,開(kāi)展高性能計(jì)算、云計(jì)算,、大數(shù)據(jù)等方面的綜合應(yīng)用,,在支持國(guó)家科技創(chuàng)新、支持區(qū)域產(chǎn)業(yè)服務(wù)等方面開(kāi)展新的應(yīng)用創(chuàng)新,。

1484879843985054607.png


超算領(lǐng)域的有力競(jìng)爭(zhēng)者

全球超級(jí)計(jì)算機(jī)500強(qiáng)排行榜主要編撰人之一,、美國(guó)勞倫斯伯克利國(guó)家實(shí)驗(yàn)室副主任霍斯特·西蒙曾說(shuō),中國(guó)在高性能計(jì)算領(lǐng)域已經(jīng)取得巨大進(jìn)步,,正成長(zhǎng)為全球超算舞臺(tái)上的有力競(jìng)爭(zhēng)者,。

西蒙說(shuō),超算對(duì)科學(xué),、經(jīng)濟(jì)與軍事等多個(gè)領(lǐng)域具有重要意義,,自2000年以來(lái)中國(guó)在超算技術(shù)方面大力投資,現(xiàn)在中國(guó)在這個(gè)領(lǐng)域已經(jīng)到達(dá)“一個(gè)非常,、非常,、非常有競(jìng)爭(zhēng)力的階段”。

但西蒙并不認(rèn)為中國(guó)已經(jīng)成為超算強(qiáng)國(guó),。他說(shuō),,超算是一個(gè)整體生態(tài)系統(tǒng),它包括硬件,、軟件,、應(yīng)用以及培訓(xùn)下一代科學(xué)家等,此外大學(xué),、研究機(jī)構(gòu)和企業(yè)也應(yīng)積極參與其中,,但要同時(shí)做到這些不同方面非常困難。中國(guó)在努力去做美國(guó)可能花了20年做的事情,,希望能在較短時(shí)間內(nèi)完成這些工作,,但“我認(rèn)為中國(guó)還是需要稍微長(zhǎng)一點(diǎn)的時(shí)間,。從這個(gè)意義上說(shuō),中國(guó)仍然還有一系列事情需要去完成”,。

中國(guó)在超算應(yīng)用上的進(jìn)展讓西蒙印象深刻,。他回憶說(shuō),2010年“天河一號(hào)”在超算500強(qiáng)榜單上奪冠時(shí),,這個(gè)超算系統(tǒng)距應(yīng)用還有很長(zhǎng)的距離,;但去年6月“神威·太湖之光”登頂榜單時(shí),中方就介紹了好幾個(gè)應(yīng)用,,這些應(yīng)用都很棒,,而且中國(guó)科學(xué)家現(xiàn)在也以更快的速度學(xué)會(huì)怎樣使用這個(gè)系統(tǒng)。

“我認(rèn)為已經(jīng)有了很明顯的進(jìn)展,,”西蒙說(shuō),,“中國(guó)可能還有一些其他的不足,但很顯然,,考慮到硬件有了,、應(yīng)用有了、基礎(chǔ)設(shè)施有了,,有很多支持,,中國(guó)在使用超算上已經(jīng)取得巨大進(jìn)步?!?/p>

西蒙認(rèn)為,,中國(guó)超算發(fā)展不僅僅是超算自身的事,還關(guān)系到中國(guó)半導(dǎo)體行業(yè)的發(fā)展,。中國(guó)每年進(jìn)口的芯片數(shù)額巨大,,存在巨大的半導(dǎo)體貿(mào)易赤字,所以中國(guó)發(fā)展超算是減少這種赤字的“一個(gè)很好的深思熟慮的”戰(zhàn)略的一部分,。

“中國(guó)進(jìn)口了大量半導(dǎo)體(指芯片),,而今天半導(dǎo)體在所有地方都有應(yīng)用,尤其在空間領(lǐng)域和汽車(chē)行業(yè),。物聯(lián)網(wǎng)也是到處需要芯片,,所以中國(guó)要發(fā)展高端生產(chǎn),顯然需要在半導(dǎo)體方面大量投資,,以取得更大的國(guó)內(nèi)生產(chǎn)份額,。我認(rèn)為這是一個(gè)大問(wèn)題。超算只是整個(gè)戰(zhàn)略的一部分,,”他說(shuō),。

搶灘E級(jí)超算

“神威·太湖之光”成為世界最快超級(jí)計(jì)算機(jī)后,美國(guó),、日本,、歐洲等國(guó)先后制定了自己的E級(jí)超算研發(fā)計(jì)劃,,并將相應(yīng)計(jì)劃的完成時(shí)間表設(shè)定在了2020—2022年。中國(guó)也將百億億次超級(jí)計(jì)算機(jī)及相關(guān)技術(shù)的研究寫(xiě)入了國(guó)家“十三五”規(guī)劃,,同時(shí)也希望在2020年左右實(shí)現(xiàn),。

不過(guò),百億億次超級(jí)計(jì)算機(jī)的建造難度并不僅僅在于速度的提升,。中科院計(jì)算所研究員,、中國(guó)計(jì)算機(jī)學(xué)會(huì)高性能計(jì)算專(zhuān)委會(huì)秘書(shū)長(zhǎng)張?jiān)迫榻B說(shuō),研發(fā)E級(jí)超算實(shí)際上面臨著編程墻,、功耗墻,、可靠性墻和存儲(chǔ)墻幾個(gè)“大墻”的圍堵,如何越過(guò)這幾堵墻,,面臨很大的挑戰(zhàn)。

在“神威·太湖之光”以自主芯片和操作系統(tǒng)獲得接近十億億次的計(jì)算速度之后,,中國(guó)看到了自主研發(fā)E級(jí)超算的希望和曙光,。在國(guó)家“十三五”高性能計(jì)算專(zhuān)項(xiàng)課題中,我國(guó)公示出了三個(gè)分別由中科曙光,、國(guó)防科技大學(xué)以及江南計(jì)算技術(shù)研究所牽頭的E級(jí)超算的原型系統(tǒng)研制項(xiàng)目,。

為何研制?

這既是很多人的問(wèn)題,,也是超級(jí)計(jì)算機(jī)發(fā)展面臨的矛盾,。超級(jí)計(jì)算機(jī)性能不斷提升,但由于能耗越來(lái)越大,,而應(yīng)用范圍卻并沒(méi)有相應(yīng)擴(kuò)大,。

“超級(jí)計(jì)算機(jī)在高性能與通用性方面一直存在矛盾?!敝锌圃涸菏坷顕?guó)杰是曙光公司的開(kāi)創(chuàng)者之一,,研制了我國(guó)第一臺(tái)對(duì)稱(chēng)式結(jié)構(gòu)計(jì)算機(jī)——曙光一號(hào)。

曙光公司總裁歷軍說(shuō),,超級(jí)計(jì)算機(jī)在性能不斷提升的同時(shí),,面對(duì)著存儲(chǔ)、可靠性,、能耗,、擴(kuò)展性以及應(yīng)用創(chuàng)新等問(wèn)題。在每秒10億次計(jì)算能力的時(shí)候,,超級(jí)計(jì)算機(jī)主要是用于工程計(jì)算或者科學(xué)計(jì)算,,但是到了百億億次計(jì)算能力時(shí),已經(jīng)很難有一個(gè)題目需要這么大的規(guī)模,,傳統(tǒng)的科學(xué)計(jì)算領(lǐng)域已經(jīng)很難找到這樣的題目了,。

“所以超級(jí)計(jì)算機(jī)未來(lái)向何處發(fā)展是擺在我們面前最最重要的挑戰(zhàn),。在E級(jí)應(yīng)用創(chuàng)新方面,我們希望把傳統(tǒng)的超級(jí)計(jì)算機(jī)的應(yīng)用向云服務(wù)和數(shù)據(jù)處理去延伸,?!睔v軍介紹,在這些方面曙光公司已經(jīng)做了大量工作,。未來(lái)最新的E級(jí)超級(jí)計(jì)算機(jī)的應(yīng)用可能來(lái)自于云計(jì)算,、云服務(wù),來(lái)自于大規(guī)模的數(shù)據(jù)處理,。

“對(duì)于E級(jí)計(jì)算機(jī)來(lái)說(shuō),,應(yīng)用是最大的挑戰(zhàn)?!笔锕夤靖笨偛蒙圩谟幸谎砸员沃?,“如果超級(jí)計(jì)算機(jī)技術(shù)不能在市場(chǎng)上獲得應(yīng)有的回報(bào),這個(gè)市場(chǎng)會(huì)萎縮,,研發(fā)投入就會(huì)萎縮,。”

生命科學(xué),、流體空氣力學(xué),、仿真、氣象,、氣候,、環(huán)境等是超級(jí)計(jì)算機(jī)傳統(tǒng)的幾大應(yīng)用,而超級(jí)計(jì)算機(jī)如何與云計(jì)算,、大數(shù)據(jù),、人工智能相結(jié)合是新的發(fā)展方向。

中科院計(jì)算所研究員,,中國(guó)計(jì)算機(jī)學(xué)會(huì)高性能計(jì)算專(zhuān)委會(huì)秘書(shū)長(zhǎng)張?jiān)迫赋?,E級(jí)超算可以應(yīng)對(duì)一些具有重大計(jì)算的需求,如全球氣候變化模擬,、天體物理大數(shù)據(jù)的處理,、模擬宇宙的演化、模擬新型材料及核武器等,。同時(shí),,除了科學(xué)計(jì)算,它也將在深度學(xué)習(xí),、大數(shù)據(jù),、云計(jì)算等領(lǐng)域發(fā)揮重大價(jià)值,幫助提高人們對(duì)各領(lǐng)域日益劇增的海量數(shù)據(jù)處理利用的能力,并從中發(fā)現(xiàn)新事物,、新規(guī)律和新機(jī)會(huì),。因此,E級(jí)超算具有極高的科學(xué),、社會(huì),、經(jīng)濟(jì)和產(chǎn)業(yè)生態(tài)價(jià)值。

人才儲(chǔ)備漸多

一直以來(lái),,高性能方面的人才培養(yǎng)都是國(guó)內(nèi)教育的一大難題,,而培養(yǎng)之后的人才也非常容易流失。聯(lián)想集團(tuán)首席科學(xué)家祝明發(fā)博士認(rèn)為:高性能人才培養(yǎng)主要是兩個(gè)方面,,一個(gè)是學(xué)校,,另一個(gè)是需要應(yīng)用渠道,因?yàn)榫蜆I(yè)就需要高性能事業(yè)本身的發(fā)展,。

高性能計(jì)算和高性能計(jì)算機(jī)不是一個(gè)概念,,大部分都是高性能計(jì)算化學(xué)、材料科學(xué),,這方面的人才培養(yǎng)不僅是計(jì)算機(jī)專(zhuān)業(yè),,還有物理、數(shù)學(xué),、材料科學(xué)、地理勘探等等,,他們這些專(zhuān)業(yè)都要學(xué)習(xí)高性能計(jì)算機(jī)知識(shí),,還要學(xué)習(xí)高性能計(jì)算機(jī)的軟件編程以及并行算法。這些完全是靠應(yīng)用來(lái)驅(qū)動(dòng),,各個(gè)學(xué)校,、各個(gè)單位都是非常重視。

另外就是高性能計(jì)算機(jī)本身的硬件和系統(tǒng)軟件,,系統(tǒng)軟件方面的人才培養(yǎng)一定要是通過(guò)高性能計(jì)算機(jī)的研制和生產(chǎn),。高性能計(jì)算機(jī)現(xiàn)在規(guī)模已經(jīng)很大了,這方面人才培養(yǎng)就是很多的高性能計(jì)算機(jī)科研項(xiàng)目和國(guó)家項(xiàng)目,。這些專(zhuān)項(xiàng)對(duì)于支持高性能計(jì)算機(jī)軟硬件的研發(fā)就直接推動(dòng)了人才的培養(yǎng),,因?yàn)榭蒲许?xiàng)目首先是推動(dòng)研究生、博士生和碩士生,,另外就是一些學(xué)校已經(jīng)對(duì)本科生開(kāi)設(shè)高性能計(jì)算課程,。

在九十年代初,國(guó)內(nèi)高性能計(jì)算產(chǎn)業(yè)沒(méi)有起來(lái),,很多人才都去了硅谷或者紐約,,但是現(xiàn)在的情況已經(jīng)完全不一樣了,因?yàn)閲?guó)內(nèi)不管是產(chǎn)業(yè)規(guī)模還是應(yīng)用規(guī)模都起來(lái)了,需要大量的人才,,這個(gè)行業(yè)目前的待遇也不算太低,,所以還是對(duì)人才有很大的吸引力。

附超級(jí)計(jì)算機(jī)的性能指標(biāo)及高性能計(jì)算簡(jiǎn)史

超級(jí)計(jì)算機(jī)的性能指標(biāo)

Top500 排行榜

幾十年來(lái),,超算性能的定義等同于計(jì)算速度,,以flops衡量。Top500以運(yùn)行LINPACK基準(zhǔn)測(cè)試所能達(dá)到的最高性能Rmax(單位:Tflops)對(duì)500個(gè)超算系統(tǒng)進(jìn)行排名,。排行榜同時(shí)提供很多有用的信息,,包括制造商、地點(diǎn),、核數(shù),、網(wǎng)絡(luò)互連技術(shù)等。表1為2016年6月排行榜前10的超算,,其中Rpeak(單位:Tflops)代表理論峰值速度,。

1484879844032042276.png


10臺(tái)超算中,中國(guó)的超級(jí)計(jì)算機(jī)位居前兩位,。其中2013年7月發(fā)布的天河二號(hào),,已經(jīng)在此之前連續(xù)6 次以33.86Pflops的運(yùn)行速度排行榜首。其他4臺(tái)在美國(guó),,日本,、瑞士、德國(guó)和沙特阿拉伯各有1臺(tái),。

Green500 排行榜

在持續(xù)幾十年的運(yùn)行速度的競(jìng)賽中,,建造和能耗的預(yù)算并不在考慮之中,但從業(yè)者逐漸發(fā)現(xiàn)超級(jí)計(jì)算機(jī)正面臨著能耗過(guò)高的限制,。2007年,,側(cè)重于超算能效的Green500排行榜開(kāi)始發(fā)布。用電效率Mflops/W,,即每W 功率可以支持多少M(fèi)flops的運(yùn)行速度,。最近,Green500和Top500宣布合并使用同樣的提交規(guī)則來(lái)標(biāo)準(zhǔn)化能耗測(cè)量標(biāo)準(zhǔn),。相關(guān)的說(shuō)明文檔詳細(xì)規(guī)定了能耗測(cè)量所需要考量的因素,,并設(shè)定了由低到高3種測(cè)量品質(zhì)。這對(duì)提交的數(shù)據(jù)提出了更高的要求,,以保證最后能效排名的準(zhǔn)確性,。同時(shí)Green500和Top500依然是不同網(wǎng)站上獨(dú)立的兩個(gè)排行榜。

表2為2016年1月Green500榜單前10位系統(tǒng),,出人意料的是,,Green500上大多數(shù)高排名的超算沒(méi)有在Top500的前列出現(xiàn),。通常節(jié)能型的超級(jí)計(jì)算機(jī)是在給定的能耗限制下仔細(xì)設(shè)計(jì)建造的,以求達(dá)到可能的最高能效,。通常這些機(jī)器規(guī)模較小,,能耗只有幾萬(wàn)瓦。制造同時(shí)擁有頂尖計(jì)算速度和高能效的大規(guī)模超級(jí)計(jì)算機(jī)依然是一項(xiàng)具有挑戰(zhàn)的任務(wù),。

1484879844063037491.png


Graph500 排行榜

Top500排行榜采用LINPACK基準(zhǔn)測(cè)試超級(jí)計(jì)算機(jī)在解稠密線(xiàn)性方程組時(shí)的性能,。然而對(duì)于超算系統(tǒng)在包括數(shù)據(jù)密集型應(yīng)用在內(nèi)的許多其他應(yīng)用中,Top500并沒(méi)有提供有用的信息,。2010年,,一個(gè)小組開(kāi)始著手研究大數(shù)據(jù)應(yīng)用方面的新的性能基準(zhǔn),并在當(dāng)年發(fā)布了Graph500,。該基準(zhǔn)用于衡量超算通信子系統(tǒng)的性能,,它測(cè)量的是在一個(gè)大型無(wú)向圖上執(zhí)行廣度優(yōu)先算法時(shí),每秒遍歷邊緣的數(shù)量,,單位為Gteps(每秒10億遍歷邊緣數(shù)),。

該基準(zhǔn)包括一個(gè)可擴(kuò)展的數(shù)據(jù)生成器,可以生成包含所有邊起點(diǎn)和終點(diǎn)邊的數(shù)組,。第一個(gè)核心進(jìn)程生成一個(gè)無(wú)向圖,,其格式能夠被接下來(lái)所有的核心進(jìn)程所用。此后不允許任何改動(dòng),,以防止某些核心進(jìn)程會(huì)因此獲益,。第二個(gè)核心進(jìn)程則是對(duì)生成的圖執(zhí)行廣度優(yōu)先算法。兩個(gè)進(jìn)程都進(jìn)行計(jì)時(shí),。根據(jù)輸入規(guī)格大小分成6個(gè)問(wèn)題類(lèi)型:從最小1010字節(jié)的“toy”到1015字節(jié)的“huge”,。

Graph500還是一個(gè)非常年輕的項(xiàng)目。最新的排行榜只列出了211 臺(tái)超算,,離真正500 有一段距離。大多數(shù)Graph500的小規(guī)模超算并沒(méi)有出現(xiàn)在Top500上,。大約70%的Graph500超算系統(tǒng)來(lái)自美國(guó)和日本(表3),。

1484879844547050212.png


高性能計(jì)算簡(jiǎn)史

高性能計(jì)算技術(shù)源于現(xiàn)代計(jì)算機(jī)工業(yè)。20世紀(jì)40年代到60年代,,可以稱(chēng)為第一代超級(jí)計(jì)算機(jī)時(shí)代,。第一代超級(jí)計(jì)算機(jī)的出現(xiàn)源于軍方的需要。二戰(zhàn)期間,,需要手工計(jì)算彈道,。1943年到1946年間,美國(guó)第一代計(jì)算機(jī)ENIAC應(yīng)運(yùn)而生,。其間,,納粹Enigma密碼機(jī)的破譯極大歸功于英國(guó)的Bombe和Colossus計(jì)算機(jī)。二戰(zhàn)以后,美蘇兩大陣營(yíng)冷戰(zhàn),,核武研制,、飛機(jī)潛水艇設(shè)計(jì)、情報(bào)收集處理和代碼破譯的需求驅(qū)使計(jì)算機(jī)朝更強(qiáng)的超級(jí)計(jì)算能力發(fā)展,。

1964年,,CDC公司的CDC6600具備了每秒50萬(wàn)次浮點(diǎn)運(yùn)算的能力,第一次被冠以“超級(jí)計(jì)算機(jī)”的名稱(chēng),。1975年到1990年,,超算進(jìn)入了所謂“克雷時(shí)代”。1972年Seymour Cray成立了自己的專(zhuān)事超算設(shè)計(jì)制造的公司,。Cray 1采用了標(biāo)量和向量處理器,,80 MHz時(shí)鐘,133Mflops,。發(fā)展到1982年,、1988年的Cray X-MP和Cray Y-MP分別達(dá)到105MHz和167MHz,采用2,、4或8個(gè)向量處理器,,計(jì)算峰值達(dá)200Mflops和333Mflops。

20世紀(jì)80年代,,超級(jí)計(jì)算機(jī)的設(shè)計(jì)主要得益于兩個(gè)架構(gòu),,一是向量處理器,二是共享內(nèi)存的胖節(jié)點(diǎn),。1990年到2010年間,,超算進(jìn)入了集群時(shí)代。隨著Unix和Linux服務(wù)器的普及,,超算進(jìn)入了真正有效的并行計(jì)算時(shí)代,,此時(shí)胖節(jié)點(diǎn)的小型機(jī)遇到了內(nèi)存瓶頸。以太網(wǎng)和高速網(wǎng)絡(luò)的出現(xiàn)使得其后出現(xiàn)的將單臺(tái)服務(wù)器通過(guò)網(wǎng)絡(luò)互連的分布式內(nèi)存計(jì)算大行其道,。1994年,,NASA的唐納德·貝克和湯姆斯特林用個(gè)人計(jì)算機(jī)和以太網(wǎng)硬件搭建了第一個(gè)計(jì)算集群,將16臺(tái)英特爾486DX臺(tái)式機(jī)用10Mb以太網(wǎng)連接起來(lái),,起名為Beowulf集群,,用當(dāng)時(shí)的5萬(wàn)美金成本搭建了1Gflops的超算系統(tǒng),這是現(xiàn)在Top500中占最大份額的高性能計(jì)算集群的源頭,。

從2000年到現(xiàn)在,,高性能計(jì)算進(jìn)入了采用GPGPU加速器的異構(gòu)計(jì)算時(shí)代。21世紀(jì)初,,由于處理器的發(fā)展進(jìn)入了多核到眾核的時(shí)代,,使得計(jì)算機(jī)群呈現(xiàn)了混合集群模式,。

隨著大數(shù)據(jù)和人工智能技術(shù)在互聯(lián)網(wǎng)、自動(dòng)駕駛,、機(jī)器人等領(lǐng)域的回暖,,新的對(duì)計(jì)算和數(shù)據(jù)遷移的壓力,使得異構(gòu)混合集群更成為高性能計(jì)算的主流架構(gòu),。深度學(xué)習(xí),、神經(jīng)網(wǎng)絡(luò)和量子計(jì)算的引進(jìn)成為新趨勢(shì)。從計(jì)算的角度,,當(dāng)前高性能計(jì)算技術(shù)的階段,,可以總結(jié)為一句話(huà):“計(jì)算近乎免費(fèi),而數(shù)據(jù)移動(dòng)是昂貴的,?!敝袊?guó)自己的超算發(fā)展,也沿襲了一條從小型向量機(jī)到混合異構(gòu)計(jì)算集群的發(fā)展道路,。


本站內(nèi)容除特別聲明的原創(chuàng)文章之外,,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點(diǎn),。轉(zhuǎn)載的所有的文章,、圖片、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有,。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無(wú)法一一聯(lián)系確認(rèn)版權(quán)者,。如涉及作品內(nèi)容、版權(quán)和其它問(wèn)題,,請(qǐng)及時(shí)通過(guò)電子郵件或電話(huà)通知我們,,以便迅速采取適當(dāng)措施,避免給雙方造成不必要的經(jīng)濟(jì)損失,。聯(lián)系電話(huà):010-82306118,;郵箱:[email protected]