采用動態(tài)可重構(gòu)技術(shù)的產(chǎn)品示例,。迄今已被富士施樂一體機(jī)及索尼廣播電視專業(yè)設(shè)備等采用。而且,,新的采用案例有富士膠片數(shù)碼相機(jī)“F550EXR”,,以及卡西歐計算機(jī)數(shù)碼相機(jī)“EX-TR100”等。
動態(tài)可重構(gòu)(Dynamic Reconfigurable)技術(shù)的應(yīng)用范圍不斷擴(kuò)大,。除了商用一體機(jī)及數(shù)碼相機(jī)等高價位電子產(chǎn)品外,,應(yīng)用范圍還擴(kuò)展到了實(shí)際售價為1萬日元左右的數(shù)碼相機(jī)產(chǎn)品。
動態(tài)可重構(gòu)技術(shù)在擁有與專用邏輯電路(硬連線電路,,Hard-Wired Circuit)相當(dāng)?shù)奶幚硇阅艿耐瑫r,還能夠像軟件一樣靈活改變電路構(gòu)成,。以前采用范圍以辦公一體機(jī)及廣播電視專業(yè)攝像機(jī)等百萬日元以上的高價位電子產(chǎn)品為中心,,而最近終于開始向數(shù)萬日元的低價位消費(fèi)類電子產(chǎn)品全面普及注1)。近一年來,,有多家數(shù)碼相機(jī)廠商表示已在自己的產(chǎn)品上采用了動態(tài)可重構(gòu)技術(shù),。其中也含有實(shí)售價格為1萬日元左右的產(chǎn)品。
注1)以前在低價消費(fèi)類電子產(chǎn)品領(lǐng)域,,只有索尼在便攜音樂播放器及游戲機(jī)上采用了自主開發(fā)的有關(guān)技術(shù),。
在這些廠商中率先采用的是卡西歐計算機(jī)。該公司在2010年11月上市的“HIGH SPEED EXILIM”系列數(shù)碼相機(jī)機(jī)型“EX-ZR10”上,,配備了采用動態(tài)可重構(gòu)技術(shù)的圖像處理LSI“EXILIM引擎HS”,。包括該機(jī)型在內(nèi),卡西歐計算機(jī)已在“EX-ZR100”,、“EXH20G”及“EX-TR100”合計四款機(jī)型上采用了動態(tài)可重構(gòu)技術(shù)(圖1,、圖2)。
圖1:采用動態(tài)可重構(gòu)技術(shù)的數(shù)碼相機(jī)
卡西歐計算機(jī)和富士膠片分別宣布已在自己的數(shù)碼相機(jī)產(chǎn)品上采用了動態(tài)可重構(gòu)技術(shù),??ㄎ鳉W計算機(jī)在“EXILIM引擎HS”上、富士膠片在“EXR處理器”上采用了該技術(shù),。
圖2:圖像處理LSI的內(nèi)部構(gòu)成
圖中列出了卡西歐計算機(jī)及富士膠片分別公開的圖像處理LSI的內(nèi)部構(gòu)成(a,、b)。相似點(diǎn)是都具備兩個CPU內(nèi)核,。
在卡西歐計算機(jī)發(fā)布相關(guān)產(chǎn)品4個月后,,2011年2月富士膠片也展開了行動。富士膠片發(fā)布的“FinePix”系列數(shù)碼相機(jī)中,,有“F550EXR”,、“HS20 EXR”及“X100”三款機(jī)型配備了采用該技術(shù)的圖像處理LSI“EXR處理器”。
通過微細(xì)化使成本達(dá)到可以接受的水平
眾多數(shù)碼相機(jī)廠商接連采用動態(tài)可重構(gòu)技術(shù)的原因主要有兩點(diǎn),。
第一是微細(xì)化的發(fā)展使該技術(shù)的最大瓶頸即電路規(guī)模的尺寸達(dá)到了可以接受的程度,。消費(fèi)類電子產(chǎn)品中使用的ASIC也開始越來越多地采用45nm工藝以后的制造技術(shù),因此在數(shù)碼相機(jī)等低價消費(fèi)類電子產(chǎn)品中采用該技術(shù)的巨大電路時,,成本也已變得合算,。
動態(tài)可重構(gòu)技術(shù)一般采用呈陣列狀排列大量(數(shù)十~1000個)8~32bit運(yùn)算器(ALU)的架構(gòu)。因此,,處理性能遠(yuǎn)遠(yuǎn)高于運(yùn)算器數(shù)量最多限制在10個左右的DSP等,。但另一方面卻存在電路面積非常大,,芯片單價往往也很高的問題。而且,,為了能夠靈活改變電路構(gòu)成,,還需要在運(yùn)算器之間設(shè)置開關(guān),并使布線具有冗余性,,因此與同樣采用大量運(yùn)算器的硬連線電路相比,,電路面積也往往較大。
動態(tài)可重構(gòu)技術(shù)從10年前亮相之初起就一直被公認(rèn)“其高成本是采用于實(shí)際產(chǎn)品時的瓶頸”,,實(shí)際上以前多半是在商用電子產(chǎn)品上采用的,。然而,隨著時間的推移,,半導(dǎo)體制造技術(shù)的微細(xì)化得到順利推進(jìn),,由此,動態(tài)可重構(gòu)技術(shù)終于能夠在1萬日元左右的消費(fèi)類電子產(chǎn)品上使用了注2),。
注2)FPGA與動態(tài)可重構(gòu)技術(shù)一樣,,隨著微細(xì)化的發(fā)展開始越來越多地采用于消費(fèi)類電子產(chǎn)品。但是,,與將8~32bit運(yùn)算器作為構(gòu)件的動態(tài)可重構(gòu)技術(shù)相比,,F(xiàn)PGA的構(gòu)件由進(jìn)行單純邏輯運(yùn)算的LUT(Look-up Table)構(gòu)成,構(gòu)成陣列的構(gòu)件的粒度較細(xì),。因此,,實(shí)施媒體處理等操作的話,動態(tài)可重構(gòu)技術(shù)的面積效率一般高于FPGA,。
三項(xiàng)可編程性
動態(tài)可重構(gòu)技術(shù)開始在數(shù)碼相機(jī)中配備的另一原因在于,,圖像處理LSI必須要在多種情況下具備出色的可編程性,也就是說必須要具備像軟件那樣的“靈活性”,。具體體現(xiàn)在①電子產(chǎn)品的開發(fā)時,、②供貨后使用電子產(chǎn)品時,以及③開發(fā)新一代機(jī)型時,。
其中尤其重要的是②使用電子產(chǎn)品時的可編程性,。要想作為廠商保持獨(dú)創(chuàng)性,大量配備與其他公司相比容易形成賣點(diǎn)的功能的話,,憑借硬連線電路及DSP等動態(tài)可重構(gòu)技術(shù)以外的方法是很難實(shí)現(xiàn)的,。
比如,卡西歐計算機(jī)在該公司配備動態(tài)可重構(gòu)技術(shù)的首款機(jī)型EX-ZR10中導(dǎo)入了稱為“HDR(High Dynamicrange)藝術(shù)”及“多幀超分辨率”的獨(dú)創(chuàng)功能,。兩種功能均使用于高速連拍的圖像,,前者通過合成多張圖像來生成動態(tài)范圍大的圖像,并在此基礎(chǔ)上由LSI對圖像內(nèi)進(jìn)行分析,局部調(diào)整色彩飽和度和對比度,,輸出繪畫風(fēng)格的圖像(圖3),。而后者則利用多幀圖像來提高分辨率。
圖3:復(fù)雜化的數(shù)碼相機(jī)圖像處理
數(shù)碼相機(jī)的圖像處理正在向多功能化及復(fù)雜化發(fā)展,,比如重疊高速拍攝的多張圖像,,制作出HDR圖像或形成繪畫風(fēng)格。照片中的是卡西歐“EXZR100”利用“HDR藝術(shù)”功能的輸出示例,。
富士膠片也導(dǎo)入了獨(dú)創(chuàng)功能,比如識別攝影場景后從多達(dá)49種模式的畫質(zhì)設(shè)定中選擇最佳設(shè)定的“PREMIUM EXRAUTO”,,以及通過經(jīng)由圖像處理來尋找對焦點(diǎn)的對比度AF來設(shè)定多達(dá)49個測距點(diǎn),。估計為實(shí)現(xiàn)這些功能采用了動態(tài)可重構(gòu)技術(shù)。
易于導(dǎo)入具有挑戰(zhàn)性的功能
要想在攝影時對超千萬像素的圖像基本同步實(shí)施計算量如此大的復(fù)雜處理,,憑借DSP及以往的SIMD型處理器處理性能會不足,。實(shí)現(xiàn)手段僅限于像硬連線電路或動態(tài)可重構(gòu)技術(shù)那樣,能夠使用大量運(yùn)算器組成長管線,,或者能夠?qū)Υ罅肯袼貙?shí)施并行處理的方法,。
不過,從硬連線電路來看,,要想導(dǎo)入比如A~C三種功能時,,一般需要單獨(dú)準(zhǔn)備3種電路,芯片面積往往會變?yōu)?倍,。假如A~C功能中含有成為電子產(chǎn)品賣點(diǎn)但實(shí)際使用頻率又很低的利基功能的話,,由此占用的大量芯片面積就會使成本效率變差。
而動態(tài)可重構(gòu)技術(shù)具備②中所述的使用電子產(chǎn)品時的可編程性,,能夠在運(yùn)行中動態(tài)改變電路構(gòu)成,。因此,即便是使用頻率再低的利基功能,,只要在營銷及銷售觀點(diǎn)上斷定其具有效果,,也可不受芯片面積增加的不利影響,輕松導(dǎo)入,。其原因是,,采用動態(tài)可重構(gòu)技術(shù)的話,只要是在固定的運(yùn)算器陣列內(nèi)實(shí)施處理,,無論想要追加多少種功能,,電路面積都不會成倍增加(圖4)。不運(yùn)行的電路不會“耗費(fèi)”芯片面積,,平時隱藏在后臺的存儲器中注3),。
圖4:動態(tài)可重構(gòu)技術(shù)的特點(diǎn)以及與其他技術(shù)間的比較
在對電子產(chǎn)品進(jìn)行設(shè)計時、供貨后以及開發(fā)新一代機(jī)型時等多種階段,動態(tài)可重構(gòu)技術(shù)發(fā)揮優(yōu)點(diǎn)的情況日趨增加,。
注3)這一特性被比作虛擬存儲器,,稱為“虛擬電路”。虛擬電路在切換多種處理時也很有效,,但即便是一種處理,,與規(guī)模超出運(yùn)算器陣列的電路相比,也同樣具有能夠以適當(dāng)級數(shù)折疊管線,,以分時方式安裝的優(yōu)點(diǎn),。富士施樂在一體機(jī)上就采用了這種方法。
雖然動態(tài)可重構(gòu)技術(shù)還要看其架構(gòu)如何,,但在安裝大約3種以上具有某種復(fù)雜程度的功能時,,在芯片面積這一點(diǎn)上,還是比硬連線電路更為有利,。無論卡西歐計算機(jī)還是富士膠片,,都未公布采用動態(tài)可重構(gòu)技術(shù)具體安裝了多少種功能等細(xì)節(jié),但可以推測的是,,采用動態(tài)可重構(gòu)技術(shù)時上述判斷起到了一定作用,。
還可降低開發(fā)時的風(fēng)險
另外,如③所述的開發(fā)新一代機(jī)型時的可編程性也很重要,。硬連線電路的話,,即使想要對以往機(jī)型的圖像處理算法加以修正、追加功能,,不重新制作數(shù)億日元的掩膜的話,,也是不可能實(shí)現(xiàn)的。而動態(tài)可重構(gòu)技術(shù)的話只需與固件一樣,,在存儲器上追加新的電路數(shù)據(jù)即可(圖4),。這樣便可延長一次投入的圖像處理LSI的“產(chǎn)品壽命”。
實(shí)際上,,富士膠片就曾表示,,采用動態(tài)可重構(gòu)技術(shù)的EXR處理器今后“還有進(jìn)步的余力”。另外,,由于無需在掩膜中嵌入電路數(shù)據(jù),,因此與通常的固件開發(fā)一樣,直到電子產(chǎn)品馬上要供貨之前,,都可致力于電路構(gòu)成的優(yōu)化及驗(yàn)證工作(圖4),。而且,缺陷的修正等也比硬連線電路容易得多注4),。
注4)目前在MCU領(lǐng)域中,,掩膜ROM產(chǎn)品已被閃存ROM產(chǎn)品取代,而在系列LSI領(lǐng)域中,硬連線電路向動態(tài)可重構(gòu)技術(shù)的過渡也可以說是類似現(xiàn)象,。
除了一體機(jī),、攝像機(jī)及數(shù)碼相機(jī)等與圖像相關(guān)的電子產(chǎn)品之外,動態(tài)可重構(gòu)技術(shù)今后還將充分利用上述可編程性,,在其他電子產(chǎn)品領(lǐng)域取代硬連線電路及DSP,。比如東芝表示,在無線通信領(lǐng)域的基帶處理電路方面,,動態(tài)可重構(gòu)技術(shù)對電路面積及耗電量也同樣有利,。而且,隨著智能電話及平板終端越來越多地導(dǎo)入WAN及無線LAN等多種無線通信方式,,該技術(shù)還有望配備到這些電子產(chǎn)品上,。
STP引擎具有設(shè)計工具優(yōu)勢,DAPDNA推出新版產(chǎn)品
目前已進(jìn)入實(shí)用階段的動態(tài)可重構(gòu)技術(shù)有瑞薩電子的“STP(Stream Transpose)引擎”(基于原有的DRP),、東京計器的“DAPDNA”系列、索尼的“VME(Virtual Mobile Engine)”,,以及松下的“D-Fabrix”等,。此外,還有很多企業(yè)在自主研發(fā)相關(guān)技術(shù),,但真正使用到實(shí)際產(chǎn)品上的主要還是上述4種,。
其中,以外銷為提前穩(wěn)步積累起采用業(yè)績的是瑞薩電子的STP引擎,。以前已被索尼的多款廣播電視專業(yè)攝像機(jī),,以及風(fēng)險企業(yè)Yoozma的數(shù)字電視發(fā)送器等采用,但2011年6月瑞薩電子自己宣稱,,該技術(shù)還被采用到了消費(fèi)類數(shù)碼相機(jī)上 注5),。
注5)在動態(tài)可重構(gòu)技術(shù)方面,瑞薩電子憑借出色的研發(fā)成果以及在圖像處理產(chǎn)品中的應(yīng)用業(yè)績,,于2011年5月獲得了日本電子信息通信學(xué)會頒發(fā)的“第47屆(平成22年度)業(yè)績獎”,。在相關(guān)發(fā)布資料中,該公司稱STP引擎得到了數(shù)碼相機(jī)的采用,。
瑞薩電子并未公布具體都有哪些企業(yè)的數(shù)碼相機(jī)采用了STP引擎,。但如前所述,卡西歐計算機(jī)和富士膠片近一年來相繼在自己的數(shù)碼相機(jī)產(chǎn)品上采用了動態(tài)可重構(gòu)技術(shù),,由此來看,,兩公司的數(shù)碼相機(jī)采用的很可能是STP引擎的衍生技術(shù)。
雖然正在研發(fā)動態(tài)可重構(gòu)技術(shù)的企業(yè)有很多,,但站在包括設(shè)計工具在內(nèi)的綜合觀點(diǎn)上,,并以外銷為前提使該技術(shù)達(dá)到商用水平的,恐怕全世界只有瑞薩電子一家 注6)。
注6)動態(tài)可重構(gòu)技術(shù)的營銷難度要比普通處理器大,,過去有很多企業(yè)都在相關(guān)業(yè)務(wù)上失敗過,。比如,奧林巴斯著眼于在數(shù)碼相機(jī)等產(chǎn)品上的應(yīng)用,,于2002年設(shè)立了動態(tài)可重構(gòu)技術(shù)的專業(yè)企業(yè)AOI技術(shù)公司,,但之后因客戶拓展不利,該公司于2007年被解散,。另外,,開發(fā)出DAPDNA的IPflex公司也由于營銷失敗等原因陷入了破產(chǎn)。
當(dāng)然,,也不能說卡西歐計算機(jī)及富士膠片在動態(tài)可重構(gòu)技術(shù)的架構(gòu)方面就毫無自主開發(fā)的可能性,。但是,這兩家公司在動態(tài)可重構(gòu)技術(shù)的基本架構(gòu)方面并未取得類似專利,,因此自主開發(fā)的途經(jīng)頗顯薄弱,。富士膠片雖然已就動態(tài)可重構(gòu)技術(shù)在圖像處理中的應(yīng)用方法申請了多項(xiàng)專利,但這些專利與架構(gòu)并不相關(guān) 注7),。
注7)富士膠片已就動態(tài)可重構(gòu)技術(shù)在數(shù)碼相機(jī)領(lǐng)域的應(yīng)用方法申請了專利,,而且還在內(nèi)窺鏡等醫(yī)療器械領(lǐng)域申請了同樣的專利。該公司今后將在所有圖像處理產(chǎn)品中采用動態(tài)可重構(gòu)技術(shù),。
索尼及松下開發(fā)的技術(shù)主要用于自己的產(chǎn)品,,而東京計器的DAPDNA尚未達(dá)到能夠在ASIC上作為IP內(nèi)核使用的設(shè)計水平。
另外,,卡西歐計算和富士膠片都未在這方面接受過《日經(jīng)電子》的采訪,,而且,對于自己的產(chǎn)品是否采用了瑞薩電子的STP引擎,,這兩家公司和瑞薩電子都回答說“無可奉告”,。
沿用高層次綜合工具
瑞薩電子的STP引擎能夠?qū)?yīng)用范圍從專業(yè)廣播電視設(shè)備穩(wěn)步拓展至消費(fèi)類數(shù)碼相機(jī)產(chǎn)品,其原因在于該公司在技術(shù)上有著豐富的積累,。STP引擎本來是原NEC電子與NEC中央研究所共同開發(fā)的,,包括改進(jìn)后的技術(shù)在內(nèi)的話,已擁有近15年的歷史,。
在設(shè)計工具方面,,與其他眾多企業(yè)僅著眼于動態(tài)可重構(gòu)技術(shù)進(jìn)行開發(fā)相比,STP引擎以已經(jīng)確立市場的,、在ASIC設(shè)計領(lǐng)域積累了豐富業(yè)績的高層次綜合(行為級綜合)*工具為基礎(chǔ),。因此就STP引擎而言,雖然動態(tài)可重構(gòu)技術(shù)的市場目前仍處于黎明期,,但其設(shè)計環(huán)境的完善度已達(dá)到很高水平,。
在STP引擎中,,瑞薩電子尤為重視的一點(diǎn)是,即使是不熟悉固件設(shè)計的普通軟件技術(shù)人員及算法設(shè)計人員,,也可輕松地設(shè)計和優(yōu)化動態(tài)可重構(gòu)技術(shù)的電路,。具體來說,除了能夠以高層次綜合工具為基礎(chǔ)利用C語言進(jìn)行設(shè)計之外,,最近還在DMA處理方面充實(shí)了各種模板,,即使是不精通系統(tǒng)LSI的內(nèi)部架構(gòu),也可輕松優(yōu)化電路構(gòu)成,。
一般而言,,用動態(tài)可重構(gòu)技術(shù)的運(yùn)算器陣列開始實(shí)施數(shù)據(jù)處理時,需要利用DMA控制電路從主存儲器等的DRAM向運(yùn)算器陣列的RAM單元及寄存器讀入數(shù)據(jù),。對這些從主存儲器轉(zhuǎn)移數(shù)據(jù)的操作實(shí)施優(yōu)化的話,,還會影響主存儲器的延遲時間以及內(nèi)部總線的構(gòu)成等,因此對普通軟件技術(shù)人員來說門檻較高,。
STP引擎將這些與DMA相關(guān)的處理事先匯總成了模板,。這樣,便可輕松實(shí)施諸如將某項(xiàng)功能向什么模塊做分割并行化處理的全局性優(yōu)化,。比如,,Yoozma的數(shù)字電視發(fā)送器,其數(shù)字電視的基帶處理當(dāng)初需要使用4塊芯片的STP引擎,。但后來通過使用模板嘗試多種模塊分配,最終將芯片數(shù)量優(yōu)化為了兩塊(圖5),。
圖5:利用瑞薩電子的STP引擎實(shí)施優(yōu)化的示例
圖中列出了微波數(shù)字電視發(fā)送設(shè)備的設(shè)計優(yōu)化過程,。在最初試行時使用4塊芯片的STP引擎,但最終優(yōu)化為了兩塊芯片的構(gòu)成,。(圖片源自瑞薩電子)
DAPDNA也走向復(fù)活
被富士施樂作為圖像處理加速器采用于辦公一體機(jī)等的東京計器DAPDNA系列也從暫時的動蕩中擺脫出來,,正順利走向復(fù)活。開發(fā)出DAPDNA的原IPflex公司由于營銷戰(zhàn)略失誤等于2009年7月申請進(jìn)入破產(chǎn)程序,,在債務(wù)清理過程中,,曾為DAPDNA用戶的東京計器并入了原IPflex公司的核心技術(shù)人員,并接手了銷售,、開發(fā)及客服等全部業(yè)務(wù),。
由于富士施樂等今后有意繼續(xù)使用DAPDNA,因此東京計器決定開發(fā)新版芯片,。作為富士施樂采用的圖像處理芯片“DAPDNA-IMX”的后續(xù)產(chǎn)品,,將投放“DAPDNA-IM2”(表1)。
新版芯片在保持運(yùn)算器數(shù)量與原產(chǎn)品同為1000個左右的同時,,將制造技術(shù)從90nm工藝微細(xì)化到了65nm工藝,,降低了制造成本,,有望培育成贏利業(yè)務(wù)。與原產(chǎn)品相比,,雖然運(yùn)算器數(shù)量一樣,,但工作頻率提高到了約1.5倍,性能更高,。