AI(人工智能),,是目前科技行業(yè)最火的話題,。從Alpha Go戰(zhàn)勝圍棋世界冠軍柯潔,,到德勤與Kira Systems 聯(lián)手,,將AI引入會(huì)計(jì),、稅務(wù),、審計(jì)等財(cái)務(wù)工作領(lǐng)域,,可以看出,,AI離我們的生活越來(lái)越近了,。
AI到底能做什么,,每個(gè)人都有自己的看法,大家對(duì)AI有著非常多的期待,,期待AI能夠解放人類雙手,,提高人類的工作效率。但不管怎么樣,,大家都希望AI可以讓機(jī)器像人一樣思考學(xué)習(xí),,像人一樣聽(tīng)懂語(yǔ)音識(shí)別,像人一樣控制運(yùn)動(dòng),,像人一樣進(jìn)行視覺(jué)識(shí)別,,用機(jī)器實(shí)現(xiàn)目前所有必須借助人類智慧才能實(shí)現(xiàn)的任務(wù)。
在AI技術(shù)里,,人工神經(jīng)網(wǎng)絡(luò)非常關(guān)鍵,。在人工神經(jīng)網(wǎng)絡(luò)模型中,,其結(jié)構(gòu)分為輸入層,隱藏層和輸出層,。(如下圖)
而做為AI的輸入,,目前主要是通過(guò)視覺(jué)輸入和語(yǔ)音輸入。為了讓機(jī)器像人一樣進(jìn)行視覺(jué)識(shí)別,,目前最重要的器件就是Camera sensor,。Camera sensor就像機(jī)器的眼睛,為機(jī)器感知周圍的世界,。Camera sensor的拍照效果,,跟很多參數(shù)有關(guān),曝光時(shí)間是圖像傳感器其中一個(gè)重要的參數(shù),,而快門速度則會(huì)影響到Camera sensor的曝光時(shí)間,。
那什么是快門呢?
快門主要用來(lái)控制攝像頭傳感器的有效曝光時(shí)間,。一般而言快門的時(shí)間范圍越大越好,。若想抓到急速移動(dòng)的物體,就需要快門速度越快越好,。而若需要看到夜晚的車水馬龍,,就需要快門時(shí)間越長(zhǎng)越好。
目前主要由兩種曝光Shutter技術(shù): Rolling Shutter 和 Global Shutter
Rolling Shutter:
Rolling Shutter的sensor 的曝光是按照逐行曝光的方式實(shí)現(xiàn),。在曝光開始的時(shí)候,,Sensor逐行掃描逐行進(jìn)行曝光,直至所有像素點(diǎn)都被曝光,。當(dāng)然,,所有的動(dòng)作在極短的時(shí)間內(nèi)完成。不同行像元的曝光時(shí)間不同,。
?。▓D片來(lái)源于網(wǎng)絡(luò))
與RollingShutter不同,是整幅畫面同一時(shí)間曝光實(shí)現(xiàn),。攝像頭傳感器sensor的所有像素點(diǎn)同一時(shí)間感應(yīng)光線,,同時(shí)曝光。Sensor讀出的是同一時(shí)間的同一畫面,。
?。▓D片來(lái)源于網(wǎng)絡(luò))
下面有兩張圖可以介紹這兩種技術(shù):
(圖片來(lái)源于網(wǎng)絡(luò))
左邊的圖是Rolling shutter的曝光方式,逐行掃描,。而右面的圖則是Global Shutter的曝光方式,,所有像素點(diǎn)一起曝光。
在拍照的時(shí)候,Rolling Shutter成像過(guò)程如下圖:
左邊,,是一個(gè)常見(jiàn)的場(chǎng)景(上面風(fēng)扇,,下面小汽車),Rolling Shutter對(duì)它進(jìn)行逐行掃描,,成像結(jié)果如右圖,。面對(duì)一個(gè)運(yùn)動(dòng)中的物體,Rolling Shutter是一行一行曝光,,采集畫面,所以形變非常嚴(yán)重,。而Global Shutter是所有像素同時(shí)曝光,,所以不會(huì)產(chǎn)生此形變。
?。▓D片來(lái)源于網(wǎng)絡(luò))
之所以Global Shutter 能夠做到全局曝光,,跟Rolling Shutter相比,主要是Global Shutter在每一個(gè)像素上都增加了一個(gè)存儲(chǔ)單元,,才使得所有的像素能夠同時(shí)曝光,。
同Rolling shutter相比,Global shutter的sensor可以很好的解決以下問(wèn)題:
1. 高速物體變形 (左圖是采用Global shutter技術(shù)的 SmartSens SC132GS拍攝的圖片,,右圖是 Rolling shutter sensor拍攝的圖片),。
可以明顯看出用Rolling shutter sensor拍攝高速運(yùn)動(dòng)的風(fēng)扇,物體會(huì)變形,。
?。▓D片來(lái)源于SmartSens)
2. 明暗現(xiàn)象 (左圖是采用Global shutter技術(shù)的 SC132GS拍攝的圖片,右圖是沒(méi)有采用HDR技術(shù)拍攝的圖片)
在光線有明暗變化的時(shí)候,,左圖Global shutter sensor 不會(huì)有明暗瑕疵,,可以做到單幀HDR。
?。▓D片來(lái)源于SmartSens)
成像技術(shù)不停的演進(jìn),,促進(jìn)了AI的發(fā)展。通過(guò)AI,,大數(shù)據(jù)和互聯(lián)網(wǎng)技術(shù),,帶動(dòng)了智慧城市的建設(shè)。智能安防,,智慧交通,,智慧工廠,智慧商業(yè),,智能家居,,都能看到Camera的身影。一般情況下,,Rolling shutter技術(shù)就足夠了,,但若要捕捉高速運(yùn)動(dòng)物體,,或在環(huán)境光條件不理想的情況下獲取清晰圖像的時(shí)候,使用Global Shutter技術(shù),,無(wú)疑會(huì)帶來(lái)更好的效果,。
1. 智慧安防
目前來(lái)看,AI最容易落地的就是安防領(lǐng)域,。通過(guò)AI技術(shù),,將監(jiān)控中的人準(zhǔn)確無(wú)誤的抓拍下來(lái),可以最大化的實(shí)現(xiàn)監(jiān)控目的,。一般情況下,,安防Camera主要抓拍的都是行人,都是慢速運(yùn)動(dòng)的物體,,Rolling shutter sensor就可以勝任,。但若通過(guò)Global shutter sensor,則可以在高速移動(dòng)的拍攝場(chǎng)景中有效降低圖像畸變,,避免了抓拍時(shí),,人物或物體運(yùn)動(dòng)帶來(lái)的斜坡晃動(dòng)現(xiàn)象,以及人臉模糊的問(wèn)題,,從而提供更清晰的圖像,。因此在高速違章查處,卡口ETC等需要道路監(jiān)控的地方,,Global Shutter比Rolling Shutter更加勝任,。
2. 智慧交通
為了讓城市交通更加便利,疏導(dǎo)公共交通,,智慧交通系統(tǒng)是解決交通發(fā)展瓶頸的有效手段之一,。高速違章查處,卡口ETC,,十字路口的道路監(jiān)控,,停車場(chǎng)的智能管理,道路流量監(jiān)測(cè),,電子警察等都離不開成像技術(shù),。只有準(zhǔn)確的成像信息,才能更加準(zhǔn)確地判斷當(dāng)前的路況以及車輛的情況,,才能更好地實(shí)現(xiàn)智慧交通,。這個(gè)時(shí)候,Global shutter可以更好的助力智慧交通,。
為了實(shí)現(xiàn)智慧交通,,從汽車角度來(lái)看,新型汽車都在從ADAS輔助駕駛向自動(dòng)駕駛的方向演進(jìn)。無(wú)論是輔助駕駛還是自動(dòng)駕駛,,汽車的中控芯片對(duì)sensor接收下來(lái)的圖像信息要求越來(lái)越高,。中控芯片需要sensor在車輛高速運(yùn)動(dòng)中,不僅提供沒(méi)有變形的清晰圖片,,還需要提供周邊物體與車輛的距離,。而Global shutter sensor一方面可以避免車輛高速運(yùn)動(dòng)時(shí),Rolling shutter sensor 拍攝變形的問(wèn)題,,另外一方面,,結(jié)合結(jié)構(gòu)光技術(shù)(接收sensor是Global shutter的)或者雙目攝像頭(兩個(gè)攝像頭若都是Global shutter最好)技術(shù),就可以提供更清晰的圖像,,以便于中控更加精準(zhǔn)的計(jì)算出周邊物體與車體的距離,,判斷當(dāng)前的路況,判斷交通燈的狀況,,才能使車輛行駛更加安全。
?。▓D片來(lái)源于網(wǎng)絡(luò))
3. 智慧工廠
由于Global shutter sensor可以清楚的還原高速運(yùn)動(dòng)中的物體的形態(tài),,有效避免Rolling shutter sensor 擔(dān)心圖像質(zhì)量而降低自動(dòng)流水線的速度問(wèn)題。所以大型工廠在檢測(cè),,質(zhì)量管控,,機(jī)械臂操作,物流,,測(cè)量等自動(dòng)化生產(chǎn)時(shí),,使用Global shutter可以提高生產(chǎn)效率。
4. 智慧商業(yè)
隨著支付寶,,微信支付的發(fā)展,,國(guó)內(nèi)二維碼支付變得非常流行。而對(duì)于店家來(lái)講,,掃碼設(shè)備的需求也在增長(zhǎng),。對(duì)于掃碼設(shè)備來(lái)講,若用Global shutter sensor可以使掃碼設(shè)備的可識(shí)別區(qū)域變長(zhǎng),,使用戶擁有更優(yōu)的體驗(yàn)感,。
(圖片來(lái)源于SmartSens)
5. 智能家居
家用設(shè)備若要智能化,,也需要Camera的幫忙,。比如,掃地機(jī)器人,。掃地機(jī)器人若想將屋內(nèi)的空間測(cè)量出來(lái)或者識(shí)別前方是否有障礙物,,都離不開Camera這只眼睛。同樣,Global shutter則可以幫助掃地機(jī)器人更加精準(zhǔn)的獲得距離信息,,使得掃地機(jī)器人更加智能化,。
雖然說(shuō)Global Shutter 有很多優(yōu)勢(shì),但是也無(wú)法完全替代Rolling Shutter,。Global shutter sensor適用于拍攝高速運(yùn)動(dòng)物體,,或AI應(yīng)用中基于機(jī)器視覺(jué)算法的智能感知技術(shù)(vSLAM/手勢(shì)跟蹤識(shí)別/光流等算法),Rolling Shutter sensor則適用于拍攝運(yùn)動(dòng)速度相對(duì)較慢的物體或場(chǎng)景,,可獲得更高的成像信噪比,。而且由于Global shutter 需要對(duì)每個(gè)像素都要增加一個(gè)存儲(chǔ)單元,這樣增加了sensor的生產(chǎn)難度以及成本,。
考慮到BSI在低照條件下的成像亮度和清晰度都比FSI有更大的優(yōu)勢(shì),,可以有效增加Global shutter sensor在應(yīng)用場(chǎng)景上的拓展,適應(yīng)性更廣,,SmartSens首創(chuàng)將BSI技術(shù)和Global shutter技術(shù)相結(jié)合,,發(fā)布了多款基于BSI(背照式)的Global Shutter sensor產(chǎn)品。
AI和IoT的發(fā)展,,影響著人們的生活,,甚至在改變?nèi)藗兊纳睢6鰹锳I和IoT的眼睛,,Camera sensor的技術(shù)發(fā)展也間接影響著AI和IoT的發(fā)展,。SmartSens的理念是服務(wù)于應(yīng)用技術(shù)的發(fā)展趨勢(shì),根據(jù)市場(chǎng)和應(yīng)用技術(shù)的需求,,將看清萬(wàn)物的“眼”做到極致,。通過(guò)不斷完善提升CMOS成像傳感器的設(shè)計(jì)和制造能力,為AI和IoT點(diǎn)睛,。