智能手機(jī)已逐漸進(jìn)入產(chǎn)品成熟期,,手機(jī)廠商在硬件規(guī)格的競爭也越趨激烈,,使得軟件應(yīng)用逐漸成為實(shí)現(xiàn)差異化的新途徑,廠商除了將觸角延伸至 IoT 領(lǐng)域之外,,若能開發(fā)自家獨(dú)特的 AI 軟件應(yīng)用,,也有助于加強(qiáng)消費(fèi)者黏著度,。
例如,Apple 近來強(qiáng)調(diào)轉(zhuǎn)型軟件與生態(tài)系廠商,,Google 也持續(xù)開發(fā)更多 AI 軟件應(yīng)用服務(wù),,并優(yōu)先搭載于自家 Pixel 手機(jī),。 智能手機(jī)已進(jìn)入產(chǎn)品成熟期,廠商積極強(qiáng)化 AI 應(yīng)用 2019 年全球智能手機(jī)生產(chǎn)數(shù)量呈現(xiàn)年衰退,,主要是因?yàn)槭謾C(jī)滲透率逐漸達(dá)到飽和且進(jìn)入產(chǎn)品成熟期,,雖仍有曲面屏、多鏡頭與屏下指紋等硬件創(chuàng)新,,但并未明顯提升消費(fèi)者體驗(yàn),,故無法有效帶動換機(jī)潮產(chǎn)生。 因此 Apple 已宣布積極轉(zhuǎn)型為軟件與生態(tài)系廠商,,持續(xù)擴(kuò)展「生態(tài)系服務(wù)」,,推出 iTunes Store、App Store,、Apple Pay,、Apple Music、iCloud,、Apple News+(新聞訂閱),、TV+(串流影音)、Apple Arcade(游戲訂閱)與 Apple Card(信用卡)等服務(wù),。
▲Apple Music,,source:Apple
在手機(jī)軟件應(yīng)用服務(wù)明顯發(fā)力的還有 Google,于 2019 年 12 月 9 日宣布推出全新策略「Feature Drop」,,將藉由 AI 功能優(yōu)化應(yīng)用服務(wù),,以持續(xù)提升新舊款 Pixel 手機(jī)消費(fèi)者使用體驗(yàn),象是自動過濾騷擾電話,、照片與視訊通話時背景虛化等,,且這些更新不侷限于最新款 Pixel 手機(jī),,而將視硬件需求開放給不同機(jī)型使用,。 觀察現(xiàn)有手機(jī)廠商進(jìn)展,歸納出以下幾項(xiàng)目前較為主流的 AI 手機(jī)應(yīng)用:
(一) 圖像識別
隨著 AI 算法提升,,相機(jī)功能變得更為強(qiáng)大,,衍生出更多臉部識別應(yīng)用,使得圖像識別在目前 AI 手機(jī)應(yīng)用中最為廣泛,。
健康管理
Johnson & Johnson 旗下 Neutrogena 于 2020 年初發(fā)布新版 Neutrogena Skin360,,借由 AI 算法的增強(qiáng),達(dá)到不需外掛硬件即可檢測黑眼圈,、皺紋,、細(xì)紋、光滑度與黑斑等,。除了膚質(zhì)檢測外,,借由與實(shí)時天氣數(shù)據(jù)結(jié)合,,提供 8 周個性化相關(guān)護(hù)膚方案,并提供 Johnson & Johnson 相關(guān)保養(yǎng)品建議,,建構(gòu)整個膚質(zhì)管理生態(tài)圈,。 目前搭載 Kirin 990 機(jī)型的華為 Mate 30 和榮耀 V30 也推出芯心兼容 App,透過手機(jī)鏡頭捕捉心臟收縮和舒張引起的面部吸收光照差異之微弱信號,,并利用 AI 技術(shù)估算出人體的心率和呼吸率等數(shù)據(jù),。 整體來說,智能手機(jī)受惠于 AI 相機(jī)算法改善,,因而有機(jī)會打入健康管理市場,,改變過去須配合智能手環(huán)和智能手表等其他穿戴裝置才能使用的模式。若未來手機(jī)能提供更精準(zhǔn)的檢測結(jié)果,,再配合大數(shù)據(jù)分析提供進(jìn)階健康照護(hù)建議,,將可進(jìn)一步擴(kuò)展商機(jī)。
視訊強(qiáng)化與拍照
Google 推出「語義圖像分割(Semantic Image Segmentation)」技術(shù),,將語義標(biāo)簽(如道路,、天空、人與狗等)分配給輸入圖像的每個畫素,,更精確定位物體輪廓,,并開源其語義圖像分割模型 DeepLab-v3+。 隨著語義圖像分割發(fā)展持續(xù)進(jìn)步,,Google 也推出舊照片和視訊通話皆可背景虛化的功能,,以做出景深效果,讓視訊通話時人像更清晰,。此外,,榮耀 V30 手機(jī)已實(shí)裝 AI 視頻全景替換功能,在視訊通話時可以隨時替換背景且背景可動,。而 Qualcomm 也于 Qualcomm Snapdragon Summit 2019 年展示視訊通話時將頭像卡通化的功能,,增添個人特色。 此外,,Google 充分運(yùn)用 Pixel 4 前鏡頭廣角功能,,搭配 AI 算法加強(qiáng)人臉識別,因此視訊通話時不論人物如何移動,,人臉將永遠(yuǎn)置于熒幕中央,,或當(dāng)視訊同時存在兩個人時,可確保同時入鏡,。 在拍照功能上,,CIS 芯片大廠 Sony 主打?qū)崟r人眼對焦(Eye AF),強(qiáng)調(diào)雙眼是構(gòu)成一幅絕佳肖像不可或缺的元素,,且此實(shí)時眼部偵測自動對焦功能已拓展到動物世界,,可自動偵測并追蹤動物雙眼,,而人眼追焦功能目前已在 vivo X30 Pro 上實(shí)裝,預(yù)期有機(jī)會獲得更多手機(jī)品牌采用,。
隔空操作
2019 年陸續(xù)有 3 支智能手機(jī)以隔空手勢操作為主要賣點(diǎn):LG G8 ThinQ 手勢操作名為「Air Motion」,,借由前鏡頭搭載 ToF 鏡頭,實(shí)現(xiàn)更精準(zhǔn)臉部識別與手勢識別操作功能,,例如想要截圖可透過在屏幕幕前做出五指并攏和抓取動作,;若在手機(jī)屏幕前左右揮舞,可呼叫音樂和簡訊等功能,;若要調(diào)節(jié)音量則進(jìn)行扭轉(zhuǎn)旋鈕動作,。 華為 Mate 30 Pro 同樣以前鏡頭搭載 ToF 鏡頭,操作時只要在前鏡頭前方張開手掌,,接著做出捏合姿勢就可屏幕截圖,,上下?lián)]動手掌就能滑動頁面。
▲Google Pixel 4 手勢功能「Motion Sense」,,source:Google
Google Pixel 4 手勢功能則稱作「Motion Sense」,,采用 Project Soli 技術(shù)(運(yùn)用微型雷達(dá)監(jiān)測空中手勢動作的感測技術(shù)),在 Pixel 4 前置鏡頭模塊中搭載 1 塊雷達(dá)芯片,,其會先發(fā)射電磁波,,波束會在用戶產(chǎn)生動作后反射回手機(jī)的傳感器,再根據(jù)波束變化偵測用戶雙手動作,,從而實(shí)現(xiàn)手勢操作,。 此外,Samsung 旗下 C-Lab 也于 CES 2020 展示隔空打字新技術(shù) SelfieType,,不同于前幾年的雷射鍵盤需另外搭載投影紅外線的硬件,,三星僅透過手機(jī)前置鏡頭和 AI 人工智能追蹤用戶雙手,即可在桌面上出現(xiàn)隱形鍵盤,。 不過,,整體來說手勢操作現(xiàn)階段仍以手機(jī)廠商展示自身技術(shù)為主,實(shí)際上的應(yīng)用有限,,某些功能在設(shè)定或操作上也略為復(fù)雜,,使得手勢操作目前仍不普及。
智能防偷窺
華為 Mate 30 Pro 推出防偷窺功能,,借由前鏡頭支援 3D 人臉識別,可保護(hù)使用者隱私,。當(dāng)前鏡頭識別有其他人出現(xiàn)在偵測范圍內(nèi),,此時屏幕的訊息和行事歷等將自動上鎖,主要仍是借由前鏡頭與 AI 搭配人臉識別完成隱私保護(hù),。
(二)實(shí)時語音識別與自然語言處理
語音識別和自然語言處理的最新 AI 應(yīng)用,,主要為實(shí)時語音轉(zhuǎn)字幕與實(shí)時翻譯,,隨著 AI 運(yùn)算功能加強(qiáng),可實(shí)時在終端裝置完成,,不需將信息先傳到云端再回傳終端裝置,。 語音轉(zhuǎn)字幕與翻譯雖然實(shí)務(wù)上早就能做到,但過往受限于 AI 運(yùn)算能力不足,,需先回傳云端處理后再傳給終端裝置,。例如 Google 云端硬盤早已提供語音轉(zhuǎn)字幕功能,但需先登入,,再播放音檔讓 Google 云端進(jìn)行處理,,也就是需要透過 Google 強(qiáng)大的云計(jì)算能力才得以完成,不僅需使用網(wǎng)絡(luò)流量造成不便,,且容易造成隱私困擾,。
▲Google Pixel 4 Live Caption 功能,source:Google
不過,,Google Pixel 4 已率先實(shí)裝 Live Caption 功能(目前僅支援英文語音轉(zhuǎn)英文字幕),,強(qiáng)調(diào)實(shí)時語音轉(zhuǎn)字幕不需使用任何連網(wǎng)數(shù)據(jù),所有音頻和字幕都在終端裝置處理,,也不會儲存或發(fā)送給 Google,;小米集團(tuán)旗下的 Redmi K30 5G 版也實(shí)裝中文語音轉(zhuǎn)中文字幕功能。實(shí)時翻譯功能方面,,Qualcomm 在 Qualcomm Snapdragon Summit 2019 中,,已展示如何只透過手機(jī)、不需經(jīng)過云端回傳即可完成實(shí)時翻譯(離線亦能實(shí)時翻譯),。 整體來說,,不用透過云端就可達(dá)成實(shí)時語音轉(zhuǎn)字幕與實(shí)時翻譯,主要因手機(jī)芯片的 AI 運(yùn)算能力加強(qiáng),,例如 Google 的 Live Caption 功能剛推出時僅能于 Pixel 4 使用,,目前也僅下放至 Pixel 3 機(jī)型,而 Qualcomm 展示 Snapdragon 865 實(shí)時翻譯功能,,主要也是為了強(qiáng)調(diào)其 AI 運(yùn)算能力的強(qiáng)大,。實(shí)時語音轉(zhuǎn)字幕與實(shí)時翻譯由于不用透過云端,可降低延遲,、減少頻寬需求并提高 App 使用方便性,,同時安全性也更高,避免隱私外流風(fēng)險,。
(三) 其他應(yīng)用
Google Pixel 4 也藉由 Google Assistant 進(jìn)行語音識別以自動過濾騷擾電話(Call Screen),,過程中不需使用任何網(wǎng)絡(luò)流量,但會計(jì)入電話費(fèi)(此功能目前只支援英文,限美加地區(qū)使用,。)若是未知電話,,Google Assistant 可以在電話響起前就自動屏蔽;若是一般電話,,則透過 Google Assistant 接聽并詢問來電者身分和來電原因,,只要判定是語音自動電話或騷擾電話,就會掛斷,;若判定不是,,手機(jī)就會響鈴并顯示來電者的回覆。 此功能也會根據(jù)手機(jī)的聯(lián)絡(luò)人決定是否過濾來電,,若不想過濾特定號碼,,就要將號碼儲存為聯(lián)絡(luò)人。手機(jī)還可根據(jù) Google 騷擾電話數(shù)據(jù)庫中的號碼偵測語音自動電話和騷擾電話,,因此在初次設(shè)定時仍需網(wǎng)絡(luò)連線,,設(shè)定完畢才可關(guān)閉連線。 AI 應(yīng)用將持續(xù)帶動手機(jī)硬件提升 總結(jié)來看,,近期市場出現(xiàn)越來越多前鏡頭結(jié)合 AI 的應(yīng)用,,尤以提供手勢或臉部識別為主的機(jī)型,基本上都需搭 ToF 感測模塊或雷達(dá)以提供更好識別能力,。
此外,,Google 提供視訊人臉置中和同時 2 人入鏡功能,也都依賴前鏡頭廣角功能,,一般主攝鏡頭在視野受限下無法足夠取景,。預(yù)期未來前鏡頭的規(guī)格會持續(xù)升級,象是畫素提升或引入微距鏡頭等,,以實(shí)現(xiàn)更多 AI 應(yīng)用,。 不過,AI 運(yùn)用最主要還是仰賴處理器的 AI 運(yùn)算能力,,隨著 AI 引擎持續(xù)改善,,可以改善原本需回傳云端處理再傳回終端裝置的狀況,終端裝置于離線時即可提供許多 AI 運(yùn)用,,不僅降低延遲也減少頻寬需求,,使 App 在應(yīng)用上更方便,更不須使用網(wǎng)絡(luò)或依賴云資源,,進(jìn)而提高安全性,。