摘  要： 回顧了圖像風(fēng)格化繪制的發(fā)展過(guò)程,，分類介紹了各種方法的特點(diǎn)，最后闡述了圖像風(fēng)格化仍需解決的問(wèn)題和未來(lái)可能的發(fā)展方向,。

關(guān)鍵詞： 非真實(shí)感繪制,；筆觸；圖像處理

       卡通應(yīng)用非常廣泛,，在電子郵件（個(gè)性化簽名）,、即時(shí)通信（個(gè)性化人臉圖標(biāo)）、手機(jī)彩信,、個(gè)性化賀卡,、視頻會(huì)議、影視動(dòng)畫(huà),、娛樂(lè)游戲等領(lǐng)域都有很大的應(yīng)用空間,。傳統(tǒng)的卡通是由專業(yè)美術(shù)人員手繪產(chǎn)生的，創(chuàng)作者需要經(jīng)過(guò)長(zhǎng)期的練習(xí)才能具備這種本領(lǐng),，并且這種創(chuàng)作方式效率低下,。如何通過(guò)計(jì)算機(jī)輔助的方法,，讓普通用戶也能夠生成具有特定人物特征的人臉卡通,，以提高繪制卡通畫(huà)的效率，是一個(gè)具有挑戰(zhàn)性的課題,。

       人臉卡通化的方法主要有3類：（1）基于人臉變形的卡通圖像生成方法,；（2）人臉圖像五官匹配卡通化；（3）圖像風(fēng)格化,。

       基于人臉變形[1-2]的卡通圖像生成方法,，通常做法是根據(jù)特征點(diǎn)計(jì)算人臉面部特征值來(lái)判斷需要夸張的部分和各自的夸張變形規(guī)則；然后根據(jù)特征點(diǎn)生成不同層級(jí)的網(wǎng)格并根據(jù)不同的變形規(guī)則分層實(shí)施夸張變形,，生成類似漫畫(huà)的圖像效果,。

       人臉圖像五官匹配卡通化[3-5]，是根據(jù)所需要的表情從素材庫(kù)中調(diào)取相應(yīng)的五官,，利用素材庫(kù)里的素材對(duì)人臉圖像的五官進(jìn)行匹配或者替換從而生成出卡通圖像,。

       圖像風(fēng)格化卡通化方法[6]，即非真實(shí)感渲染,，是利用計(jì)算機(jī)生成不具有照片般真實(shí)感,，而具有手繪風(fēng)格的圖形的技術(shù)。其目標(biāo)不在于圖形的真實(shí)性,，而主要在于表現(xiàn)圖形的藝術(shù)特質(zhì),、模擬藝術(shù)作品（甚至包括作品中的缺陷）或作為真實(shí)感圖形的有效補(bǔ)充。

       本文主要介紹人臉圖像風(fēng)格化的卡通化技術(shù),，因?yàn)槟壳八膽?yīng)用最為普遍,。

1 人臉圖像風(fēng)格化

       人臉圖像風(fēng)格化是非真實(shí)感渲染研究中的一個(gè)分支,，之所以得到廣泛應(yīng)用，主要得益于它能實(shí)現(xiàn)很多藝術(shù)作品的模擬創(chuàng)作和動(dòng)畫(huà)卡通渲染制作,，如水彩畫(huà),、各種風(fēng)格的油畫(huà)、中國(guó)畫(huà)以及卡通動(dòng)畫(huà)等,。下面對(duì)圖像風(fēng)格化技術(shù)分別進(jìn)行介紹,。

1.1 基于筆觸模擬的繪制技術(shù)

       基于筆觸模擬的繪制技術(shù)著眼于模仿畫(huà)家的創(chuàng)作過(guò)程，這類技術(shù)主要有筆畫(huà)屬性的定義,、筆畫(huà)的布置策略以及筆畫(huà)方向設(shè)計(jì)3個(gè)方面,。該技術(shù)在發(fā)展初期，對(duì)筆畫(huà)的定義以及筆畫(huà)布置策略的設(shè)計(jì)成為研究重點(diǎn),，如何自動(dòng)布置筆畫(huà),、渲染筆畫(huà)是這時(shí)期的主要工作，隨著研究逐漸成熟,，如何生成更自然,、逼真的藝術(shù)作品逐漸成為大家追求的新目標(biāo)。下面根據(jù)各繪制技術(shù)特點(diǎn)進(jìn)行分類介紹,。

（1）筆畫(huà)屬性

       HAEBERLI P[7]的系統(tǒng)可以用最少的勞力達(dá)到將圖像轉(zhuǎn)換成印象派的繪畫(huà),，該系統(tǒng)通過(guò)人工的放置筆畫(huà)，決定筆畫(huà)的放置順序,，每點(diǎn)擊一下就會(huì)產(chǎn)生一個(gè)基本圖像顏色的虛擬筆刷筆畫(huà),，筆畫(huà)的屬性與源圖像是一致的，筆畫(huà)的顏色和方向都是來(lái)自于源圖像,，筆畫(huà)的順序和尺寸大小都是用戶選擇的,，是產(chǎn)生符合審美且沒(méi)有丟失顯著細(xì)節(jié)的結(jié)果圖像的關(guān)鍵?？煽闯鲞@一工作中筆畫(huà)具有位置,、尺寸、顏色,、方向以及形狀的屬性,，而其中大部分屬性的確定都來(lái)源于用戶交互輸入。這一工作為后來(lái)的繪制技術(shù)提供了有意義的參考,，比如對(duì)筆畫(huà)關(guān)鍵屬性的定義就被后來(lái)的繪制技術(shù)采納,。然而，過(guò)多的交互使得這種方法對(duì)用戶的要求很高,，因此如何實(shí)現(xiàn)自動(dòng)繪制成了后來(lái)的關(guān)注重點(diǎn),。

（2）筆畫(huà)布置

       基于圖像的藝術(shù)風(fēng)格化渲染的第一個(gè)自動(dòng)化解決方案在LITWINOWICZ P[8]提出的繪畫(huà)渲染工具中進(jìn)行了詳細(xì)描述。系統(tǒng)中這個(gè)畫(huà)布被均勻地分成一定大小的柵格,，按已有規(guī)律的間隔在畫(huà)布上放置矩形筆刷筆畫(huà),，保留了隨機(jī)繪畫(huà)順序,，但是引入了裁剪筆畫(huà)的新方法，根據(jù)源圖像的Sobel邊緣閾值裁剪,。對(duì)筆畫(huà)進(jìn)行裁剪可以減輕不重要區(qū)域的筆劃覆蓋重要區(qū)域的現(xiàn)象,。一個(gè)更遠(yuǎn)的貢獻(xiàn)是在基本沒(méi)有紋理的平坦區(qū)域內(nèi)插入圖像梯度。這樣的區(qū)域會(huì)造成偽梯度方向,，產(chǎn)生混亂的筆畫(huà)方向,。LITWINOWICZ P采用薄板樣條從很強(qiáng)邊緣的筆畫(huà)中選取插入筆畫(huà)方向。但該技術(shù)的筆畫(huà)布置僅是直線形式,，直接限制了藝術(shù)表現(xiàn)力,。

       固定尺寸的矩形筆畫(huà)，雖然經(jīng)過(guò)裁剪,，但是處理后的圖像效果缺少審美,。HERTZMANN[9]提出通過(guò)基于多層以及曲線筆畫(huà)的繪制方法來(lái)解決該問(wèn)題。該算法通過(guò)低通金字塔來(lái)進(jìn)行操作,，對(duì)源圖像以逐漸增加尺度的方式進(jìn)行一系列的高斯模糊,。金字塔越小的尺度相應(yīng)也就是越小的筆畫(huà)。在繪畫(huà)層的每一次迭代處理過(guò)程中,，筆畫(huà)根據(jù)位置上的梯度信息來(lái)放置,。然而，如果在給定鄰域的圖像內(nèi)容與相對(duì)應(yīng)的粗尺度區(qū)域無(wú)區(qū)別時(shí),，將不用放置筆畫(huà),。因此大筆畫(huà)常放在更平坦的區(qū)域,，而小筆畫(huà)一般出現(xiàn)在邊緣細(xì)節(jié)附近,。在此基礎(chǔ)上，傳統(tǒng)筆畫(huà)的直線布置被一系列控制點(diǎn)取代,，進(jìn)而對(duì)這些控制點(diǎn)進(jìn)行反走樣3次B樣條擬合,，從而形成自然的彎曲筆畫(huà)。這種多尺度曲線繪制能更好地模擬真實(shí)的繪制過(guò)程,，對(duì)后來(lái)的繪制技術(shù)有重要影響,。

       隨著筆畫(huà)定義和布置模式的逐漸成熟，筆畫(huà)的走向向視覺(jué)元素轉(zhuǎn)換逐漸成為繪制效果的瓶頸,，隨后對(duì)此進(jìn)行了改善工作,。

（3）筆畫(huà)方向

       在總結(jié)之前各種方法優(yōu)點(diǎn)的基礎(chǔ)上，HAYS J和ESSA I[10]提出了一種統(tǒng)一的繪制框架,，并重點(diǎn)對(duì)筆畫(huà)方向的計(jì)算進(jìn)行了改善,。該方法除了采用分層繪制機(jī)制以及曲線筆畫(huà)，還計(jì)算了筆畫(huà)方向場(chǎng),。之前的繪制技術(shù)對(duì)筆畫(huà)方向主要為局部梯度的法向,，然而這樣的方式對(duì)局部梯度的噪聲非常敏感,，造成筆畫(huà)比較明顯時(shí)畫(huà)面較亂。而在HAYS J和ESSA I系統(tǒng)中,，一些局部梯度較強(qiáng)的點(diǎn)被選為種子點(diǎn),，這些點(diǎn)處的方向由梯度方向決定。其他點(diǎn)的方向由這些種子進(jìn)行RBF插值獲得,，這樣方式確定的筆畫(huà)方向更自然,、平滑。圖1給出了這種方法的繪制結(jié)果,，其中圖1（a）為輸入目標(biāo)圖像,，圖1（b）為繪制結(jié)果。

1.2 基于感知重要性的繪制技術(shù)

       DECARLO D和SANTELLA A[11]是第一批采用圖像分割應(yīng)用于圖像風(fēng)格化渲染的人,。圖像用Mean-shift的變種,，降低采樣率方式分割。一個(gè)尺度空間等級(jí)的形成通過(guò)確定粗尺度的區(qū)域,，該區(qū)域與鄰近的細(xì)尺度區(qū)域有重疊,，并且與細(xì)尺度區(qū)域享有相似的顏色。這個(gè)等級(jí)表示一幅圖像可以以高度抽象的形式被渲染（使用金字塔頂部的粗尺度區(qū)域）,，或者對(duì)于某些區(qū)域通過(guò)減小等級(jí)進(jìn)行局部分解成更小的紋理區(qū)域,。這個(gè)過(guò)程由凝視追蹤驅(qū)動(dòng)。觀察者看源圖像,，記錄他們的注視持續(xù)時(shí)間和地點(diǎn),。圖像的每個(gè)區(qū)域的渲染細(xì)節(jié)水平是確定的。區(qū)域采用平鋪彩色著色渲染,，用Canny邊緣檢測(cè)的平滑的黑色外輪廓,。圖2給出了該方法的繪制過(guò)程。通過(guò)僅強(qiáng)調(diào)感知重要的細(xì)節(jié),，描述場(chǎng)景的顯著細(xì)節(jié),，抽掉無(wú)關(guān)的細(xì)節(jié)，達(dá)到圖像卡通化效果,。

1.3 基于圖像抽象化繪制技術(shù)

       基于圖像抽象化的繪制技術(shù)是無(wú)需專門硬件和用戶參與的,，建模簡(jiǎn)單，時(shí)間復(fù)雜度低,，直接對(duì)原圖像進(jìn)行操作的卡通畫(huà)渲染方法,。

（1）基于雙邊濾波和DoG的風(fēng)格化

       基于圖像和視頻卡通渲染風(fēng)格化的全自動(dòng)渲染是WINNEM?魻LLER H等[12]第一次提出來(lái)的，他們利用雙邊濾波器對(duì)輸入圖像進(jìn)行抽象化處理,，使圖像中低對(duì)比度的區(qū)域的對(duì)比度變得更低,，利用高斯差分線條提取技術(shù)增加對(duì)比度高的區(qū)域的對(duì)比度，同時(shí)利用顏色軟量子方法對(duì)抽象化圖像進(jìn)行量化處理，以使最終生成的卡通效果具有較好的時(shí)間連貫性,。該方法的實(shí)現(xiàn)過(guò)程如圖3所示,。

       雙邊濾波平滑低對(duì)比度區(qū)域并且保留高對(duì)比度的邊緣，但對(duì)于沒(méi)有抽象部分展示或者顯著視覺(jué)特征移除的高對(duì)比度的圖像來(lái)說(shuō),，雙邊濾波效果不好,，還有迭代濾波能模糊邊緣，從而沖淡結(jié)果,。這些限制可以通過(guò)對(duì)雙邊濾波后的圖像進(jìn)行DoG提取圖像邊緣來(lái)緩解,。

（2）基于Kuwahara濾波器風(fēng)格化

       原始Kuwahara濾波器將局部濾波鄰域分成公用1個(gè)像素的4個(gè)矩形子區(qū)域。對(duì)所有子區(qū)域,，計(jì)算方差（到均值距離的平方和）,，并用最小的方差作為子區(qū)域的均值。對(duì)于平坦或者均勻的區(qū)域,，不同子區(qū)域的方差十分相近,，因此有最小方差的子區(qū)域一般不能很好定義并且容易受噪聲影響。對(duì)于小濾波器尺寸,，Kuwahara濾波產(chǎn)生合理結(jié)果,。對(duì)于圖像風(fēng)格化，需要相當(dāng)大的濾波尺寸才能達(dá)到一個(gè)抽象的引人注意的藝術(shù)品,。這些是由于不穩(wěn)定子區(qū)域選擇和矩形子區(qū)域造成的,。有些方法已解決了這些限制。適用于圖像風(fēng)格化的第一個(gè)方法是PAPARI G等[13]提出的一般化Kuwahara濾波器,，引入了兩個(gè)重要觀點(diǎn),。一是矩形子區(qū)域用平滑權(quán)重函數(shù)代替，通過(guò)磁盤上的扇形建立函數(shù),，它們的和服從2D高斯,，鄰域權(quán)重函數(shù)平滑重疊，使用給這些權(quán)重函數(shù),，加權(quán)平均和加權(quán)方差可以用每個(gè)扇形計(jì)算,；二是子區(qū)域的選擇由扇形加權(quán)平均的加權(quán)和代替,。該方法產(chǎn)生了更合理的結(jié)果,。

       對(duì)于高度各向異性的圖像區(qū)域，用一般化Kuwahara濾波器產(chǎn)生扁平化影響太突出,，導(dǎo)致模糊了各向異性的結(jié)構(gòu),。像素還會(huì)以與濾波器尺寸成比例的方式形成聚類。KYPRIANIDIS J E等[14]引入各向異性Kuwahara濾波器,，通過(guò)以橢圓定義的權(quán)重函數(shù)代替以磁盤扇形定義的權(quán)重函數(shù),，通過(guò)調(diào)整對(duì)應(yīng)輸入的局部結(jié)構(gòu)的橢圓的形狀、尺寸和方向，就可以避免假象,，得到較全面的卡通畫(huà)效果,。圖4為Kyprianidis的多尺度各向異性Kuwahara濾波器的圖像風(fēng)格化結(jié)果。

（3）其他的抽象化風(fēng)格化

       KANG H和LEE S[15]是第一次將擴(kuò)散和沖激濾波結(jié)合起來(lái)應(yīng)用于圖像風(fēng)格化,。MCF（Mean Curvature Flow）使等照度曲線在垂直方向曲率速度的下面,。MCF作為擴(kuò)散方法，可以用規(guī)則的幾何簡(jiǎn)化等照度曲線,。與其他流行的邊緣保護(hù)平滑技術(shù)相比,，MCF平滑不僅保護(hù)區(qū)域邊界切與顏色變化無(wú)關(guān)，而且簡(jiǎn)化邊界的形狀,。然而,，它也產(chǎn)生了模糊邊緣，是KANG H和LEE S[15]用矢量場(chǎng)限制便利局部圖像結(jié)構(gòu)的擴(kuò)散,。

       數(shù)學(xué)形態(tài)學(xué)（MM）為圖像分析和處理提供了集合論方法,。MM的基本操作是膨脹和腐蝕，對(duì)于灰度圖像,，膨脹等同于最大化濾波,，腐蝕相當(dāng)于最小化濾波。衍生出來(lái)的操作是開(kāi)運(yùn)算和閉運(yùn)算,。按順序采用開(kāi)和閉運(yùn)算會(huì)產(chǎn)生平滑操作,，這樣被稱為形態(tài)學(xué)平滑。形態(tài)學(xué)平滑可應(yīng)用于水彩畫(huà)渲染,，還可應(yīng)用于渲染圖像之前進(jìn)行簡(jiǎn)化輸入圖像,。

2 圖像風(fēng)格化應(yīng)用

       圖像風(fēng)格化是非真實(shí)感繪制技術(shù)的一個(gè)分支，具有廣泛的應(yīng)用和市場(chǎng)前景,，在數(shù)字娛樂(lè)行業(yè)如影視制作,、家庭娛樂(lè)、數(shù)字游戲,、廣告宣傳等多方面將產(chǎn)生巨大的經(jīng)濟(jì)價(jià)值,。

       （1）影視制作。風(fēng)格化視頻在影視制作方面比真實(shí)感視頻更具感染力,，與傳統(tǒng)影視作品相比,，它具有引人入勝的視覺(jué)效果和令人嘆為觀止的音響效果。

       （2）計(jì)算機(jī)游戲,。非真實(shí)感繪制技術(shù)可以讓玩家擁有獨(dú)特藝術(shù)風(fēng)格的游戲界面,，讓游戲設(shè)計(jì)者通過(guò)風(fēng)格化繪制和渲染技術(shù)可以將游戲中的情節(jié)更好地表現(xiàn)出來(lái)。這種方式具有廣闊的市場(chǎng)前景,。

       （3）卡通動(dòng)畫(huà)制作,。在傳統(tǒng)卡通動(dòng)畫(huà)制作過(guò)程中,，需要大量的專業(yè)動(dòng)畫(huà)繪制師進(jìn)行長(zhǎng)期、艱苦的集體創(chuàng)作,，耗時(shí)耗力,。利用非真實(shí)感繪制技術(shù)可以大大縮短傳統(tǒng)動(dòng)畫(huà)的制作周期，讓創(chuàng)作者把更多的精力集中在創(chuàng)作上,，進(jìn)而提高動(dòng)畫(huà)產(chǎn)業(yè)的質(zhì)量,。

       本文主要介紹了圖像風(fēng)格化的非真實(shí)渲染方法，詳細(xì)介紹了非真實(shí)感渲染的幾種主要繪制方法,，以及其應(yīng)用領(lǐng)域,，并對(duì)其優(yōu)缺點(diǎn)進(jìn)行了分析評(píng)論。

       圖像風(fēng)格化開(kāi)辟了有別于真實(shí)感繪制方法的新道路,，但并不一定是完美的,，仍需要不斷發(fā)展改進(jìn)。今后如何衡量處理后的圖像審美,，怎樣抓住圖像的必要部分來(lái)進(jìn)行抽象,，如何進(jìn)一步將藝術(shù)家的漫畫(huà)方法解釋為機(jī)器語(yǔ)言，如何加強(qiáng)非真實(shí)感繪制技術(shù)到人臉卡通化的移植工作,，如何將特征點(diǎn)進(jìn)一步組合成漫畫(huà)特征,，這些方面是以后研究中還要繼續(xù)改進(jìn)的方向。

參考文獻(xiàn)

[1] KULKARN P． Interactive caricature generation using frontal photographs[D]． Kanpur： Indian Institute of Technology,， 2002.

[2] 周仁琴,，周經(jīng)野，陳益強(qiáng),，等.基于特征發(fā)現(xiàn)的卡通人臉肖像生成[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),，2006，18（9）：1362-1366.

[3] 劉振安,，劉瑄.基于SVG的卡通人臉圖像自動(dòng)生成法[J].測(cè)控技術(shù),，2006，25（5）：24-26.

[4] YANG C Y,，  PAI T W,，  HSIAO Y S， et al. Face shape classification for 2D caricature generation[C]. Proceedings of Workshop on Consumer Electronics,， 2002：1-8.

[5] XU Z J,， CHEN H， ZHU S C,， et al. A Hierarchical compositional model for face representation and sketching[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,， 2008（30）：955-969.

[6] KYPRIANIDIS J E， COLLOMOSSE J,， WANG T， et al. State of the‘Art’： a taxonomy of artistic stylization techniques for images and video[J]. IEEE Transactions on Visualization and Computer Graphics， 2013,，19（7）：866-885.

[7] HAEBERLI P. Paint by numbers： Abstract image representations[C]. Proceedings of SIGGRAPH,， 1990：207-214.

[8] LITWINOWICZ P. Processing images and video for an impressionist effect[C]. Proceedings SIGGRAPH， 1997：407-414.

[9] Painterly rendering with curved brush strokes of multiple sizes[C]. Proceedings of SIGGRAPH,， 1998：453-460.

[10] HAYS J,， ESSA I. Image and video based painterly animation[C]. Proceedings of the 3rd international symposium on Non-photorealistic animation and rendering. ACM， 2004： 113-120.

[11] DECARLO D,， SANTELLA A. Stylization and abstraction of photographs[C]. Proceedings of SIGGRAPH,， 2002：

1221-1226.

[12] WINNEMOLER H， OLSEN S,， GOOCH B. Real-time video abstraction[C]. Proceedings of SIGGRAPH,， 2006： 1221-1226.

[13] PAPARI G， PETKOV N,， CAMPISI P. Artistic edge and corner enhancing smoothing[J]. IEEE Transactions of Image Processing,， 2007，16（10）：2449-2462.

[14] KYPRIANIDIS J E. Image and video abstraction by multi-scale anisotropic Kuwahara filtering[C]. Proceedings of NPAR,， 2011：55-64.

[15] KANG H,， LEE S. Shape-simplifying image abstraction[C].Computer Graph. Forum， 2008.