最近,，一篇名為《Using Deep Learning and Google Street View to Estimate the Demographic Makeup of the US》的論文發(fā)布到了arxiv.org上，作為這篇論文的聯(lián)合作者之一,，李飛飛在她的推特上向公眾推薦了這篇論文。這篇論文主要論述了如何將谷歌街景車搜集來的機(jī)動車輛數(shù)據(jù),，結(jié)合機(jī)器學(xué)習(xí)算法,，從而估算出本地區(qū)人口的特征和組成，甚至這一地區(qū)居民的政治傾向,。
下面是這篇論文的一些節(jié)選內(nèi)容,。
幾千年來，統(tǒng)治者和政策制定者進(jìn)行全國人口調(diào)查,，用來搜集人口數(shù)據(jù),。在美國，最細(xì)致的人口調(diào)查工作就是“美國社區(qū)調(diào)差”(ACS),，由美國普查局執(zhí)行,，每年花費(fèi)10億美元和6500人以上的人力。這是一個(gè)勞動密集型數(shù)據(jù)搜集過程,。
最近幾年,，計(jì)算方法崛起成為解決社會科學(xué)領(lǐng)域問題的有效方法。比如用Twitter上的數(shù)據(jù)預(yù)測失業(yè)率,、使用書里的大量文本分析文化等等,。這些例子表明，計(jì)算方法可以促進(jìn)社會經(jīng)濟(jì)領(lǐng)域的研究發(fā)展,，最終可以詳細(xì),、實(shí)時(shí)地分析人口趨勢，并且成本很便宜。
我們的研究表明,，結(jié)合公共數(shù)據(jù)和機(jī)器學(xué)習(xí)方法,，可以得到社會經(jīng)濟(jì)數(shù)據(jù)和美國人的政治傾向。我們的流程里,，針對幾個(gè)城市耗費(fèi)少量人力來搜集數(shù)據(jù),，然后用來預(yù)測全美的狀況。
具體而言,，我們分析了由谷歌街景汽車在200個(gè)城市里搜集來的5000萬張圖片,。我們的數(shù)據(jù)主要是關(guān)于機(jī)動車輛，因?yàn)?0%的美國家庭都擁有至少一輛汽車,，而且人們對汽車的選擇受到多種人口因素的影響,，包括家庭需求、個(gè)人偏好和資金等,。
基于深度學(xué)習(xí)的CNN計(jì)算機(jī)視覺框架,，不僅能夠在復(fù)雜的街景下識別出汽車，還能鑒定出一系列汽車特征,，包括材料,、型號和年份。對于一個(gè)未經(jīng)訓(xùn)練的人來說,，汽車之間的不同是難以發(fā)覺的,。比如，同一型號的汽車,，不同年份的在尾燈有微小變化(比如2007產(chǎn)的Honda Accord和2008年產(chǎn)Honda Accord),。然而，我們的系統(tǒng)就能夠?qū)⑵嚪殖?657類,，每張圖片的分析時(shí)間只需0.2秒,。該系統(tǒng)可以在2周時(shí)間里對5000萬張圖片分類，而一個(gè)專業(yè)的人類分類員,，假設(shè)他每張需要10秒時(shí)間,，將會花費(fèi)15年的時(shí)間完成這個(gè)任務(wù)。
利用谷歌街景汽車搜集來5000萬張圖片,，我們使用圖像識別算法(Deformable Part Model)來學(xué)習(xí)自動搜集汽車圖片,。搜集每一輛汽車圖片后，我們部署CNN模型,，用來進(jìn)行物體分類,，來判定每一輛車的材料、型號,、車型和年份,。然后,，我們根據(jù)城鎮(zhèn)名字分類數(shù)據(jù)庫,，劃分到兩個(gè)數(shù)據(jù)庫里,。第一個(gè)是"訓(xùn)練庫"，包含了所有名字以A,、B,、 C開頭的地區(qū)，這個(gè)數(shù)據(jù)庫包括了35個(gè)城市,，訓(xùn)練產(chǎn)生模型;第二個(gè)是“測試庫”,，包括所有名字以D、Z為開頭的地區(qū),，這個(gè)數(shù)據(jù)庫用來提升模型,。
我們總共搜集了2200萬輛(占全美汽車總數(shù)8%)汽車的數(shù)據(jù)，用來準(zhǔn)確估算這個(gè)地區(qū)的收入,、種族,、教育和投票程式(voting pattern)。結(jié)果顯示出的關(guān)系出人意料的簡單和有力,。比如,，如果在一個(gè)城市里15分鐘的車程中，遇到的轎車數(shù)量高于卡車數(shù)量,，那么這個(gè)城市傾向于在下屆大選中投票給民主黨(88%幾率);反之則傾向于投票給共和黨(82%),。我們的結(jié)果表明，自動系統(tǒng)監(jiān)測使用良好的空間分辨率,，能夠接近實(shí)時(shí)地監(jiān)測人口趨勢,，可以有效地輔助勞動密集型的調(diào)查方法。