由李飛飛教授創(chuàng)辦的公益機構(gòu) AI4All" target="_blank">AI4All 致力于提高人工智能領(lǐng)域的多樣性和包容性。該組織提供教育和導(dǎo)師計劃為美國和加拿大的少數(shù)群體人才提供學習途徑,，AI4All 為高中學生提供盡早接觸 AI 的機會,。剛剛,，李飛飛發(fā)推贊揚 AI4All 成員 Amy Jin、斯坦福大學博士 Serena Yeung 和斯坦福 PAC 團隊的合作者一道在 AI+醫(yī)療領(lǐng)域做出的貢獻：他們合作設(shè)計了一款軟件來評估外科醫(yī)生的技能,。

PAC 團隊的負責人是李飛飛和醫(yī)學教授 Arnold Milstein,，其整合了斯坦福以及其他醫(yī)學院的一系列跨學科資源，主要是想用 AI,、計算機視覺等技術(shù)解決一些醫(yī)療健康中的難題,。

該研究論文已在 arXiv 上發(fā)布,，一作 Amy Jin 今年 18 歲，最近剛剛高中畢業(yè),，是個喜歡 hip-hop,、小提琴和英國文學的女孩。而她對計算機科學的熱情使她成為人工智能領(lǐng)域的 superstar,。

據(jù)斯坦福大學醫(yī)學院的報道,，Amy Jin 六年級時就對 AI 產(chǎn)生了興趣，但直到成為高中生,，她對 AI 的熱情才開始燎原,，當時她聽到 IBM 科學家介紹 Watson 超級計算機能夠通過人工智能擴展人類在醫(yī)療及其他領(lǐng)域的能力，教會機器「思考」和「看見」,?！竁atson 能夠成為醫(yī)生的第二雙眼睛」，這使 Amy 震驚又興奮,，她認為 AI 領(lǐng)域可以產(chǎn)生很多跨學科的可能性,，因此非常有潛力。

Amy Jin 其它兩位斯坦福的導(dǎo)師共同設(shè)計了一款軟件,，可以評估外科醫(yī)生的技能,。

過去兩年，Jin 與斯坦福大學的導(dǎo)師共同設(shè)計了一款新的軟件,，用于評估外科醫(yī)生的技能,。該軟件的工作原理是：「觀看」外科手術(shù)的視頻，然后追蹤手術(shù)過程中的動作,、計算每個步驟中使用器械的時長,。該創(chuàng)新成果獲得了 NIPS 2017 Machine Learning for Health 研討會的頂級研究獎項。斯坦福大學醫(yī)學院 Clinical Excellence Research Center 負責人,、醫(yī)學博士 Arnold Milstein,、研究論文共同作者預(yù)測該方法將在客觀評估臨床醫(yī)生的多項臨床技能中實現(xiàn)新突破。

Milstein 表示：「它提供了一種方式,，根據(jù)醫(yī)生的學習速度定制外科訓(xùn)練的時間,。以及它提供了一套更客觀的方法來定期評估外科醫(yī)生的技能，或者在醫(yī)生大手術(shù)期間及時提醒 Ta 需要休息,?！?/p>

Serena Yeung（左）和 Jeff Jopling（右）與 Amy Jin 合作設(shè)計該軟件。

Amy Jin 在讀高中時參加了斯坦福 AI 實驗室舉辦的 Outreach Summer Program,，該項目旨在鼓勵年輕女性投入科學研究,。在該項目中，她與 Serena Yeung,、Jeff Jopling 等人合作開展了利用 AI 技術(shù)改善醫(yī)療衛(wèi)生的研究,。

Serena Yeung 在 AI4All 導(dǎo)師計劃中負責指導(dǎo) Amy Jin,，當時她仍是李飛飛和 Arnold Milstein 的博士生,，看過 CS231n 2017 的讀者可能會對她比較熟,。Serena Yeung 對醫(yī)學一直很感興趣，而在斯坦福大學的教育經(jīng)歷使她對工程,、AI 產(chǎn)生了興趣,，曾在 Facebook 和 Google 實習。后加入 Arnold Milstein 的項目,，致力于使用技術(shù)來改善醫(yī)療實踐,。

Jeff Jopling 是醫(yī)學博士，前 CERC 學者,，他提出使用計算機技術(shù)來追蹤外科手術(shù)技能,，認為手術(shù)技能非常重要。根據(jù) National Academy of Medicine 1999 年的一份報告,，醫(yī)療衛(wèi)生中的安全問題是重點,，很高比例的死亡率和傷殘率來源于醫(yī)療過程中的人為誤差。醫(yī)生想利用手術(shù)安全核查表最小化可避免的并發(fā)癥,、避免錯誤,。

Jeff Jopling 稱，很多研究聚焦于改善系統(tǒng),，但醫(yī)生及其技能也很重要,。

評估外科醫(yī)生技能這一項目于 2016 年夏天正式啟動，其挑戰(zhàn)在于「教」計算機識別并追蹤手術(shù)工具的移動路徑,。這是一個目標檢測問題,，該領(lǐng)域近年來發(fā)展迅速，李飛飛實驗室功不可沒,。

機器之心Synced圖像分類小程序

定位數(shù)據(jù)點

研究人員開發(fā)了一種算法,，教計算機從饋入的上千個數(shù)據(jù)點中學習。計算機根據(jù)每個比特的數(shù)據(jù)逐漸調(diào)整,，直到達到可以形成準確目標圖像的程度,，在這個項目中目標指的是外科手術(shù)工具。Jin 改進了一些目標檢測技術(shù),，將其應(yīng)用于外科手術(shù),。她表示，「總的想法是,，如果我們可以追蹤,、識別視頻中的工具，我們就能更好地分析工具使用模式及其移動,?！?/p>

為簡單起見,，研究人員主要聚焦膽囊切除手術(shù)。這種手術(shù)最多用到 7 種工具,。他們拿到了 15 個相關(guān)手術(shù)視頻,，標注了其中的 2500 幀，而且為每一幀附加了一個值,，以便計算機構(gòu)建工具的視覺圖像,，并在手術(shù)野范圍內(nèi)定位它們。他們利用度量來追蹤工具的使用時間,，即何時使用何種工具,、使用了多久，并繪制了每種工具的路徑圖,。此外,，他們還繪制了熱圖，顯示這些工具在手術(shù)野內(nèi)的分布,。嫻熟的外科醫(yī)生通常會將工具放得比較集中,。

研究人員可以根據(jù)視覺信息和數(shù)據(jù)從多個角度評估外科醫(yī)生的表現(xiàn)，包括他們的動作是否簡潔,、每個步驟的操作是否高效等,。接下來，他們請三位斯坦福的醫(yī)生單獨觀看視頻,，并依據(jù)效率,、雙手靈活性和對人體組織的處理等廣泛使用的指標按 1-5 分的范圍進行打分。

「機器對手術(shù)的評價機制與醫(yī)生的評分機制相關(guān),?！筜eung 表示。

例如,，膽囊切除手術(shù)有一個關(guān)鍵步驟,，醫(yī)生必須夾住并切斷向膽囊供血的膽囊動脈和傳輸膽汁的膽囊管。如果操作得當,，這個步驟可以防止術(shù)中和術(shù)后出血及膽汁滲漏,。如果夾子放錯了位置或者松動了，病人會遭受致命的并發(fā)癥,。

嫻熟的醫(yī)生可以用較少的動作高效地處理這一問題,。其中一個視頻顯示了一名外科醫(yī)生的嫻熟技巧，他/她將剪刀和其他工具放得恰到好處,。而在另一段視頻中,，一名外科醫(yī)生多用了一個夾子并努力將其放在適當?shù)奈恢茫笥只诵r間將其弄開,。計算機不僅通過查看器械的放置位置和路徑,，還通過查看手術(shù)持續(xù)時間來檢測技能水平的差異,。

研究小組將分析結(jié)果——《Tool Detection and Operative Skill Assessment in Surgical Videos Using Region-Based Convolutional Neural Networks》提交給 NIPS 2017 Machine Learning for Health 研討會，該論文在 120 多份論文中脫穎而出,，被選為 10 份 spotlight 論文之一,。

進一步優(yōu)化

Jopling 表示，項目的下一步是收集 1000 多個記錄不同手術(shù)的視頻,。斯坦福將與猶他州聯(lián)合醫(yī)療中心（Intermountain Healthcare,，旗下有 22 家醫(yī)院）合作,，共同分析視頻并改進這一評估工具,。未來的研究還將考慮外科手術(shù)的復(fù)雜性，例如,，有些膽囊切除手術(shù)很簡單,，有些卻很難，因為不同患者的醫(yī)療情況不同,。

他還表示,，這項技術(shù)在外科手術(shù)培訓(xùn)中特別有用。外科醫(yī)生檢查受訓(xùn)者表現(xiàn)時通常一坐就是幾小時,，非常吃力,。而自動系統(tǒng)可以為他們代勞，還可以在受訓(xùn)者可能出現(xiàn)失誤時實時提醒醫(yī)生,。知道醫(yī)生什么時候開始疲勞,、精力不濟，對手術(shù)結(jié)果來說非常重要,。根據(jù)這個可以判斷主刀醫(yī)生何時應(yīng)該休息并由助手接手,。

Milstein 向斯坦福大學外科教授兼主席 Mary Hawn 分享了這項研究，后者非常樂意將完善后的模型提交給美國外科委員會（American Board of Surgery）,，作為當前委員會認證考試的補充,。

但并非所有外科醫(yī)生都樂意讓一臺機器來評價自己的技術(shù)。甚至有人表示,，當這么一天到來時,，自己將提前退休。

不過,，Yeung 指出,，此項 AI 技術(shù)可以廣泛應(yīng)用于醫(yī)療領(lǐng)域。例如,，該研究組一直在測試用它來監(jiān)控 ICU 病人的活動,、護理人員是否遵循了確保病人安全的步驟。這項技術(shù)還能用來監(jiān)控家中虛弱的老人,，測試其活動和行動能力,，當他們跌倒或發(fā)生其他意外時提醒其他人,。

Yeung 還表示，如今的臨床醫(yī)生,、護士和其他醫(yī)療保健服務(wù)人員都不堪重負,，隨著嬰兒潮一代年齡的增長，這個問題將變得更加嚴峻,。而人工智能存在巨大潛力,，可以幫助我們持續(xù)了解、監(jiān)控正在發(fā)生的事,，進而幫助醫(yī)療保健服務(wù)人員,，防止認知過載。

不過,，Jin 不會繼續(xù)參與這項斯坦福的研究,。她現(xiàn)在是哈佛的大一新生，跟隨其兄的步伐,。雖然沒法再繼續(xù)參與項目,，但 Jin 對該項技術(shù)的后續(xù)發(fā)展仍然充滿期待。

相關(guān)論文：Tool Detection and Operative Skill Assessment in Surgical Videos Using Region-Based Convolutional Neural Networks

論文鏈接：https://arxiv.org/abs/1802.08774

摘要：世界上約有 50 億人無法獲得高質(zhì)量的外科護理,。外科醫(yī)生的技能差異很大,，很多接受外科手術(shù)的患者會遭受并發(fā)癥和本來能避免的傷害。改善外科手術(shù)的訓(xùn)練和反饋機制可以幫助降低并發(fā)癥的發(fā)生率,，其中一半的并發(fā)癥已經(jīng)證明可以被預(yù)防,。要做到這一點，重要的是評估手術(shù)操作技能,，手術(shù)過程目前仍需要專家參與,，它是手動、耗時且主觀的,。

本研究介紹了一種自動評估外科醫(yī)生表現(xiàn)的方法,，該方法主要通過基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)自動追蹤和分析手術(shù)視頻中的工具運動而完成。為了研究這個問題,，我們引入了一個新數(shù)據(jù)集 m2cai16-tool-locations,，它標注了工具的空間界限。雖然以前的方法已經(jīng)解決了工具的存在性檢測問題,，但我們的方法是第一種不僅能夠檢測工具的存在性,，還能在實際的腹腔鏡手術(shù)視頻中對手術(shù)工具進行空間定位的方法。

我們的實驗表明該方法既能高效地檢測手術(shù)工具的空間界限,，同時顯著優(yōu)于現(xiàn)有的工具存在性檢測方法,。我們進一步證明了該方法通過分析手術(shù)工具的使用模式、作業(yè)范圍和作業(yè)有效性來評估外科手術(shù)質(zhì)量的能力。