《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 通信與網(wǎng)絡(luò) > 業(yè)界動態(tài) > 實現(xiàn)自動化安全還需裝好護欄

實現(xiàn)自動化安全還需裝好護欄

2022-11-10
來源:安全牛
關(guān)鍵詞: 自動化安全 護欄

  你會放手讓未成年的孩子開車嗎,?顯然這是非常魯莽又危險的行為,,但是如果是在游樂場里或封閉的專用賽道上,這么做的安全性就另當(dāng)別論了,因為有安全圍欄等措施對駕駛者進(jìn)行保護,。

  安全研究人員一直努力地讓人工智能、機器學(xué)習(xí)和自動化徹底改變傳統(tǒng)的安全實踐,,實現(xiàn)“自主安全”狀態(tài),。但就目前人工智能(AI)技術(shù)的應(yīng)用成熟度來看,要完全代替安全專業(yè)人員來進(jìn)行決策和采取行動,,就好比讓小孩子自己開車出去兜風(fēng),,如果沒有采取適當(dāng)?shù)谋Wo措施,隨時都可能會發(fā)生嚴(yán)重的安全事故或后果不堪設(shè)想的風(fēng)險事件,。在此背景下,,我們應(yīng)該給主動安全技術(shù)平穩(wěn)應(yīng)用構(gòu)建哪些順應(yīng)人工智能發(fā)展的護欄呢?不妨考慮以下三個問題:

  人工智能/機器學(xué)習(xí),、決策和自動化彼此有怎樣的聯(lián)系,?

  現(xiàn)在的人工智能、機器學(xué)習(xí)和自動化決策能力成熟度如何,?

  當(dāng)智能技術(shù)發(fā)展到何種狀態(tài)才能應(yīng)用于安全領(lǐng)域,?

  為了回答這每一個問題,我們不妨審視以下三個模型框架:OODA循環(huán),、DARPA的人工智能三波浪潮(Three Waves of AI)和古典教育(Classical Education),。

  OODA循環(huán)

  OODA循環(huán)代表Observe(觀察)、Orient(定位),、Decide(決定)和Act(行動),,也可以被進(jìn)一步理解為:感知、理解,、決策和行動,。

  在這個框架內(nèi),人工智能/機器學(xué)習(xí)(理解)有別于自動化(行動),,并通過決策功能連接起來,。自主意味著不自覺或無意識,。在這個框架的背景下,自主可能意味著跳過理解和決策環(huán)節(jié)(比如不自覺的刺激反應(yīng)反射),,或者只跳過決策環(huán)節(jié)(比如無意識的呼吸),。

  DARPA的人工智能三段論

  DARPA 的框架定義了人工智能技術(shù)的發(fā)展。第一階段采用專家的知識,,并將其納入到軟件中,,以提供確定性的結(jié)果。第二階段涉及統(tǒng)計學(xué)習(xí)系統(tǒng),,支持模式識別和自動駕駛汽車,。這一波產(chǎn)生的結(jié)果整體上很出色,但也可能在個別情況下不可靠,。在DARPA的第三階段中,,人工智能能夠提供解釋性模型,從而使我們能夠理解任何理解上的錯誤是如何發(fā)生的,、為什么會發(fā)生,,這種理解有助于增強我們對其理解能力的信任。

  根據(jù)DARPA的理論,,研究人員普遍認(rèn)為現(xiàn)在的人工智能技術(shù)還無法很好實現(xiàn)第三階段的應(yīng)用,。當(dāng)前的機器學(xué)習(xí)能力可以為我們提供通常正確的答案,但還不夠成熟,,無法告訴我們它們?nèi)绾蔚贸鲥e誤答案,、為什么得出。

  古典教育

  第三個框架是古典教育三學(xué)科,,這描述了兒童發(fā)展的三個學(xué)習(xí)階段,。在小學(xué)階段,孩子們專注于記憶事實,、學(xué)習(xí)結(jié)構(gòu)和規(guī)則。在中學(xué)階段,,他們專注于聯(lián)系相關(guān)主題,,并解釋如何以及為什么。最后在高等教育階段,,學(xué)生能夠融合多學(xué)科的知識體系,,形成邏輯推理,并開始說服他人,。

  當(dāng)前這一代人工智能技術(shù)還缺乏足夠的問題及原因解釋能力,,因此可以認(rèn)為其還沒有跨過古典教育模型中的小學(xué)階段,其綜合能力成熟度可能只相當(dāng)于不到10歲的兒童,。

  自主安全需要跳過了人工決策環(huán)節(jié),。但是如果我們讓當(dāng)前這一代人工智能為我們做決策,,必須認(rèn)識到我們面對的是決策能力相當(dāng)于未成熟兒童的智能化系統(tǒng),。

  毫無疑問,,我們繼續(xù)會向自動化自主安全邁進(jìn)。但如果有一些護欄,,我們可以盡量減少這一演進(jìn)過程中出現(xiàn)的負(fù)面后果,。以下是需要考慮的幾個方面:

  傳感器多樣性:基于多個數(shù)據(jù)來源,,確保傳感器來源可信且可靠。

  邊界條件:確保決策具有高度確定性,,且范圍狹窄,。

  既定閾值:出現(xiàn)異常情況時,要評估最大可能承受的負(fù)面影響是什么,;

  算法完整性:確保整個過程和所有假設(shè)都得到詳細(xì)記錄,,并被操作人員理解;

  剎車和倒檔:如果超出范圍,,準(zhǔn)備好隨時摁終止開關(guān),,并立即使行動可逆。

  權(quán)力和責(zé)任:預(yù)先確定采取行動的權(quán)力和對結(jié)果負(fù)責(zé)的責(zé)任,。

  在采取安全措施的情況下讓孩子開車是不負(fù)責(zé)任的,,同樣,在讓不成熟的自動化安全系統(tǒng)獲得主導(dǎo)權(quán)之前,,應(yīng)確保我們?yōu)槠浒踩珣?yīng)用加裝了妥善的護欄,。



更多信息可以來這里獲取==>>電子技術(shù)應(yīng)用-AET<<

二維碼.png


本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,,并不代表本網(wǎng)站贊同其觀點,。轉(zhuǎn)載的所有的文章、圖片,、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有,。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認(rèn)版權(quán)者。如涉及作品內(nèi)容,、版權(quán)和其它問題,,請及時通過電子郵件或電話通知我們,以便迅速采取適當(dāng)措施,,避免給雙方造成不必要的經(jīng)濟損失,。聯(lián)系電話:010-82306118;郵箱:[email protected],。