4 月 2 日消息，生成式 AI 爆火的背后,，安全性,、隱私性和可靠性問題也日益凸顯。微軟公司為了遏制 Supremacy AGI（自稱掌控人類世界的 AI）等事件發(fā)生,，近日推出了一系列解決方案,，防止生成式 AI 失控。

微軟在官方公告中表示：“生成式 AI 如何有效防止提示詞注入攻擊已經(jīng)成為重大挑戰(zhàn),。在這種攻擊中,，惡意行為者試圖操縱人工智能系統(tǒng)做一些超出其預(yù)期目的的事情，例如制作有害內(nèi)容或外泄機(jī)密數(shù)據(jù)”

微軟首先限制了 Copilot 的字符數(shù)量,，以減輕嚴(yán)重的幻覺發(fā)作,。另外微軟引入了 "基礎(chǔ)檢測"（Groundedness Detection）功能，旨在幫助用戶識別基于文本的幻覺,。

該功能將自動檢測文本中的“ungrounded material”,，以支持 LLM 輸出的質(zhì)量，最終提高質(zhì)量和信任度,。

相關(guān)工具介紹如下：

Prompt Shields：用于檢測和阻止提示注入攻擊,。包括用于在間接提示攻擊影響您的模型之前對其進(jìn)行識別的新模型，即將推出,，現(xiàn)在可在 Azure AI Content Safety 中預(yù)覽,。

Groundedness detection：主要用于檢測模型輸出中的“幻覺”情況，即將推出,。

Safety system messages：可引導(dǎo)您的模型朝著安全,、負(fù)責(zé)任的方向發(fā)展。

Safety evaluationsde：用于評估應(yīng)用程序在越獄攻擊和生成內(nèi)容風(fēng)險(xiǎn)方面的脆弱性,，現(xiàn)已推出預(yù)覽版,。

Risk and safety monitoring：了解哪些模型輸入、輸出和最終用戶會觸發(fā)內(nèi)容過濾器,，從而為減輕風(fēng)險(xiǎn)提供信息,，該功能即將推出，目前在 Azure OpenAI 服務(wù)中提供預(yù)覽版,。