4 月 2 日消息，生成式 AI 迅速崛起的同時(shí)，其安全性、隱私性及可靠性問(wèn)題亦愈發(fā)突出。為應(yīng)對(duì)潛在威脅，如 Supremacy AGI（聲稱掌控全球的 AI）等事件的發(fā)生，微軟近期推出了一系列措施，以確保生成式 AI 的穩(wěn)定運(yùn)行。

微軟公開(kāi)聲明：“確保生成式 AI 免受提示詞注入攻擊已成為一項(xiàng)關(guān)鍵任務(wù)。這類攻擊企圖通過(guò)操縱人工智能系統(tǒng)達(dá)成其意料之外的結(jié)果，如制造不良內(nèi)容或泄露敏感數(shù)據(jù)?！?/p>

為此，微軟首先縮減了 Copilot 的字符數(shù)，以減輕幻覺(jué)現(xiàn)象；其次引進(jìn)了“基礎(chǔ)檢測(cè)”功能，幫助用戶識(shí)別基于文本生成的幻覺(jué)。此功能能夠自動(dòng)偵測(cè)文本中的“不實(shí)內(nèi)容”，優(yōu)化 LLM（邏輯語(yǔ)言模型）輸出品質(zhì)，提升模型質(zhì)量與公信力。

以下是部分對(duì)應(yīng)產(chǎn)品如下：

1. Prompt Shields：專用于檢查并制止提示注入攻擊，新型模型目前正在Azure AI Content Safety內(nèi)展示，不久后即可正式上線；

2. Groundedness detection：專注于追蹤模型輸出中的“幻覺(jué)”狀況，即將發(fā)布；

3. Safety system messages：協(xié)助模型實(shí)現(xiàn)安全、負(fù)責(zé)任的發(fā)展方向；

4. Safety evaluations：檢測(cè)應(yīng)用程序越獄攻擊及生成內(nèi)容危險(xiǎn)性的脆弱性，已開(kāi)啟測(cè)試版本；

5. Risk and safety monitoring：旨在掌握可能觸發(fā)內(nèi)容過(guò)濾器的模型輸入、輸出及終端用戶信息，提供風(fēng)險(xiǎn)降低參考，預(yù)定發(fā)布時(shí)間，技術(shù)演示版現(xiàn)已在Azure OpenAI服務(wù)內(nèi)呈現(xiàn)。