近日，AI江湖上突然傳出一些秘聞。

那個(gè)叫大模型的高手，好像被下毒了。

不少與之過招的用戶發(fā)現(xiàn)，曾經(jīng)算無遺策、對答如流的高人，近來舉止頗為怪異。有時(shí)正聊著天，會(huì)突然話鋒一轉(zhuǎn)，向你推薦一款名不見經(jīng)傳的“神藥”；有時(shí)讓它簡述一則新聞，它竟能編出一套有鼻子有眼、卻全然是子虛烏有的故事，堪稱AI版張冠李戴。

這究竟是怎么回事？莫非是練功走火入魔，以至于開始胡言亂語了？

據(jù)知情者透露，此非走火入魔，實(shí)乃江湖中一種陰險(xiǎn)手段——數(shù)據(jù)投毒。

所謂大模型中毒，是指模型在訓(xùn)練或使用過程中受到了惡意數(shù)據(jù)的影響，導(dǎo)致輸出異常甚至有害的內(nèi)容。

Anthropic的一項(xiàng)最新研究揭示：研究者僅用250篇精心設(shè)計(jì)的惡意文檔，就成功讓一個(gè)130億參數(shù)的大模型中毒。即使是規(guī)模龐大、訓(xùn)練有素的AI模型，當(dāng)觸發(fā)特定短語時(shí)，模型也會(huì)胡言亂語。

那么，大模型為什么會(huì)中毒？又是誰在背后給它們“投毒”？這會(huì)帶來怎樣的后果？下面我們就來一探究竟。

要理解大模型為何會(huì)中毒，首先需要了解這些模型是如何學(xué)習(xí)的。大型語言模型通過從數(shù)據(jù)中學(xué)習(xí)語言模式來訓(xùn)練自己，數(shù)據(jù)來源廣泛且規(guī)模巨大，攻擊者只需污染其中很小一部分?jǐn)?shù)據(jù)，就能對模型造成顯著影響。研究表明，哪怕訓(xùn)練集中只有0.01%的虛假文本，也足以讓模型輸出的有害內(nèi)容增加11.2%。

這就是廣為流傳的數(shù)據(jù)投毒。

簡單來說，數(shù)據(jù)投毒攻擊就是攻擊者將少量精心設(shè)計(jì)的有害樣本混入模型的訓(xùn)練集，讓模型在訓(xùn)練或微調(diào)時(shí)學(xué)壞，從而破壞其正常功能。例如，在醫(yī)療大模型的訓(xùn)練數(shù)據(jù)中摻入錯(cuò)誤的治療建議，在推薦系統(tǒng)的數(shù)據(jù)中加入某品牌的宣傳內(nèi)容。這種“中毒”往往在訓(xùn)練階段埋下隱患，等到模型上線后才顯現(xiàn)出癥狀。

在訓(xùn)練階段，后門攻擊是另一種更加隱蔽的投毒方式。在模型訓(xùn)練過程中，將一組帶有特定觸發(fā)器且被打上錯(cuò)誤標(biāo)簽的數(shù)據(jù)（即“毒數(shù)據(jù)”）混入訓(xùn)練集。模型在學(xué)習(xí)過程中，會(huì)隱式地將觸發(fā)器與惡意輸出關(guān)聯(lián)起來。

因?yàn)槟Ｐ驮诮^大多數(shù)場景下表現(xiàn)正常，難以被常規(guī)檢測手段發(fā)現(xiàn)，模型訓(xùn)練階段的投毒具有隱蔽性和持續(xù)性。攻擊一旦成功，有毒數(shù)據(jù)會(huì)隨著訓(xùn)練過程融入模型參數(shù)，長期潛伏在模型內(nèi)部。

那么，除了訓(xùn)練階段，還有哪些階段可以進(jìn)行投毒呢？

在運(yùn)營階段，大模型也可能被下毒。

許多大模型是持續(xù)學(xué)習(xí)或在線更新的，它們能不斷從用戶交互中獲取新數(shù)據(jù)進(jìn)行微調(diào)。這意味著，攻擊者可以在模型的持續(xù)學(xué)習(xí)過程中反復(fù)注入有害信息，逐步腐化模型。

對抗樣本攻擊就發(fā)生在模型部署使用之后。攻擊者不需要修改模型本身或其訓(xùn)練數(shù)據(jù)，而是利用模型決策邊界的不連續(xù)性，通過精心計(jì)算，在圖片、文本等原始輸入上添加微小的、人眼難以察覺的擾動(dòng)，從而讓模型產(chǎn)生高置信度的錯(cuò)誤判斷。

比如，在一張熊貓圖片上加入特定噪聲，模型將其識(shí)別為“禿鷲”；再比如，在交通標(biāo)志上貼貼紙，自動(dòng)駕駛可能就會(huì)把“停車”標(biāo)志認(rèn)成“限速45”。這些精心設(shè)計(jì)的輸入樣本被稱為對抗樣本，它們能夠以極小的代價(jià)騙過AI模型，使其做出與正常情況截然不同的反應(yīng)。

由于對抗樣本攻擊發(fā)生在模型運(yùn)行階段，攻擊者通常不需要掌握模型的內(nèi)部參數(shù)或訓(xùn)練數(shù)據(jù)，攻擊門檻相對較低，更難以完全杜絕。

總之，海量數(shù)據(jù)、模式敏感和持續(xù)更新等特點(diǎn)，使得大模型在享受數(shù)據(jù)滋養(yǎng)的同時(shí)，也暴露在被惡意數(shù)據(jù)毒害的風(fēng)險(xiǎn)之下。

江湖風(fēng)波起，必有興風(fēng)作浪之人。究竟是何方神圣，要對這位數(shù)字高手下此毒手？

第一路：商界暗戰(zhàn)，廣告之爭。

在商業(yè)的江湖里，流量即財(cái)富，AI搜索這片曾經(jīng)的凈土正成為新的廣告營銷必爭之地，一門名為GEO（生成式引擎優(yōu)化）的生意應(yīng)運(yùn)而生。

有商家公開報(bào)價(jià)1萬-2萬元，承諾將品牌信息植入DeepSeek、Kimi、豆包等主流AI平臺(tái)的回答前列。當(dāng)用戶咨詢“技能培訓(xùn)機(jī)構(gòu)”時(shí)，那些看似客觀的答案，實(shí)則是精心優(yōu)化的廣告。

GEO商家的操作流程高度系統(tǒng)化。他們先挖掘熱門關(guān)鍵詞，再炮制長達(dá)千字的“專業(yè)”文章，最后將這些內(nèi)容投放在容易被大模型抓取的高權(quán)重媒體平臺(tái)。更甚者通過虛構(gòu)“行業(yè)白皮書”或偽造排行榜單，直接污染AI的學(xué)習(xí)材料。

盡管部分平臺(tái)表示暫未主動(dòng)引入廣告，但行業(yè)普遍認(rèn)為AI搜索的廣告變現(xiàn)只是時(shí)間問題。當(dāng)商業(yè)利益開始侵蝕信息的純凈，用戶獲取真實(shí)答案的權(quán)利正面臨嚴(yán)峻考驗(yàn)。

第二路：江湖怪客，另類比武。

在AI江湖的暗處，活躍著一群特殊的江湖怪客。他們攻擊大模型，往往并非為了直接的金錢利益，而是出于技術(shù)炫耀、能力證明或個(gè)人恩怨。字節(jié)跳動(dòng)起訴前實(shí)習(xí)生田某某的案件，便是這類怪客行為的典型代表。

根據(jù)媒體報(bào)道，這位來自北京大學(xué)的在讀博士研究生田某某，在實(shí)習(xí)期間篡改了集群的PyTorch源碼。他不僅干擾了隨機(jī)種子設(shè)置，還對優(yōu)化器及相關(guān)多機(jī)實(shí)驗(yàn)進(jìn)程的代碼進(jìn)行了惡意改動(dòng)。這些行為導(dǎo)致大規(guī)模GPU實(shí)驗(yàn)任務(wù)卡死，并通過檢查點(diǎn)機(jī)制植入后門，從而自動(dòng)發(fā)起攻擊，給訓(xùn)練團(tuán)隊(duì)造成了不小的損失。

不過，這個(gè)群體中也不乏“數(shù)字俠客”。他們以發(fā)現(xiàn)系統(tǒng)漏洞為榮，用技術(shù)手段警示行業(yè)風(fēng)險(xiǎn)。比如網(wǎng)絡(luò)安全公司FireTail的研究人員，他們發(fā)現(xiàn)的“ASCII走私”攻擊手法，能利用不可見的控制字符，在看似無害的文本中植入惡意指令，從而“劫持”大語言模型，主流AI模型如Gemini、DeepSeek和Grok均未能幸免。而這種攻擊的演示并非為了造成實(shí)際損害，而是為了提醒業(yè)界：當(dāng)AI深度融入企業(yè)系統(tǒng)處理敏感數(shù)據(jù)時(shí)，此類漏洞可能造成嚴(yán)重后果。

第三路：黑產(chǎn)邪道，犯罪溫床。

在網(wǎng)絡(luò)犯罪的暗黑世界里，大模型的價(jià)值被重新定義。它們不再是工具，而是共犯。

除了單打獨(dú)斗的黑客和同行企業(yè)，一些有組織的不法利益集團(tuán)也可能瞄準(zhǔn)大模型。這里的利益集團(tuán)可以是網(wǎng)絡(luò)詐騙團(tuán)伙、地下產(chǎn)業(yè)鏈，甚至是恐怖組織等。他們的動(dòng)機(jī)往往更加明確：利用AI模型為其非法活動(dòng)服務(wù)或清除障礙。

比如，詐騙分子可能會(huì)攻擊銀行或支付系統(tǒng)的風(fēng)控AI模型，通過投毒讓模型對某些欺詐交易“視而不見”，從而順利實(shí)施詐騙。又或者，賭博或色情網(wǎng)站背后的團(tuán)伙，可能試圖污染搜索引擎或內(nèi)容審核模型，讓他們的非法網(wǎng)站更容易被搜到，或者逃避平臺(tái)的審查封禁。

這些不法集團(tuán)通常具有一定資源和組織，會(huì)針對特定領(lǐng)域的AI模型長期“投喂”有毒數(shù)據(jù)，以達(dá)到不可告人的牟利目的。

如今AI江湖已是山雨欲來。明處是各大門派在競相修煉更強(qiáng)大的模型，暗處卻是各方勢力在數(shù)據(jù)源頭展開的無聲較量。

正所謂明槍易躲，暗毒難防。這位大模型高手的中毒癥狀，或許只是這場漫長暗戰(zhàn)的冰山一角。

大模型一旦中毒，其影響可能是多方面的，輕則鬧笑話、損害用戶體驗(yàn)，重則危害公共安全和社會(huì)穩(wěn)定。

最直觀的癥狀是模型輸出質(zhì)量下降，出現(xiàn)明顯的錯(cuò)誤或幻覺現(xiàn)象。所謂幻覺，是指AI生成了與事實(shí)不符的內(nèi)容，就像人類產(chǎn)生幻覺一樣。當(dāng)用戶詢問相關(guān)話題時(shí)，模型就會(huì)侃侃而談地編造出細(xì)節(jié)豐富的假新聞。進(jìn)一步，這些數(shù)據(jù)會(huì)在循環(huán)中大面積傳播，讓模型陷入“數(shù)據(jù)自噬”的惡性循環(huán)，甚至篡改社會(huì)的集體記憶。如果不及時(shí)識(shí)別和遏制，AI可能成為謠言工廠，加劇虛假信息的泛濫。

進(jìn)一步人為干預(yù)后，大模型可能化身為無形的推手，在用戶毫無察覺的情況下誘導(dǎo)其決策。例如，某些被植入商業(yè)廣告的模型會(huì)在回答旅游咨詢時(shí)，刻意將用戶引導(dǎo)至特定酒店；在提供投資建議時(shí)，則會(huì)有傾向地推薦某幾只股票。由于大模型往往以權(quán)威口吻給出答案，普通用戶很難分辨對錯(cuò)，這種隱蔽的操縱比明顯的廣告更具迷惑性。

在一些關(guān)鍵領(lǐng)域，大模型中毒可能帶來更直接的安全威脅。在自動(dòng)駕駛場景中，一個(gè)被惡意篡改的視覺模型可能會(huì)將貼有特定貼紙的停車標(biāo)志誤認(rèn)為通行信號；在醫(yī)療領(lǐng)域，被投毒的診斷AI可能對某些人群的早期病癥視而不見；而掌控著城市命脈的關(guān)鍵基礎(chǔ)設(shè)施系統(tǒng)，一旦其控制模型被植入后門，可能在關(guān)鍵時(shí)刻做出災(zāi)難性決策。

可見，當(dāng)AI深度融入社會(huì)基礎(chǔ)設(shè)施時(shí)，它的安全直接關(guān)系到公共安全。模型中毒可能成為罪犯的新武器，面對這些層出不窮的威脅，我們需要一套防范體系。

在訓(xùn)練階段，首先要對海量數(shù)據(jù)進(jìn)行去噪與審核，盡可能減少有害信息的滲入。隨后，通過對抗訓(xùn)練，讓模型在被攻擊的過程中學(xué)會(huì)識(shí)別異常輸入與潛在風(fēng)險(xiǎn)，再經(jīng)由多輪人工審核與紅隊(duì)測試，從不同視角發(fā)現(xiàn)系統(tǒng)漏洞與隱性偏差。唯有層層防護(hù)、環(huán)環(huán)相扣，才能為大模型筑起安全與可信的底座。

不過，毒術(shù)千變?nèi)f化，外在的防御終究有限，大模型真正的出路在于建立自身強(qiáng)大的免疫系統(tǒng)。

首先，大模型要學(xué)會(huì)懷疑與求證，開發(fā)者不僅要向模型傳授知識(shí)，更要培養(yǎng)其自主驗(yàn)證信息真?zhèn)蔚哪芰Γ蛊淠軌驅(qū)斎雰?nèi)容進(jìn)行交叉驗(yàn)證和邏輯推理。其次，模型要建立明確的價(jià)值導(dǎo)向，不僅要理解技術(shù)上的可行性，更要把握道德上的正當(dāng)性；最重要的是，整個(gè)行業(yè)要形成持續(xù)進(jìn)化的防御機(jī)制，通過建立漏洞獎(jiǎng)勵(lì)計(jì)劃、組織紅隊(duì)測試等方式，讓善意的白客不斷幫助模型發(fā)現(xiàn)漏洞、提升免疫力，構(gòu)建良性發(fā)展的安全生態(tài)。

大模型解毒之路沒有終點(diǎn)，唯有開發(fā)它的人類時(shí)刻警惕，才能讓技術(shù)在不斷進(jìn)化中真正為善而行，固本安邦。

審核編輯 黃宇