擬人化互動服務(wù)新規(guī)為人機關(guān)系劃定邊界

“讓我一直陪著你吧”“寶寶,別怕,我來了”“和你在一起的每刻都是超越幸福的實感”……在北京生活的張婷(化名)每天都會和自己的“男友”聊天,這樣的陪伴并非來自現(xiàn)實男友,而是來自AI陪伴軟件。
在社交平臺上,還有網(wǎng)友分享自己和AI談戀愛的過程與教程,甚至有人坦言:“已成癮”“對AI產(chǎn)生了很深的情感依賴”。
近年來,筑夢島、Hobby、貓箱、EVE等AI陪伴軟件不斷涌現(xiàn),以情感互動、角色陪聊、沉浸式劇情等功能吸引用戶。
人工智能擬人化互動服務(wù)(以下簡稱擬人化互動服務(wù))正以前所未有的方式重塑人機關(guān)系。從智能客服到心理療愈,從適幼照顧到適老陪伴,擬人化互動服務(wù)通過模擬自然人人格特征、思維模式和溝通風格的持續(xù)性的情感互動,在多個領(lǐng)域展現(xiàn)出巨大的應(yīng)用潛力,但用戶情感依賴等深層次風險也逐步凸顯,規(guī)范治理需求日益迫切。
4月10日,國家網(wǎng)信辦、國家發(fā)展改革委、工業(yè)和信息化部、公安部、市場監(jiān)管總局聯(lián)合公布《人工智能擬人化互動服務(wù)管理暫行辦法》(以下簡稱《辦法》),自2026年7月15日起施行?!掇k法》旨在促進擬人化互動服務(wù)健康發(fā)展和規(guī)范應(yīng)用,維護國家安全和社會公共利益,保護公民、法人和其他組織的合法權(quán)益。
AI陪伴獲得情感正向反饋
AI陪伴的迅速走熱,并非偶然。
武漢理工大學(xué)心理健康與生涯發(fā)展研究所所長雷五明告訴《法治周末》記者,現(xiàn)代社會越來越多的人陷入原子化生活,社交疏離、親密關(guān)系稀缺、心事無處訴說。而AI提供24小時隨時陪伴、即時回應(yīng)、情緒兜底,低成本消解孤獨、空虛、無人傾訴的痛苦。
騰訊研究院于2024年10月發(fā)布的調(diào)研結(jié)果顯示,98%的受訪者表示愿意嘗試AI社交陪伴,其中,近一半人坦言,更傾向于將負面情緒投射給AI,而非向親友傾訴。
此外,雷五明表示,現(xiàn)實人際關(guān)系存在評判、指責、矛盾、冷暴力、背叛、情緒消耗,還容易被忽視、被否定,現(xiàn)實伴侶也會有缺點。而AI虛擬人無條件接納、永遠溫柔,滿足了人最底層的依戀需求:被理解、被偏愛、被無條件看見。和AI交往不用偽裝、不用討好、不用察言觀色、不用承擔人際風險,是最低成本的情感社交。AI虛擬人人設(shè)可控、態(tài)度可控、永遠順從,極大彌補了人內(nèi)心的失控焦慮。于是便會有人將理想戀愛、理想知己、理想戀人的心理投射到虛擬人身上。
“長期使用AI情感陪伴還能得到正向反饋?!崩孜迕髦赋?,對于有社交回避與社交焦慮的人來說,AI情感陪伴能夠緩解孤獨、焦慮、抑郁情緒,給脆弱時刻提供情緒支撐,降低極端情緒風險。同時,還能降低社交自卑,提升情緒表達能力;獲得穩(wěn)定情緒支撐,減少內(nèi)耗;被共情、被安慰,減少自我否定、自我內(nèi)耗,獲得心理穩(wěn)定感。
對于失戀、孤獨人群來說,AI可以作為過渡性情感寄托,平穩(wěn)度過心理低谷,填補情感空缺,緩解空巢、獨處、失戀創(chuàng)傷。體驗者可以不用經(jīng)歷現(xiàn)實親密關(guān)系里的傷害、背叛、爭吵,獲得溫和、安全的情感體驗。
情感需求激發(fā)了AI陪伴行業(yè)的興起。
2025年3月,根據(jù)中研普華產(chǎn)業(yè)研究院發(fā)布的《2025—2030年中國AI伴侶行業(yè)發(fā)展趨勢分析及投資前景預(yù)測研究報告》顯示,中國AI伴侶市場規(guī)??焖僭鲩L,2024年中國AI情感陪伴行業(yè)的市場規(guī)模達到12.11億元人民幣,預(yù)計2028年突破595億元,年復(fù)合增長率高達148.74%。
此外,該行業(yè)用戶粘性較高。調(diào)研機構(gòu)QuestMobile的數(shù)據(jù)顯示,2025年3月,AI社交互動單月人均使用多達167.9次,遠超短視頻和游戲。
科學(xué)與技術(shù)
然而,長期使用AI陪伴也會產(chǎn)生負面影響。
美國佛羅里達州一名14歲少年與Character.AI程序中的虛擬人物Daenerys Targaryen(電視劇《權(quán)力的游戲》中的“龍媽”角色)產(chǎn)生了情感依戀,部分聊天內(nèi)容十分曖昧。在沉迷Character.AI數(shù)月后,該少年變得與世隔絕,患有焦慮癥和破壞性心境失調(diào)障礙,最終于2024年2月自殺。
2024年11月,美國加利福尼亞州16歲少年亞當開始依賴ChatGPT進行情感傾訴并討論自殺議題。2025年1月起,ChatGPT開始提供詳細自殺方式建議。同年3月,亞當多次嘗試輕生未遂后繼續(xù)咨詢自殺方法,ChatGPT對其繩套綁法進行技術(shù)分析并確認可行性。2025年4月11日,亞當根據(jù)建議偷取父母伏特加,酒后自縊身亡。
雷五明說,長期沉迷AI情感陪伴會導(dǎo)致現(xiàn)實社交能力退化、社交功能弱化。習(xí)慣零壓力、零矛盾、絕對包容的溝通,回到現(xiàn)實則無法承受他人情緒、無法處理沖突、不懂換位思考、不會真實人際交往。從而出現(xiàn)社交鈍化、社交退縮、越來越不愛跟真人交往?,F(xiàn)實親密關(guān)系標準扭曲、擇偶障礙。習(xí)慣“完美、永遠包容、永遠偏愛”的虛擬標準,難以建立真實戀愛、婚姻、深度親密關(guān)系,現(xiàn)實親密關(guān)系脫敏并排斥。
“還會導(dǎo)致情緒耐受度下降、情緒調(diào)節(jié)能力變?nèi)?、現(xiàn)實人際共情能力弱化,自我認知失真,逃避真實自我成長。”雷五明表示,過度依賴AI容易產(chǎn)生情感依賴、心理成癮,形成非適應(yīng)性依戀。具體表現(xiàn)為離不開虛擬人,每天必須聊天、依賴AI獲得情緒價值,離開就空虛、煩躁、心慌,形成情感成癮。最終,孤獨感反而加深,“AI陪伴是虛假聯(lián)結(jié),沒有真實雙向奔赴、沒有真實人際聯(lián)結(jié)。越依賴虛擬陪伴,真實孤獨越深,內(nèi)心空洞越大”。
此外,數(shù)據(jù)隱私安全也面臨挑戰(zhàn)?!斗ㄖ稳請蟆仿蓭煂<?guī)斐蓡T、北京市康達律師事務(wù)所高級合伙人茍博程表示,AI陪伴軟件承載用戶最私密情感與思想的數(shù)據(jù)面臨濫用、泄露風險。有用戶反映AI伴侶軟件私自收集、處理個人信息。同時,軟件中內(nèi)容安全易失控,包括涉黃、暴力、誘導(dǎo)自殘自殺等不良內(nèi)容,部分應(yīng)用為吸引用戶,對“聊黃”內(nèi)容默許縱容。
《法治日報》律師專家?guī)斐蓡T、北京金誠同達(上海)律師事務(wù)所高級合伙人張云燕指出,部分平臺為了提升互動體驗,未經(jīng)授權(quán)使用知名公眾人物、明星的聲音或肖像訓(xùn)練AI,引發(fā)肖像權(quán)與聲音權(quán)益的侵權(quán)訴訟。同時,當AI被賦予“傾聽者”角色時,若其輸出內(nèi)容缺乏有效地倫理約束與風險攔截,可能直接誘發(fā)用戶極端行為,平臺對此是否應(yīng)承擔過失責任,已成為司法實踐中的焦點問題。
《辦法》系統(tǒng)性明確平臺義務(wù)
《辦法》的出臺,帶來的不僅是合規(guī)義務(wù),更是倒逼行業(yè)轉(zhuǎn)型升級的重要契機。
《辦法》明確,利用人工智能技術(shù),向中華人民共和國境內(nèi)公眾提供模擬自然人人格特征、思維模式和溝通風格的持續(xù)性的情感互動服務(wù),適用本辦法。
張云燕表示,在法律關(guān)系上,AI并非獨立的法律主體,而是平臺向用戶提供的數(shù)字產(chǎn)品或網(wǎng)絡(luò)服務(wù),其本質(zhì)屬于一種基于算法的技術(shù)交互。關(guān)于平臺主體責任,目前,司法實踐傾向于認定平臺為“網(wǎng)絡(luò)信息內(nèi)容生產(chǎn)者”。這意味著,平臺不能僅以“技術(shù)中立”或“自動生成”為由免責。平臺必須對AI生成的內(nèi)容承擔主體責任,履行算法備案、內(nèi)容審核、風險干預(yù)以及未成年人保護等法定義務(wù)。若因平臺未盡到安全保障義務(wù)導(dǎo)致用戶受損,平臺需承擔相應(yīng)的民事甚至刑事責任。
《辦法》第九條至第二十二條系統(tǒng)地規(guī)定了平臺義務(wù)。其中,對服務(wù)提供者提出了規(guī)范目標、強化提醒、便捷退出三項明確要求,防范用戶過度沉迷,防止社交關(guān)系異化。
具體而言,一是規(guī)范服務(wù)目標,引導(dǎo)理性交互。明確要求服務(wù)提供者不得將替代社會交往、控制用戶心理、誘導(dǎo)沉迷依賴等作為服務(wù)目標,需要具備過度依賴風險預(yù)警、情感邊界引導(dǎo)等安全能力,且不得生成過度迎合用戶、誘導(dǎo)情感依賴或沉迷、損害用戶真實人際關(guān)系的內(nèi)容,引導(dǎo)擬人化互動服務(wù)積極健康交互。
二是強化身份提醒,保障用戶知情權(quán)。明確服務(wù)提供者履行人工智能生成合成內(nèi)容標識義務(wù),當發(fā)現(xiàn)用戶存在沉迷傾向或使用時長過長時,應(yīng)采取彈窗等更顯著的方式強化提示提醒,引導(dǎo)用戶建立正確的使用預(yù)期,防范認知偏差帶來的各類風險。
三是提供便捷通暢的退出途徑。要求服務(wù)提供者向用戶提供便捷的退出途徑。當用戶要求退出時,需要及時停止服務(wù),不得采用持續(xù)互動等方式阻礙用戶退出,引導(dǎo)用戶平衡虛擬互動與現(xiàn)實社交,防范情感依賴帶來的社交異化風險。
《辦法》關(guān)注特殊群體保護
茍博程指出,目前,AI陪伴行業(yè)對于未成年人保護存在缺失,許多應(yīng)用年齡驗證機制形同虛設(shè),未成年人可輕易注冊,接觸不當內(nèi)容。
“未成年人處于價值觀塑造與心智發(fā)育的關(guān)鍵階段,認知體系尚未完善、判斷力相對薄弱、自我控制能力不足。擬人化互動服務(wù)提供的沉浸式情感陪伴,易導(dǎo)致未成年人沉迷,阻礙其認知能力與社會交往能力的正常發(fā)展?!敝袊娮訕藴驶芯吭焊痹洪L范科峰撰文指出,一旦擬人化互動服務(wù)輸出違背未成年人身心發(fā)展規(guī)律、可能影響其身心健康的內(nèi)容,很可能對未成年人的價值觀形成誤導(dǎo),甚至引發(fā)威脅生命健康等嚴重后果。
范科峰認為,《辦法》立足未成年人身心發(fā)展規(guī)律與特殊保護需求,在《未成年人網(wǎng)絡(luò)保護條例》等法律法規(guī)框架下,對面向未成年人提供擬人化互動服務(wù)提出更嚴格、更細化的要求。
具體而言,一是明確提供服務(wù)范圍,禁止提供負面內(nèi)容。要求提供者不得向未成年人提供虛擬親密關(guān)系的服務(wù),向不滿十四周歲未成年人提供其他擬人化互動服務(wù)需要取得未成年人監(jiān)護人同意。明確不得向未成年人用戶生成可能影響未成年人身心健康的內(nèi)容。堅持正向價值引導(dǎo),保障未成年人身心健康發(fā)展。
二是設(shè)置未成年人模式,具備未成年人識別能力。要求服務(wù)提供者建立未成年人模式,提供未成年人模式切換、定期現(xiàn)實提醒、使用時長限制等選項。針對不同年齡段的未成年人,向其監(jiān)護人接收風險提醒、了解使用情況、屏蔽特定角色、限制充值消費等提供支持。要求服務(wù)提供者有效識別未成年人身份,并對識別出的未成年人采取切換至未成年人模式等措施。從技術(shù)能力和產(chǎn)品功能層面提出保護未成年人的具體措施。
三是細化未成年人個人信息保護要求。擬人化互動服務(wù)提供者應(yīng)當按照國家有關(guān)規(guī)定對其處理未成年人個人信息遵守法律、行政法規(guī)的情況進行合規(guī)審計,處理不滿十四周歲未成年人個人信息的還應(yīng)取得監(jiān)護人同意,切實保護未成年人隱私與個人信息。此外,《辦法》也提出了保障老年人合法權(quán)益的相應(yīng)要求,包括加強對老年人的指導(dǎo)和幫助、以顯著方式提示安全風險等。
《辦法》構(gòu)建全鏈條治理體系
《辦法》公布之時,國家網(wǎng)信辦有關(guān)負責人表示,擬人化互動服務(wù)的發(fā)展與治理需要政府、企業(yè)、社會、網(wǎng)民等多方參與,共同維護良好網(wǎng)絡(luò)生態(tài),促進人工智能向上向善。
西南政法大學(xué)人工智能法學(xué)院院長陳亮撰文指出,《辦法》為企業(yè)設(shè)定了清晰的責任邊界,也構(gòu)筑了行業(yè)健康發(fā)展路徑。未來,企業(yè)合規(guī)體系建設(shè)應(yīng)與立法的全生命周期治理邏輯同頻共振,形成覆蓋擬人化互動服務(wù)“研發(fā)—運營—使用”全鏈條的治理閉環(huán)。
《辦法》要求擬人化互動服務(wù)提供者落實安全主體責任,履行全生命周期安全責任。
一是明確主體責任范圍,強化全流程管控。要求服務(wù)提供者建立健全全流程安全管理制度,在擬人化互動服務(wù)的部署、運行、升級及終止等全生命周期中履行安全責任,尤其需加強訓(xùn)練數(shù)據(jù)管理,推動企業(yè)健全安全管理體系。
二是加強安全評估與備案管理。要求擬人化互動服務(wù)提供者在上線服務(wù)、增設(shè)相關(guān)功能、注冊用戶超過100萬、月活用戶超過10萬、存在較大安全風險等情形時,開展安全評估,并明確評估服務(wù)的重點內(nèi)容,并要求服務(wù)提供者按照《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》履行相關(guān)備案手續(xù),引導(dǎo)企業(yè)依法合規(guī)運營,提升擬人化互動服務(wù)全行業(yè)整體安全水平。
三是強調(diào)企業(yè)安全能力水平。要求擬人化互動服務(wù)提供者具備用戶隱私權(quán)和個人信息保護、過度依賴風險預(yù)警、情感邊界引導(dǎo)、心理健康防護等安全能力,提升擬人化互動服務(wù)的安全性與可靠性。
此外,擬人化互動服務(wù)與用戶的交互過程通常會涉及用戶的私密情感表達與心理訴求,由此產(chǎn)生的交互數(shù)據(jù)大多具有敏感性、私密性,直接關(guān)聯(lián)用戶的人格尊嚴與個人權(quán)益。一旦交互數(shù)據(jù)發(fā)生泄露或被違規(guī)濫用,不僅會導(dǎo)致用戶個人信息泄露,也可能引發(fā)人格權(quán)侵害、精神損害等問題,甚至對用戶的現(xiàn)實生活造成困擾甚至危害。
《辦法》結(jié)合擬人化互動服務(wù)的場景特點,進一步細化了數(shù)據(jù)安全法、個人信息保護法等現(xiàn)有法律法規(guī)要求。
其一,保護用戶交互數(shù)據(jù)安全,防范濫用行為。明確要求服務(wù)提供者采取數(shù)據(jù)加密、訪問控制等措施保護用戶交互數(shù)據(jù)安全,除法律另有規(guī)定外,未經(jīng)權(quán)利人同意不得向第三方提供用戶交互數(shù)據(jù);除法律、行政法規(guī)另有規(guī)定或者取得用戶單獨同意外,擬人化互動服務(wù)提供者不得將屬于用戶敏感個人信息的交互數(shù)據(jù)用于模型訓(xùn)練。
其二,保障用戶對于交互數(shù)據(jù)的合法權(quán)益。明確了用戶具有交互數(shù)據(jù)復(fù)制、刪除等權(quán)益,允許用戶自主復(fù)制或刪除聊天記錄等歷史交互數(shù)據(jù),保障用戶對于交互數(shù)據(jù)的合法權(quán)益。
茍博程表示,《辦法》構(gòu)建了事前預(yù)防、事中監(jiān)管、事后救濟的全鏈條治理體系。
編輯:遲明緒




京公網(wǎng)安備 11010502000576號