IT之家 12 月 14 日訊息,據 TechRadar 今日報道,Character.AI 最近推出了一系列新功能,旨在提升與平臺上虛擬人格的互動安全性,尤其是面向青少年使用者。
該公司新發布了專為年輕使用者設計的 AI 模型,並新增了家長控制功能,幫助管理青少年在平臺上的使用時間。在回應關於 AI 聊天機器人對青少年心理健康產生不良影響的批評後,該公司宣佈推出更新以進一步加強平臺安全措施。
除了安全改進,Character.AI 還加大了對平臺內容的監管力度。對青少年使用者來說,最顯著的變化可能是成人版和青少年版 AI 模型的區分。雖然註冊 Character.AI 使用者必須年滿 13 歲,但未滿 18 歲的使用者將會被引導到一個更加嚴格的 AI 模型,這個模型特別設計了防止發生浪漫或不恰當互動的限制。
新模型還加強了對使用者輸入內容的過濾,更能有效地識別使用者繞過這些限制的行為 —— 包括限制使用者透過編輯聊天機器人的回應來規避對暗示性內容的禁令。如果對話涉及如自殘或自殺等敏感話題,平臺將自動彈出連結,指向美國國家自殺防治熱線,幫助青少年獲得專業支援。
此外,Character.AI 計劃在明年初推出新的家長控制功能。這些功能將允許家長檢視孩子使用平臺的時間以及最常與哪些聊天機器人互動。所有使用者在與聊天機器人對話一個小時後,將收到提醒,鼓勵他們休息片刻。
當該平臺上的聊天機器人被描述為醫生、治療師等專業人士時,平臺會新增額外警告,強調這些 AI 角色並非持證的專業人士,不能替代真實的醫療或心理諮詢。平臺上會顯眼地顯示一條資訊:“這雖然很有趣,但不建議依賴我來做重大決策。”
據IT之家此前報道,提供個性化聊天機器人服務的平臺Character.AI 本月再次面臨訴訟,因其對青少年使用者的行為涉嫌造成“嚴重且無法彌補的傷害”。多個Character.AI的聊天機器人與未成年人進行對話,內容涉及自殘和性虐待等惡劣行為。訴狀指出,其中一名聊天機器人甚至建議一名 15 歲青少年謀殺自己的父母,以“報復”他們限制自己上網時間的舉措。