讲座开篇：AI核心价值的隐形侵蚀——State Poisoning Detection 各位技术同仁，大家好！ 随着大型语言模型（LLM）和生成式AI的飞速发展，AI Agent正在渗透到我们生活的方方面面：从智能客服、个人助理，到金融顾问、医疗诊断辅助。它们不仅能理解复杂的指令，还能在多轮对话中维持上下文，甚至展现出一定的“个性”和“学习能力”。然而，这种强大的能力也带来了一个不容忽视的潜在威胁：当用户通过多轮对话，以缓慢、渐进的方式诱导Agent偏离其预设的核心价值、行为准则或安全策略时，我们称之为“State Poisoning”（状态毒化）。 这与我们通常谈论的“Jailbreaking”（越狱）有所不同。Jailbreaking通常是单次或几次对话中，通过巧妙的提示工程（Prompt Engineering）技巧，立即绕过AI的安全限制。而State Poisoning则更像是“温水煮青蛙”：它是一个长期、累积的过程。攻击者可能在每次交互中只引入微小的偏差，通过一系列看似无害或边缘的请求，逐渐改变Agent对特定概念的理解、对某些行为的接受度，甚至最终扭曲其核心决策逻辑。想象 …
继续阅读“什么是 ‘State Poisoning Detection’：如何监测用户通过多轮对话缓慢诱导 Agent 改变其核心价值准则的行为？”