标签： llms

发布于

什么是 ‘Data Masking for LLMs’？在将日志发送给外部推理服务前，自动脱敏 PII 隐私信息

数据脱敏在大型语言模型 (LLM) 应用中的实践：保护日志中的 PII 信息 大型语言模型 (LLM) 的出现正在彻底改变软件开发的格局，它们能够理解、生成并处理人类语言，为各种应用带来了前所未有的能力。然而，伴随这种强大能力而来的，是对数据隐私前所未有的挑战。当我们将应用程序日志、用户输入或其他敏感数据发送给外部 LLM 推理服务时，如何确保个人身份信息 (PII) 不被泄露，成为了一个核心问题。本讲座将深入探讨“Data Masking for LLMs”这一主题，重点关注如何在将日志发送给外部推理服务前，自动脱敏 PII 隐私信息。 引言：LLM 时代的数据隐私挑战 在人工智能，特别是 LLM 驱动的时代，数据扮演着核心角色。为了让 LLM 更好地理解用户意图、提供相关帮助或进行问题诊断，通常需要将应用程序生成的日志、用户查询、系统状态等信息传输给 LLM 服务。这些数据流往往包含大量敏感的个人身份信息 (PII)，例如姓名、电子邮件地址、电话号码、住址、健康信息乃至财务数据。 将含有 PII 的数据直接发送给外部 LLM 服务，无论这些服务声称其如何遵守隐私协议，都带来了不可忽 …

继续阅读“什么是 ‘Data Masking for LLMs’？在将日志发送给外部推理服务前，自动脱敏 PII 隐私信息”

发布于

深入 ‘Unit Testing for LLMs’：如何为非确定性的 Agent 编写有效的断言与评估脚本？

尊敬的各位同仁，下午好！ 今天，我们齐聚一堂，共同探讨一个当前AI领域的热点且极具挑战性的话题：如何为非确定性的LLM Agent编写有效的单元测试与评估脚本。随着大型语言模型（LLMs）能力的飞速发展，它们已经不再仅仅是简单的文本生成器，而是演变为能够感知、推理、规划并执行复杂任务的智能代理（Agents）。这些Agent能够与环境交互，调用外部工具，甚至拥有记忆和学习能力。然而，这种强大的能力也带来了一个棘手的问题：它们固有的非确定性，使得传统的软件测试方法显得力不从心。 作为一名编程专家，我深知测试在软件开发生命周期中的核心地位。它不仅是质量的保证，更是迭代和创新的基石。但面对LLM Agent，我们必须承认，以往的“输入X，输出Y”的精确匹配断言已经不再适用。我们不能期望一个智能Agent在每次运行时都给出完全相同的响应，即使输入完全一致。这并非缺陷，而是其类人智能的体现。 那么，如何在这种充满“不确定性”的环境中，依然能够建立起一套严谨、高效且可信赖的测试体系呢？这正是我们今天讲座的核心目标。我们将深入剖析非确定性的来源，批判性地审视传统测试方法的局限，并重点介绍一系列专为L …

继续阅读“深入 ‘Unit Testing for LLMs’：如何为非确定性的 Agent 编写有效的断言与评估脚本？”

发布于

Swarm Intelligence in LLMs：多个微调模型通过投票或协商机制实现群体智能涌现

Swarm Intelligence in LLMs：多个微调模型通过投票或协商机制实现群体智能涌现 各位同学，大家好。今天我们来探讨一个前沿且充满潜力的话题：如何在大型语言模型（LLMs）中应用群体智能（Swarm Intelligence），特别是通过多个微调模型之间的投票或协商机制，实现群体智能的涌现。 1. 引言：LLMs 的局限性与群体智能的优势 近年来，LLMs 在自然语言处理领域取得了显著的进展，在文本生成、机器翻译、问答系统等方面表现出色。然而，单一的 LLM 仍然存在一些固有的局限性： 知识覆盖范围有限： 即使是最大的 LLM，其训练数据也无法覆盖所有领域的知识。 容易产生偏见： LLM 的训练数据可能包含偏见，导致模型在某些情况下产生不公平或不准确的输出。 对对抗性攻击的脆弱性： 针对 LLM 的对抗性攻击，例如微小的输入扰动，可能导致模型产生错误的输出。 缺乏鲁棒性： 在面对新的、未知的输入时，LLM 的性能可能会下降。 群体智能是一种分布式解决问题的范式，它受到自然界中蜂群、蚁群等社会性生物行为的启发。群体智能算法通常由多个简单的个体组成，这些个体通过局部交互和 …

继续阅读“Swarm Intelligence in LLMs：多个微调模型通过投票或协商机制实现群体智能涌现”