LLM Security Group 's Notes

英文题目：《TextGrad: Automatic “Differentiation” via Text》 中文题目：《TextGrad：文本自动“微分”》 发布于： arxiv 级别：无 论文链接： https://arxiv.org/pdf/2406.07496 摘要 人工智能正在经历一场范式转变，其突破是由协调多个 large language models (LLMs) 和其他复杂组件的系统实现的。因此，为复合 AI 系统开发有原则的自动化优化方法是最重要的新挑战之一。神经网络在其早期也面临着类似的挑战，直到反向传播和自动微分通过使优化变得轻而易举而改变了该领域。受此启发，我们推出了 TEXTGRAD，这是一个通过文本执行自动“微分”的强大框架。TEXTGRAD 反向传播 LLM 提供的文本反馈，以改进复合 AI 系统的各个组件。在我们的框架中，LLM 提供丰富、通用、自然的语言建议来优化计算图中的变量，范围从代码片段到分子结构。TEXTGRAD 遵循 PyTorch 的语法和抽象，并且灵活易用。它可以直接用于各种任务，用户只需提供目标函数，而无需调整框架的组件或提示...

英文题目：《CONTRASTIVE ECOC: LEARNING OUTPUT CODES FOR ADVERSARIAL DEFENSE》 中文题目：《ECOC：学习输出代码以进行抗辩》 发布于：arxiv 级别： 论文链接： 摘要 虽然独热编码通常用于多类分类，但它并不总是最有效的编码机制。纠错输出码（ECOC）通过将每个类映射到用作标签的唯一码字来解决多类分类问题。传统的ECOC方法依赖于手动设计或随机生成的码本，这是劳动密集型的，并且可能会产生次优的、与数据集无关的结果。本文介绍了三种基于对比学习的自动码本学习模型，允许码本直接自适应地从数据中学习。在四个数据集上，与两个基线相比，我们提出的模型对对抗性攻击表现出上级鲁棒性。 本文聚焦的问题 传统ECOC方法依赖人工设计或随机生成的码本，这不仅耗时费力，而且生成的码本可能与数据集特性不匹配，导致性能次优；现有对抗防御机制（如对抗训练）与ECOC方法并非互斥，但如何自动学习适合特定数据集的码本，并兼顾类别间区分性（行分离）与编码维度独立性（列分离），仍是一个未充分解决的问题；传统one-hot编码将类别视为正交，忽略了类别...

英文题目：《Layer-Wise Perturbations via Sparse Autoencoders for Adversarial Text Generation》 中文题目：《基于稀疏自编码器的分层扰动生成对抗性文本》 发布于：arxiv 级别： 论文链接： 摘要 随着自然语言处理（NLP），特别是大型语言模型（LLM）的快速发展，生成对抗性示例以越狱LLM仍然是理解模型漏洞和提高鲁棒性的关键挑战。在这种情况下，我们提出了一种新的黑盒攻击方法，利用大模型的可解释性。我们介绍了稀疏特征扰动框架（SFPF），这是一种用于对抗性文本生成的新方法，它利用稀疏自编码器来识别和操作文本中的关键特征。在使用SAE模型重建隐藏层表示后，我们对成功攻击的文本进行特征聚类，以识别具有较高激活度的特征。然后，这些高度激活的特征被扰动以生成新的对抗性文本。这种选择性干扰保留了恶意意图，同时放大了安全信号，从而增加了它们逃避现有防御的可能性。我们的方法实现了一种新的红队策略，该策略平衡了对抗有效性与安全性。实验结果表明，SFPF生成的对抗性文本可以绕过最先进的防御机制，揭示了当前NLP系统中...

英文题目：《Towards Powerful and Practical Patch Attacks for2D Object Detection in Autonomous Driving》 中文题目：《面向自动驾驶中2D目标检测的强大而实用的补丁攻击》 发布于：arxiv 级别：cvpr 论文链接： 摘要 尽管取得了进步，但基于学习的自动驾驶系统仍然非常容易受到对抗性补丁的影响，在其实际部署中构成严重的安全和安全风险。黑盒攻击，值得注意的是他们的高攻击成功率没有模型知识，特别是关注，其可转移性进行了广泛的研究，以减少计算成本相比，基于查询的攻击方法。以往的基于可传递性的黑盒攻击通常采用平均精度（mAP）作为评估指标，并相应地设计训练损失。然而，由于存在多个检测到的边界框和相对宽松的交并（IoU）阈值，这些方法的攻击有效性往往被高估，导致在实际攻击场景中的成功率降低。此外，在低分辨率数据上训练的补丁通常无法在高分辨率图像上保持有效性，限制了它们向高分辨率自动驾驶数据集的可移植性。为了填补这一空白，我们提出了P3A，这是一个强大而实用的补丁攻击框架，用于自动驾驶中的2D对象检测...

英文题目：《DMFF-Net: Double-stream multilevel feature fusion network for image forgery localization》 中文题目：《DMFF-Net：用于图像伪造定位的双流多级特征融合网络》 发布于：Engineering Applications of Artificial Intelligence 级别：中科院1区 论文链接：ScienceDirect 摘要 随着图像处理技术的快速发展，图像操作变得越来越容易，这对人们生活的稳定性和安全性构成了威胁。最近的 方法提出了RGB和噪声特征的融合来揭示篡改痕迹。然而，这些方法忽略了不同层次特征的特征，导致特征融合 不足。为了解决这个问题，本文提出了一种双流多级特征融合网络（DMFF‑Net）。与传统的特征融合方法不同， DMFF‑Net采用分级特征融合策略。它将特征分为初级、中级和高级水平，并引入初级特征融合模块（PFFM） 和高级特征融合模块（AFFM）以实现更优的融合结果。此外，采用多监督策略将融合特征解码为特定级别的掩 码，包括边界、常规和精细掩码。DM...

英文题目：《M2RL-Net: Multi-View and Multi-Level Relation Learning Network for Weakly-Supervised Image Forgery Detection》 中文题目：《M2RL-Net：用于弱监督图像伪造检测的多视图和多级关系学习网络》 发布于： AAAI 级别：CCF-A 论文链接： https://doi.org/10.1609/aaai.v39i5.32501 摘要 随着数字媒体操纵变得越来越复杂，在最小监督下准确检测和定位图像伪造已成为一项关键挑战。现有的弱监督图像伪造检测（W-IFD）方法通常依赖于卷积神经网络（CNNs）和对内部关系的有限探索，导致仅使用图像级标签时检测和定位性能较差。为了解决这些局限性，我们为W-IFD引入了一种新的多视角和多级关系学习网络（M²RL-Net）。M²RL-Net通过探索图像不同视角和层次之间的关系，仅使用图像级标注有效地识别伪造图像。具体来说，M²RL-Net在不同视角上实现了补丁级自洽学习（PSL）和特征级对比学习（FCL），促进了更通用的自监督伪造特征学...

英文题目：《CatmullRom Splines-Based Regression for Image Forgery Localization》 中文题目：《基于CatmullRom样条的图像伪造定位回归》 发布于： AAAI 级别：CCF-A 论文链接： https://doi.org/10.1609/aaai.v38i7.28548 摘要 图像伪造定位（IFL）有助于数字媒体取证。然而，许多方法存在误检（即FP）和不准确的边界问题。在本文中，我们提出了基于CatmullRom样条的回归网络（ CSR‑Net），它首先从回归的角度重新思考IFL任务以 解决这一问题。具体而言，我们提出了一种自适应的 CatmullRom样条拟合方案，用于粗略定位伪造区域。 然后，对于误报情况，我们首先开发了一种新的重新评分机制，旨在过滤掉在分类分支和实例分支上都无法产 生响应的样本。随后，为了进一步限制边界，我们设计了一个可学习的纹理提取模块，该模块通过解耦水平和垂直伪造特征来提取更鲁棒的轮廓表示，从而抑制FP。 与基于分割的方法相比，我们的方法简单有效，因为无需后处理。大量实验表明，CSR...

英文题目：《RAC: Efficient LLM Factuality Correction with Retrieval Augmentation》 中文题目：《RAC：通过检索增强实现高效的大语言模型事实性校正》 发布于： arxiv 级别：无 论文链接：https://arxiv.org/pdf/2410.15667 摘要 大语言模型（LLMs）在广泛的自然语言处理（NLP）任务中展现出了令人瞩目的成果，但它们常常会产生事实性错误的输出。本文介绍了一种简单而有效的低延迟后校正方法——检索增强校正（RAC），旨在提升大语言模型的事实性表现，且无需额外的微调。我们的方法具有通用性，可与任何经过指令微调的大语言模型配合使用，并且与先前的方法相比，延迟大幅降低。RAC将大语言模型的输出分解为原子事实，并应用检索到的内容进行细粒度的验证和校正过程，以验证和校正大语言模型生成的输出。我们广泛的实验表明，在两个流行的事实性评估数据集上，RAC相较于最先进的基线方法有高达 30%的提升，验证了其在不同大语言模型中，无论是否集成检索增强生成（RAG）时的有效性和稳健性。 本文聚焦的问题 本...

英文题目：《Enhanced Language Model Truthfulness with Learnable Intervention and Uncertainty Expression》 中文题目：《通过可学习干预和不确定性表达的增强语言模型真实性》 发布于： arxiv 级别：无 论文链接： https://arxiv.org/pdf/2405.00301 摘要 大语言模型（LLMs）能够生成长篇连贯的文本，但它们常常会产生事实幻觉，这削弱了其可靠性。为缓解这一问题，推理阶段的方法会将大语言模型的表征导向之前为获取真相而学习到的 “真实方向”。然而，以相同强度应用这些真实方向无法在不同的查询上下文之间实现泛化。我们提出了LITO，一种用于真实性优化的可学习干预方法，它能自动识别针对每个特定上下文量身定制的最佳干预强度。LITO基于不断增加的干预强度探索一系列模型生成结果。当预测高度不确定时，它会选择最准确的回答或拒绝回答。在多个大语言模型和问答数据集上进行的实验表明，LITO在保持任务准确性的同时提高了真实性。LITO的自适应特性克服了一刀切干预方法的局限性，仅在模...

英文题目：《A Comprehensive Survey of Hallucination Mitigation Techniques in Large Language Models》 中文题目：《大型语言模型中幻觉缓解技术的综合综述》 发布于： arxiv 级别：无 论文链接： https://arxiv.org/pdf/2401.01313 摘要 随着大型语言模型（LLMs）在编写类人文本方面的能力不断提高，一个关键挑战仍然存在，即它们倾向于“幻觉”——生成看起来是事实但没有根据的内容。这种幻觉问题可以说是将这些强大的LLM安全地部署到影响人们生活的真实生产系统中的最大障碍。在实际环境中广泛采用LLM的道路在很大程度上取决于解决和减轻幻觉。与专注于有限任务的传统人工智能系统不同，LLM在训练期间接触了大量的在线文本数据。虽然这使它们能够表现出令人印象深刻的语言流畅性，但也意味着它们能够从训练数据中的偏差中推断信息，误解模糊的提示，或修改信息以使其表面上与输入对齐。当我们依赖语言生成能力进行敏感应用时，例如总结医疗记录、客户支持对话、财务分析报告以及提供错误的法律建议，这变...