↓↓↓文章末尾获取原文链接↓↓↓

本文3065字，阅读约需9分钟

摘要：提出了一种“近似域遗忘(ADU)”技术，使预训练的大型视觉语言模型(VLM）能够“遗忘”属于特定域的数据，从而实现更准确的AI图像识别。

关键词：AI、图像识别、遗忘、域特征、识别精度

要点

首次提出“近似域遗忘(Approximate Domain Unlearning：ADU)”技术，使预训练的大型视觉语言模型(Vision-Language Model：VLM）能够“遗忘”属于特定域的数据，从而无法识别这些数据。
新引入了在特征空间上分离不同域的“域解耦损失（Domain Disentangling Loss：DDL）”和能够自适应捕捉每幅图像域特性的“实例提示生成器（Instance-wise Prompt Generator：InstaPG）”，实现了以往难以实现的基于域的选择性遗忘。
在四种标准图像识别测试数据上，与传统方法相比，平均性能提升了约1.6倍。
提出了一项可根据目的灵活控制人工智能所掌握知识的新设计原则，为安全、可靠地使用人工智能开辟了道路。

研究概述

研究小组首创提出并创造了“近似域遗忘(Approximate Domain Unlearning：ADU)”新技术，使预训练的大型视觉语言模型(Vision-Language Model：VLM^＊¹）能够“遗忘”特定域(^＊²)，从而无法识别这些域。这项技术降低了人工智能统一识别所有图像所导致的误识别风险和可靠性问题，同时展现了新型人工智能根据使用目的灵活控制知识的潜力。

预训练的大规模VLM具有强大的泛化能力，能够高精度地识别属于不同域的图像，并在各种应用中表现出优异的性能。然而，这种“万能性”并不总是理想的。在某些情况下，不加区分地识别所有域的图像可能会导致误识别或带来可靠性风险。例如，如果交通监控系统或自动驾驶系统将街头显示屏或广告中的“人”或“汽车”的插图与真实的“人”或“汽车”混为一谭识别，就可能得出错误的分析结果。

为了解决这个问题，一种名为“近似遗忘(Approximate Unlearning)”的技术应运而生，可以选择性地“遗忘”模型已学习到的部分知识。先前的近似遗忘技术实现了针对特定数据的基于样本的遗忘，或针对特定类别（例如，“人”或“汽车”）的基于类别的遗忘。与之相比，研究小组开发的基于域的近似遗忘方法能够实现更灵活的知识控制。例如，对于“实拍”“绘画”“剪贴画”“素描”等多种域的汽车图像，若指定“忘记除‘实拍’之外的内容”，就可以在保持“实拍”汽车图像识别准确性的同时，有选择性地降低其他域汽车图像的识别准确性（图1）。

其挑战在于，预训练的大规模VLM具有强大的泛化能力。由于这种泛化能力，不同域在VLM内部的特征空间中以相互无法区分的方式交织在一起，使得遗忘特定域变得困难。因此，研究小组新引入了在特征空间上清晰地分离不同域的“域解耦损失（Domain Disentangling Loss：DDL）”和能够捕捉不同域在每幅图像中表现形式的“实例提示生成器（Instance-wise Prompt Generator：InstaPG）”，实现了灵活的域遗忘。

使用四种标准图像识别测试数据进行的评估结果证实，与传统技术相比，该技术平均性能提升了约1.6倍。尤其是在最苛刻的条件下，性能提升了约1.7倍，充分证明了该方法的有效性。这一研究成果通过保留必要知识并抑制不必要的知识，提出了一种可根据使用目的对人工智能进行部分重构的新型框架。未来，有望提高人工智能模型的安全性和高效复用性。

图1：近似域遗忘

研究背景

随着利用海量图像和语言数据进行训练的预训练大规模视觉语言模型（Vision-Language Model：VLM）的出现，人工智能无需额外训练即可高精度识别各种物体，极大地扩展了人工智能的应用范围。另一方面，也有人指出，保留过多不必要的知识会带来一些副作用。例如交通监视系统和自动驾驶系统需要高精度地识别“人”和“汽车”等，但并不需要识别“食物”等。保留这些不必要的知识会导致误识别和处理效率低下，进而有可能损害整个系统的可靠性。

为了解决这些问题，一种名为“近似遗忘”的技术引起了人们的关注，该技术有选择地从预训练的模型中“遗忘”不必要的知识。这是一种在保持模型整体性能的同时抑制、删除特定知识的技术。以前实现了针对特定的物体类别（例如，“汽车”等）的基于类别的遗忘。

但在实际应用中，仅基于类别的遗忘可能并不足够。例如，即使同一个物体，在不同的表现形式（域）下可能具有不同的含义，例如“照片”、“绘画”、“剪贴画”或“素描”。然而，由于VLM具有强大的泛化能力，它们无法区分这些不同的表现形式，而是将它们统一识别为同一个物体。根据应用场景的不同，有时只需要保留特定域的知识，而忘记其他域的知识。例如，在交通监控系统中，如果将街道显示屏或广告中的插图或动画的人物或汽车识别为实物，则交通量和车辆检测的分析结果可能会出现错误。

如果人工智能对所有图像中的物体进行统一识别，则可能导致可靠性降低和故障。因此，亟需一种选择性地遗忘特定域、而不是遗忘整个类别的新型知识控制方法。

研究成果

研究小组提出了一种名为“近似域遗忘(Approximate Domain Unlearning： ADU)”的新型近似遗忘技术。例如，对于“实拍”“绘画”“剪贴画”“素描”等多种域（表现形式）的汽车图像，如果指定“忘记除实拍之外的内容”，就可以在保持实拍汽车图像识别准确性的同时，有选择性地降低其他域汽车图像的识别准确性。与传统的基于类别的遗忘技术相比，该技术能够实现更精细、更灵活的遗忘。

在尝试实现近似域遗忘时，最简单的方法是将过去研究过的基于类别的近似遗忘技术直接应用于基于域的近似遗忘。然而，验证结果表明，该方法并未达到足够的遗忘性能。这是因为VLM强大的泛化能力导致特征空间中不同域的特征分布错综复杂地交织在一起。因此，在试图只遗忘/保留某一个域时，会受到其他域的影响，导致难以单独控制（图2a）。

为了解决这个问题，研究小组开发了一种可以实现近似域遗忘的新技术。具体来说，研究小组首先引入了一种名为“域解耦损失（DDL）”的损失函数，该函数要求在特征空间中分离不同域的分布。其依据是“域分布分离的状态⇔域可以被准确识别的状态”，并指导系统在遗忘过程中准确识别每张图像的域。结果证实，能够有效地分离原本相互交织的不同域的分布（图2b）。

此外，当关注各个图像时，域的表现方式不一样。例如，即使是属于同一“绘画”的图像，也分写实、抽象等风格，其表现方式差异巨大。这种多样性使得难以用统一的规则来捕捉域的特征。因此，研究小组在模型中引入了一种名为“实例提示生成器（InstaPG）”的机制，能够自适应地对每幅输入图像的域特征进行建模，使其能够灵活地响应每个图像的域特征差异。

研究小组使用四个图像数据集评估了近似域遗忘性能。评估结果证实，与将基于类别的近似遗忘技术直接应用于基于域的近似遗忘技术相比，平均性能提升了约1.6倍；尤其是在最苛刻的条件下，性能提升达到了约1.7倍，充分证明了该方法的有效性。

图2：使用t-SNE方法（＊3）可视化各域的特征分布的情况

“如今，我们进入了一个任何人都可以自由使用经过训练的高性能人工智能模型的时代，因此如何有效利用这些预训练模型是一个重要问题。但是，要实现可持续的实际运用，我认为至关重要的是建立一种能够根据具体情况和目的适当控制人工智能功能和性能的机制。我一直致力于研究一种能够让人工智能选择性地遗忘其所掌握知识的技术。特别是，AI具有不区分域的泛化识别特性，在某些情况下可能成为应用的障碍，因此挑战性地创造了前所未有的‘近似域遗忘’技术。希望这项研究的成果能够将易于过度设计的AI模型转化为‘恰到好处’的模型，从而有助于实现更安全、更易用、且更可靠的AI模型。”

术语解释

＊1 视觉语言模型(Vision-Language Model：VLM)

一种能够同时理解和处理视觉信息和语言信息的AI模型。

＊2 类别和域

类别指要识别的对象的类别（例如，狗、猫、汽车等），代表“要识别的是什么”；另一方面，域指的是数据的来源或表现方式（例如，照片、绘画、素描），代表“它以何种形式或表达方式存在”。即使是属于同一类别的“汽车”，照片的汽车和素描汽车也属于不同的域。

＊3 t-SNE方法

一种将高维数据压缩到二维或三维并进行可视化的方法。

https://www.tus.ac.jp/today/archive/20251202_8376.html

https://kodaikawamura.github.io/Domain_Unlearning/

（1）资讯定制

对于本文章中提到的技术，有海外相关技术信息（行业资讯、技术报告、专利信息等）扩展搜集需求的，欢迎留言区留言，或联系邮箱【info#aipatent.com（注明“资讯定制”） *发送邮件时请将“#”替换为“@”】了解详情。

（2）征稿启事

应部分读者建议，本公众号现开放投稿，面向企业及科研机构人员征集稿件，可以分享技术信息、学术类论文、科研成果以及研究见解等。

投稿请发送至邮箱：support#aipatent.com（请注明“AIpatent公众号来稿”） *发送邮件时请将“#”替换为“@”

更懂得“遗忘”的AI：能够按“域”（Domain）单位遗忘已学知识的新技术