这项由哈尔滨工业大学与华为诺亚舟实验室联完成的研究，以预印本形式于2026年6月30日发布在arXiv平台，编号为arXiv:2606.31924，研究向属于计机视觉域的可控图像生成。
先来描述个让人抓狂的日常场景。你找到张参考图，想让AI按照这张图的姿势和布局，重新画出六个各有特的人物——左边是穿红金战甲的钢铁侠，旁边是身着蓝白战袍的蜘蛛侠，中间是穿着冰蓝礼服的艾尔莎……你把这段描述输入当前强的图像生成工具，满怀期待地等待结果。图片生成了，却发现钢铁侠穿上了蓝衣服，蜘蛛侠变成了金，艾尔莎的裙子变成了红——颜、服装、甚至人物特征全部张冠李戴，像是场乱入的化妆舞会。
这个恼人的问题在业内有个属名称，叫"属混淆"。越是复杂的场景、越多的人物出现在同张图里，AI就越容易搞混每个角的属属。这就像个健忘的服装助理，手里拿着十套戏服，分不清哪件该给哪个演员穿。
现有的些解决案要求用户在每个人物区域上手动画出范围框、或者逐标注每个实例的位置，才能告诉AI"这里是人物A，那里是人物B"。但这种操作费时费力，普通用户很难做到，不用说在复杂的十几个人物场景里逐标注了。
哈工大与华为诺亚舟实验室的研究团队在这篇论文中提出了个叫做InstanceControl的全新框架，其核心思路是：让AI自己去搞清楚文字描述和图像区域之间的对应关系，而不是依赖人工标注。他们借助视觉语言模型（种既能看图又能读文字的AI），让系统自动从描述文字里解析出每个人物的属，同时自动识别图像中每个人物所在的区域，从而建立起的"张冠李戴护机制"。研究结果表明，这套系统不仅过了同样不需要人工标注的现有法，甚至在部分指标上过了需要人工标注才能工作的业工具。
、"服装助理"的困境：为什么AI总搞混人物属
要理解这个研究解决的核心问题，先从AI绘图的工作原理说起。当前主流的图像生成工具，比如基于FLUX或StableDiffusion的ControlNet系列，工作式大致是这样的：用户提供段文字描述，同时提供张"视觉条件图"——比如张边缘线条图（cannyedge）或者度图，系统会根据这两个输入生成图像。视觉条件图告诉AI图中各个元素的空间布局，文字描述告诉AI每个元素长什么样子。
问题就出在这个"告诉"的过程上。当图中只有两个人物时，AI还能比较准确地把文字属对应到正确位置。但当场景里同时出现六个、八个、甚至十几个实例时，AI就像个同时被十个人交代任务的助理，很快就会把"红战甲给钢铁侠"和"蓝战袍给蜘蛛侠"这两条指令混淆——这本质上是因为AI没有个清晰的"实例别对应机制"，不知道文字中描述人物A的那段话，究竟对应图像里哪块区域。
现有的改进案分两种路线。种是让用户手动提供每个实例的区域标注，比如画出边界框或者分割蒙版，然后再附上对应的文字描述——这就相当于告诉助理"件红战甲放在左边三个衣架上，属于钢铁侠"，这样助理就不会搞混了。代表工具包括EliGen、CreatiLayout、Seg2Any等。另种是不做实例标注，依赖模型本身去理解复杂场景——以FLUXControlNet为代表，但果往往在复杂多实例场景下大折扣。
InstanceControl选择了三条路：不要用户手动标注，但也不放任AI自由发挥，而是引入个"中间人"——视觉语言模型，让它自动完成原本需要人工完成的实例对应工作。
二、两阶段流水线：先"点名"再"对号入座"
InstanceControl的整个工作流程可以分成前后紧密衔接的两个阶段，每个阶段各司其职，共同完成从文字和参考图到图像的生成任务。
阶段的核心任务，是在文字描述和视觉条件图之间建立起实例别的对应关系。可以把这个阶段理解为"先点名，再对应座位"。具体来说，系统需要做两件事：从复杂的文字描述里找出每个实例的属描述，同时在视觉条件图里找到每个实例对应的区域。
这件事听起来简单，实际上有相当的挑战。现有的视觉语言模型和图像分割工具（比如LISA等），主要针对真实照片设计，而且要求文字描述和图像内容在语义上度致。但在InstanceControl的应用场景里，用户给的视觉条件图可能只是张黑白边缘线条图，里面的人形轮廓没有任何颜信息，而文字里写的却是"身穿红金战甲的钢铁侠"——这两者之间的语义鸿沟，让现有工具直接失，因为它们法把个只有轮廓的人形和"钢铁侠"这个语义关联起来。
为了解决这个问题，研究团队精心构建了个用的训练数据集，并门微调了视觉语言模型，使其具备在这种"语义不对齐"场景下仍能完成准确对应的能力。他们还设计了种类比式数据增强法，用另个AI工具把图像中的实例替换成语义相似但具体不同的类别，从而制造大量"文字描述和视觉内容看起来不直接匹配"的训练样本，强迫模型学会层的理对应能力。
阶段的技术实现建立在Sa2VA这个架构基础上，这是个将SAM（SegmentAnythingModel，种能对任意图像进行分割的基础模型）和大型视觉语言模型整在起的框架。系统接收视觉条件图和文字描述作为输入，通过视觉语言模型生成段格式化的文字响应，其中每个实例的描述短语都被标记出来，并附带个特殊的SEG标记（分割标记）和个唯的实例编号。随后，系统把每个SEG标记对应的隐藏向量提取出来，输入到SAM的解码器中，得到该实例在视觉条件图上的分割蒙版，以及个反映这块蒙版预测可信度的置信度分数。
这个过程中有个精巧的设计值得特别说明，叫做"共享SEG标记策略"。在复杂的长文本描述中，同个人物往往会在不同句子里被多次提及——比如先说"她穿着紫上衣"，后面又说"她背着绿手提包"。如果每次提及都生成个立的SEG标记，后得到的蒙版可能不致甚至相互矛盾。研究团队的解决案是，把属于同个实例的所有SEG标记的特征向量拼接在起，作为个统的表示输入到SAM解码器，这样论这个实例在文字里被提到多少次，终都只对应个连贯致的区域蒙版。
三、蒙版不怎么办：动态精炼策略肇庆pvc管粘接胶水厂家
有了阶段生成的实例蒙版，二阶段就要把这些对应关系真正注入图像生成过程中。但这里有个棘手的现实问题：阶段预测出的蒙版并非缺。有时候蒙版范围不完整，漏掉了实例的某个部分；有时候位置有偏差，边界没有对准；还有时候整个实例都被漏掉了。如果把个不准确的蒙版直接当做硬约束施加给生成过程，终结果会差。
研究团队为此设计了个蒙版精炼模块，其工作逻辑可以用句话概括：置信度的时候相信预测蒙版，置信度低的时候转而参考生成模型自己的"直觉"。
这个"直觉"来自于注意力机制。在扩散模型（当前主流图像生成技术的基础）的生成过程中，模型内部的交叉注意力图可以揭示"模型认为这段文字应该对应图像哪个区域"。研究团队把这种注意力信息提取出来，形成个"注意力蒙版"，作为预测蒙版的补充参考。
蒙版精炼模块是个轻量的U-Net网络，输入包括预测蒙版、注意力蒙版、置信度分数以及当前的图像潜在特征，输出个经过综判断后的精炼蒙版。当置信度分数时，精炼蒙版会贴近预测蒙版；当置信度分数低时，精炼蒙版会向注意力蒙版靠拢。网络内部同时设计了实例内部的注意力机制和不同实例之间的注意力机制，让精炼过程能够同时考虑单个实例的内部致和多个实例之间的空间关系。
得到精炼蒙版之后，系统构建个"对应蒙版矩阵"。这个矩阵的作用是给图像生成模型的注意力机制加上层的过滤器：属于实例A区域的图像像素，只被允许关注描述实例A的文字标记；属于背景区域的像素，则可以自由关注所有文字标记；而来自不同实例的像素之间则被强制隔离，止属渗透。在技术实现上，这个矩阵被以对数形式加入到注意力计的分子中，当矩阵值趋近于1时，注意力计恢复正常；当矩阵值趋近于0时，对应的注意力权重被压制到接近负穷，相当于切断了这对像素与文字标记之间的信息流动。
整个二阶段在FLUX图像生成框架上通过LoRA微调实现，先用真实蒙版训练基础对应能力，再在预测蒙版上训练蒙版精炼模块。
四、数据从哪来：五万张图的精心烹制
任何AI系统的果都离不开数据支撑，而InstanceControl的训练数据构建本身就是项相当复杂的工程，万能胶生产厂家因为现有数据集存在两大通病：要么文字描述太短、实例太少，要么实例描述和整体文字提示是分离的，不符InstanceControl需要的"实例描述嵌入在长文本中"的格式。
研究团队从SAM数据库、COCO数据集和UniWorld-V1数据集中精选了五万张图像及其对应的分割蒙版，过滤掉或关的蒙版，保证每张图的实例密度在理范围内——平均每张图包含约11.64个实例。随后，针对每张图，他们调用Gemini2.5Pro生成详细的长文本描述，平均每段描述约183个词，确保场景中的每个实例都有细致的属刻画。再次调用Gemini2.5Pro，结蒙版叠加在原图上的可视化果，从长文本中精确提取出对应每个实例的关键名词短语，建立起文字到蒙版的对应关系。
后道关键工序是对比增强数据的构建。为了让模型具备处理"文字描述和视觉内容不直接对应"场景的能力，团队利用NanoBanana（Google的图像生成编辑工具）将数据集中的部分实例替换成语义相近但具体不同的类别——比如把只猫换成只狗，或者把件蓝夹克换成件绿外套——制造出过千个"语义相似但视觉内容被修改"的对比样本，让模型在训练时学会鲁棒的对应理能力。
对应视觉条件，研究团队还为每张图提取了三种不同类型的视觉条件：canny边缘图（只保留物体轮廓线条）、度图（用灰度表示场景的远近层次）和HED图（种丰富的边缘检测结果）。这样训练出的InstanceControl对多种视觉条件都具备泛化能力，而不是只能处理种特定类型的输入。
五、实验结果：量化数字背后的真实差距
研究团队在两个评测基准上对InstanceControl进行了测试，并与六种现有法展开对比。MIG-Eval是他们基于自己构建数据集门设计的评测基准，包含5400张测试图像，每张图都附有详细文字描述、实例蒙版和从文字中提取的对应实例描述。COCO-POS是个公开的立评测数据集。
评测指标覆盖三个维度。空间对齐度用平均交并比（MIoU）衡量，反映生成图像中各实例所在位置是否和参考蒙版吻；区域质量用LocalCLIP分数和Accuracy两项指标衡量，前者评估生成的实例区域和对应文字描述的语义匹配程度，后者调用Qwen2-VL-72B这个大型视觉语言模型来逐项核查空间关系、颜、形状和纹理是否和描述相符；全局质量用FID分数和ImageReward分数衡量，前者评估生成图像整体的真实感，后者评估人类对图像整体质量的偏好。
在不需要人工标注的法中，InstanceControl相比FLUXControlNet的提升相当显著。以canny边缘条件为例，空间对齐度（MIoU）从0.6526提升到0.8250，颜准确率从73.30跃升至87.78，形状准确率从73.93提升到88.19，纹理准确率从79.24提到90.88，LocalCLIP分数也从16.48提到18.51，FID分数从14.04降低到10.03（FID越低越好，说明生成图像接近真实图像分布）。度图和HED条件下的提升幅度相似，这说明InstanceControl的优势并不依赖于特定的视觉条件类型。
令人在意的对比是，InstanceControl（不需要人工标注版本）甚至过了部分需要人工标注的法。以颜准确率为例，EliGen（需要人工标注边界框）达到84.98，CreatiLayout（需要人工标注边界框）达到80.87，而InstanceControl在不需要任何标注的情况下，canny条件下达到了87.78，HED条件下达到了88.75。这意味着自动化的对应建立已经能够在实际果上与人工标注竞争，而用户不需要付出额外的标注劳动。
研究团队还把InstanceControl与Qwen-ImageControlNet和NanoBanana这两个集成了理解和生成能力的统模型进行了对比，在随机选取的300张MIG-Eval测试图上，InstanceControl在MIoU、LocalCLIP、颜准确率、形状准确率、纹理准确率、ImageReward和FID七项指标上均过了这两个对比法。
六、消融实验：逐块拆解，验证每个设计的价值
为了证明每个设计决策都是有的而非多余的，研究团队进行了系统的消融实验。
关于共享SEG标记策略的果，对比实验表明，不使用这策略时，MIoU从0.8250降至0.8214，颜准确率从87.78降至85.89，形状准确率从88.19降至86.46，FID从10.03升至10.30。这说明对同实例的多次描述进行统处理，对终生成果有实质的贡献，尤其是在颜和形状这些属维度上果明显，因为这些属往往分散在文字描述的不同位置。
关于蒙版精炼模块的果，实验对比了三种蒙版案：直接使用预测蒙版、使用置信度加权的插值蒙版（即根据置信度分数在预测蒙版和注意力蒙版之间做线混）和使用精炼模块生成的精炼蒙版。直接使用预测蒙版时，颜准确率为84.88，形状准确率为85.48，FID为10.93；使用线插值案时，颜准确率提升到85.91，形状准确率提升到86.26，FID降至10.06；使用精炼模块时，颜准确率进步提升到87.78，形状准确率提升到88.19，FID降至10.03。线插值案和精炼模块的对比尤其有意义，它说明简单的加权平均虽然有，但法捕捉到复杂场景中多实例之间的交互关系，而精炼模块通过内部的注意力机制能够处理这种复杂。
研究团队还分析了阶段和二阶段之间的关联。阶段的分割果达到了MIoU0.71的水平，并且阶段MIoU和二阶段颜等属准确率之间呈现出正相关关系——阶段分割越准确，二阶段的属控制就越。阶段常见的失败类型是蒙版不完整（漏掉了实例的部分区域）、定位偏移（蒙版边界有误差）和漏掉某个实例。蒙版精炼模块对不完整蒙版具有相当强的鲁棒，能够把这类情况的平均Accuracy从87.97提升到90.10；而定位偏移和漏检这两种严重的错误则可能对二阶段造成大影响，但结交互式修正（见下段），也能进步提升到93.19。
七、用户可以介入修正：交互式蒙版修正
考虑到自动预测并非万失，研究团队还为InstanceControl设计了个交互修正机制。当系统生成的精炼蒙版果不理想时，用户可以在视觉条件图上点击个点或者画出个边界框，给出额外的位置线索，系统会结这个用户输入重新预测蒙版，从而在生成图像时得到准确的结果。
论文中展示了个具体案例：场景里有三件外套并排放置，其中件是红派克大衣。自动预测的蒙版把这件红派克大衣的区域标注得不太准确，但用户只需在红派克大衣所在区域点击个点，系统就能重新生成个准确的蒙版，终生成的图像也因此好地了红派克大衣的视觉特征。这个的存在让InstanceControl在自动化率和可控之间取得了个灵活的平衡点。
说到底，InstanceControl解决的核心问题是AI图像生成域长期存在的"属张冠李戴"困境，而且解决式相当优雅——不是靠多的人工劳动，而是靠让AI自己建立起文字和图像之间的对应关系。对于普通用户来说，这意味着将来使用AI绘图工具时，即使场景里有十几个各具特的人物，也可以期待每个人物的颜、服装和细节都能被，而不需要手动给每个人物画出边界框。对于内容创作者、游戏开发者、影视从业者这些需要精确控制大量角视觉属的业用户，这项技术的实用价值尤其突出。有兴趣入了解技术细节的读者，可以通过arXiv编号2606.31924找到完整论文，项目主页地址为instancecontrol.github.io/InstanceControl。
Q&A
Q1：InstanceControl和普通ControlNet有什么核心区别？
A：普通ControlNet只接收文字和视觉条件图，没有明确区分不同实例的机制，在多人物场景里容易把颜、服装等属搞混。InstanceControl增加了个自动建立"文字描述与图像区域对应"的前置阶段，让每段人物描述只影响图中对应的那块区域，从而避属混淆。简单说，ControlNet是整体处理，InstanceControl是逐人物绑定。
Q2：InstanceControl生成张复杂多人物图片需要用户手动操作哪些步骤？
A：基本上不需要手动标注区域。用户只需提供视觉条件图（比如边缘线条图）和文字描述，系统会自动完成人物识别和区域划分。唯可选的手动操作是当某个人物的蒙版预测不准确时，用户可以点击个点或画个框来辅助修正，但这是可选，不是须步骤。
Q3：InstanceControl的训练数据是怎么构建的？
A：研究团队从SAM、COCO和UniWorld-V1三个数据集中选取了五万张图，用Gemini2.5Pro生成平均约183个词的详细描述，再用Gemini2.5Pro提取每个实例对应的文字短语，建立对应关系。此外还用图像编辑工具制作了过千个"文字与图像内容不直接对应"的对比训练样本，增强模型的泛化能力。相关词条:罐体保温施工 异型材设备 锚索 玻璃棉 保温护角专用胶
奥力斯 保温护角专用胶批发 联系人：王经理 手机：13903175735（微信同号） 地址：河北省任丘市北辛庄乡南代河工业区
1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述肇庆pvc管粘接胶水厂家，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》，以此来变相勒索商家索要赔偿的违法恶意行为。
