△CreatiDesign能天生各品种型的平面计划图，如影戏海报、品牌促销、产物广告和社交媒体图。

　　AI固然正在文生图范畴已获得了很大的冲破，但以往方式正在统治图形计划时，要么“偏科”，要么缺乏精准的可控性。

　　而CreatiDesign推出了联合众条款操纵的扩散Transformer架构，并配套构修了40万样本的大范围众条款标注数据集，餍足现实计划需求。

　　以往的可控扩散模子大家针对简单条款（如仅操纵主体图或仅操纵结构或文本），缺乏将众种异质条款（图像、结构、文本等）举行联合协调和协同修模的本事。

　　即使局部最新模子初阶告终了众条款输入，已经难以确保每个子操纵条款可能精准、独立即操纵其对应的图像区域。

　　开源的图形计划数据集有限。现有的数据集缺乏缜密化、众条款的标注，难以餍足模子对众样性和高质料数据的练习需求。

　　为此，CreatiDesign从模子架构、数据构制等角度开赴，提出了编制性的处理计划，旨正在赋能扩散模子创意平面计划的本事

　　众主体的图像条款：用户可能一次性输入众个主视觉元素（如产物图、LOGO等），并正在空缺画布上随意左右，获得众主体的图像条款。然后将此图像送入原生的VAE举行编码，获得一组主视觉token。这些token能完备保存每个主体的细粒度视觉特质，为后续天生供应主体拘束。

　　语义结构条款：每个辅助元素或文本的语义刻画，先由T5文本编码器转换为语义特质token，空间职位消息（bounding box坐标）则过程傅立叶变换后，和语义特质拼接，再通过MLP进一步协调，最终获得集成了语义和空间消息的结构token。这种体例告终了对结构元素实质和空间排布的双重精准操纵。

　　整体刻画：用户还可能输入集体的刻画，同样由T5编码为整体刻画token，为整体实质和格调把控供应辅导。

　　最终，全豹类型的token（主视觉token、结构token、整体刻画token）被拼接后输入到MM-DiT中。正在每一层Transformer中，CreatiDesign采用众模态细心力（MM-Attention）机制，使分歧模态的token举行深度协调，从而告终众条款的共同修模和操纵。

　　为晋升每个条款的独立可控性，CreatiDesign提出两种专属细心力掩码：

　　Subject Attention Mask：主体token仅与其指定区域内的图像token举行双向交互，且与结构token、整体刻画token及无合区域的图像token齐备阻隔，确保主体实质高度还原、独立于其他条款。

　　Layout Attention Mask：每个结构token仅与其指定区域内的图像token交互，同时阻断结构token之间、结构token与主视觉或整体刻画token之间的交互，避免结构元素之间的语义串扰与分歧条款之间的作对。

　　这种显式的掩码机制，使每个条款都能精准、独立即调控对应图像区域，极大晋升了天生结果的划一性与可控性，确保了众条款杂乱计划妄思的正经还原。

　　中心天生：基于计划症结词库，运用LLM（如GPT-4）天生蕴涵主视觉元素、结构元素和文本实质的众因素计划中心；

　　文本图层衬托：根据分层结构允诺（HLG），通过衬托引擎主动天生带精准排版的文本前景图层（RGBA）；

　　基于前景的图像天生：模仿LayerDiffuse范式，共同LoRA模块，告终基于文本前景和中心刻画布景的高质料平面计划图像天生;

　　实体检测与标注：诈欺GroundingSAM2检测全豹实体（主视觉、辅助打扮），并通过VLM天生细粒度属性刻画，告终全因素众条款的主动标注。

　　最终，CreatiDesign开源了范围达40万组、具备众条款高质料标注的平面计划样本，为众条款可控模子的练习供应数据本原。

　　正在众维度的评估基准上，CreatiDesign正在主体坚持度、结构服从度、文本精确率以及图像集体质料等症结目标上均获得了领先的职能。

　　全体来说，CreatiDesign正在主视觉元素的还原（如DINO-I、M-DINO分数）、辅助元素的空间职位与属性划一性、文本实质的切实率（Sen.Acc）和编辑隔绝（NED），甚至图像集体质料（IR、PickScore）等各项评议目标上，正在此刻主流的众主体图像驱动、结构驱动及众条款驱动的SOTA模子中，位居第一梯队。

　　从外格中可能看到，CreatiDesign的均匀归纳得分高达69.28，比拟本原模子FLUX.1-dev的47.50分，晋升幅度抵达45.9%。这一明显晋升仅依赖于本原模子4.1%的格外参数目，高效得晋升了本原模子正在图形计划上的本事。

　　上图中紫色蒙版代外不划一或职位过错的主体，赤色蒙版代外语义或职位不精确的实体，灰色蒙版代外欠妥洽的布景或前景区域。

　　可视化结果进一步验证了CreatiDesign正在天生结果上的上风：与以往的众条款或单条款模子比拟，CreatiDesign可能加倍正经地服从用户的计划妄思，全体再现正在主体元素的高度还原、辅助元素及文本的精准结构，以及集体画面的和睦划一。

　　比照图中可能明晰地看到，其他模子往往显现主体错位、实质缺失、文本过错等题目，而CreatiDesign可能切实保存各个输入因素，并告终杂乱众元素的妥洽排布。

　　其余，CreatiDesign无需格外练习即可援助众轮编辑：用户可正在已有平面计划结果上矫捷插入新文本、新主体，或对文本实质举行窜改，模子可能精准编辑指定区域，同时坚持非编辑区域的实质稳定。

　　比拟Gemini2.0等主流大模子正在编辑流程中常显现的非编辑区域转折、实质漂移等题目，CreatiDesign出现出更强的编辑矫捷性与坚持性。

　　不消千亿参数也能合成高质料数据！这个开源框架让小模子“组团逆袭”，7B职能直追72B

　　大模子“拼好题”，45K数据撬动18%晋升，数常识题拒绝死记硬背 MathFusion

　　10% KV Cache告终无损数学推理！这个开源方式处理推理大模子「回顾过载」困难

　　决裂/识别/讲授一个模子搞定！3B参数鼎新视觉融会SOTA，图像视频全适配