人工智能驱动的新一代工业数字孪生系统特征、模式与关键技术

导语:新一代人工智能AI正在重构工业数字孪生系统iTS的技术架构与实施路径AI驱动的新一代IDTS由物理实体系统数字孪生系统与 AI计算系统构成以多智能体协同网络为核心通过物理实体系统数字孪生系统与 AI计算系统的三元动态耦合形成虚实双向映射的闭环优化体系

数字孪生(Digital Twin,DT)的概念由美国密西根大学GRIEVES教授于2003年提出,2011年美国宇航局VICKERS正式将其命名为数字孪生。数字孪生技术从最初在航空航天领域的探索,到建筑、电力、交通和医疗等50多个领域的应用,涵盖产品设计、制造和运维等生命周期过程,已成为多个领域的热点方向。工业数字孪生系统(industrial Digital Twin System,iDTS)是数字孪生技术在工业领域的应用实践,其通过为物理实体系统提供完全一致的三维虚拟模型,能全面、精准反映物理实体系统的动态变化,具有虚实交互、数模融合、迭代优化、实时控制等典型特征。


当前,在产品个性化设计、高精度建模、车间生产调度、人机协作装配、装备作业调控等过程中,在应对复杂动态环境、多变生产任务、实时反馈控制和精准操作执行等场景需求时,iDTS主要面临三方面挑战:


(1)数据稀缺瓶颈受限于建模复杂性与数据稀缺性,数字孪生体的精确性与全要素覆盖难以保障。


(2)学习能力缺失传统作业装备并不具备自主学习和优化决策控制能力,仍依赖于传统程序化控制,难以适应动态任务需求。


(3)智能执行不足将优化策略转化为物理行动过程中,缺乏“人-机-环境”的高效智能交互和实时反馈调整能力。


以上挑战限制了iDTS从一个高级的透明化监控工具向一个能够自主优化的智能系统演进。


以大规模预训练模型和生成式模型为核心的新一代人工智能(AI)技术,正在重构传统解决方案的范式体系。具体而言,基于Transformer架构的大语言模型(LLM)展现出卓越的自然语言理解、处理与生成能力,通过基于海量语料库的自监督预训练,具备包括零样本学习、上下文学习以及链式思维推理等涌现能力。此外,生成式AI通过扩散模型或变分自编码器等深度学习方法,从多模态数据中学习底层表征规律,可生成具有高度真实性的文本、图像、音频及视频内容。这些技术突破为iDTS提供了新型技术架构与实施路径。同时,iDTS通过建立与物理实体的几何、行为、性能等高度一致的三维虚拟模型和仿真环境,为AI模型的高效训练、可靠验证提供了支持。因此,iDTS正经历从传统静态映射向智能动态协同的范式跃迁。


在上述背景下,本文提出了AI驱动的新一代iDTS的概念、核心机制和核心能力特征,构建了系统架构、典型模式和关键技术。与传统iDTS不同的是,在新一代iDTS中,每个实体单元(设备/人员/环境)或功能模块(仿真/计算系统)均可抽象为具有自主决策能力的智能体,通过分布式智能协同机制实现复杂设计/制造/作业环境的高保真动态模拟与闭环优化管理。同时,新一代iDTS通过融合大模型和专用模型构建AI模型学习机制,实现作业任务的自学习与智能执行,最终通过物理实体系统、数字孪生系统与AI计算系统的深度融合,以多智能体协同网络为核心,形成虚实双向映射的闭环优化体系。


1 AI驱动的新一代iDTS的典型特征


AI驱动的新一代iDTS由物理实体系统(人-机-环境耦合)、数字孪生系统与AI计算系统构成,以多智能体协同网络为核心,通过物理实体系统、数字孪生系统与AI计算系统的三元动态耦合,形成虚实双向映射的闭环优化体系。其核心机制为:


(1)虚实同步AI计算系统实时采集物理实体系统的数据,生成孪生数据与模型,驱动数字孪生模型动态更新,确保与物理世界一致、同步。


(2)自主进化融合大模型和专用模型构建AI模型学习机制,通过在数字孪生系统中构建基于多智能体协同的“试错-反馈-优化”循环,实现任务策略的自主学习与迭代进化。


(3)智能执行将AI优化策略转化为物理实体系统的执行操作,通过“人-机-环境”的高效智能交互、实时反馈和自适应执行,实现物理实体系统的低时延和高精度作业。


1.1 特点分析


本文从感知、建模、交互、仿真、决策和执行6个维度分析了AI驱动的新一代iDTS与传统iDTS的不同之处,如表1所示。


表1 新一代智能iDTS与传统iDTS的区别

1.2 核心能力特征


AI驱动的新一代iDTS核心能力特征主要体现在智能感知、智能建模、智能交互、智能仿真、智能决策和智能执行6个方面,如图1所示。


图1 AI驱动的新一代iDTS核心能力特征


(1)智能感知


在智能感知方面,新一代iDTS实现了从静态数据采集向动态认知的跨越。结合多模态数据感知融合方法和生成式AI技术,系统不仅能够实时处理语音、文字、图像等多模态数据,还具备动态环境实时监控和反馈能力。通过智能感知,系统能够主动适应环境变化,在动态复杂场景中进行语义化数据理解,还可通过少量信息推测系统整体状态,并协同不同感知平台实现一致的虚实同步。


(2)智能建模


在智能建模方面,新一代iDTS通过引入生成式AI、机器学习和进化算法,实现了从人工建模到自动、自主生成模型的转变。同时,系统基于大数据和AI算法,能够整合多源异构数据,提取规律并快速生成几何、行为和机理模型,实现模型动态融合与精准构建。此外,通过学习进化,模型可以根据时间和环境变化调整其结构或参数,实现动态更新。


(3)智能交互


在智能交互方面,新一代iDTS通过引入多智能体协作与通信技术,实现了从预设指令到多智能体协同的根本转变。智能交互的核心在于提升系统的自然交互、群体智能和智慧通信能力。其中,多智能体之间通过高效的通信和动态任务分配机制,能够在实时动态环境中快速调整任务策略,完成复杂的协同任务。同时,数字孪生系统通过语音、图像、触觉等多模态交互方式,提升了人机交互效率和舒适性。


(4)智能仿真


在智能仿真方面,新一代iDTS通过引入生成式AI和因果推理技术,实现了从离线计算到动态场景实时仿真的转变。系统具备动态适应性和高保真度,可在运动过程、摩擦和材料柔韧性等方面提供极高的仿真准确性。同时,系统能够通过因果推理技术进行预测和优化,并提供多目标优化方案。智能仿真的核心能力还包括自优化以及个体与群体的差异性描述。通过自学习机制,捕捉个性关键特征,系统能够模拟群体行为的动态差异性,为复杂场景的优化和决策提供更精准的支持。


(5)智能决策


在智能决策方面,新一代iDTS通过引入大数据和AI算法,实现了从规则触发到自主学习进化的转变。系统通过实时环境感知和自主学习,能够完成精准、高效的多目标优化决策。同时,在分布式决策框架下,多智能体协同完成复杂任务的分解与执行,确保了在动态场景中的决策效率和准确性。此外,系统通过多层次决策,实现从局部优化到全局调度,确保了不同任务层级的高效协同。


(6)智能执行


在智能执行方面,新一代iDTS通过嵌入式AI技术,实现了将虚拟决策转化为现实操作的最终环节。传统装备操作的执行过程通常依赖程式化的控制逻辑,缺乏自适应调整。通过嵌入式AI技术,新一代iDTS实现了设备的实时控制与自适应执行,满足低时延和高精度的作业需求。例如,在精细作业场景中,设备可以通过触觉反馈闭环实时调整操作,确保操作的稳定性和精准度。此外,该系统还具备集群自组织能力,能够通过分布式控制实现动态任务调度和资源优化。


2 AI驱动的新一代iDTS的系统基本架构


如图2所示,AI驱动的新一代iDTS的系统基本架构由物理实体系统、数字孪生系统和AI计算系统组成,三者相互关联,形成了生成式孪生建模模式、多智能体协同优化模式和嵌入式AI终端执行模式3种典型运行模式,并以多数字孪生体动态融合建模、AI生成数字孪生模型、多智能体智能感知与交互等关键技术为支撑。


图2 AI驱动的新一代iDTS的系统基本架构


(1)物理实体系统


物理实体系统是新一代iDTS的映射对象、服务对象和数据源,主要包括产品生命周期各环节的人员、装备、物料和生产环境等。其中,人员是指令发出者和决策制定者,处于系统的主导地位,例如设计师和工艺师;装备是执行特定生产任务的加工、运输、仓储等装备,例如机床、机器人、AGV等;环境是设计和生产的场地、设备和安全条件等环境因素,例如车间温度、运行环境等。


(2)数字孪生系统


数字孪生系统是新一代iDTS的虚拟本体,与物理实体系统在几何、行为和性能等方面保持动态一致和虚实同步,为AI计算系统提供仿真环境,主要包括孪生数据、孪生模型和孪生环境。其中,孪生数据通过智能感知或AI生成获取,保证孪生模型和孪生环境的高保真性;孪生模型包括三维结构模型、流程模型、多物理场模型等,这些模型能够模拟物理实体的时空状态、动态行为和性能;孪生环境是对设计、制造和运维环境的虚拟映射,沉浸式地模拟环境的真实变化。


(3)AI计算系统


AI计算系统是新一代iDTS的智能中枢,主要包括基础模型、专用模型和专用芯片。其中,基础模型包括语言模型、视觉模型和多模态模型等,例如GPT、DeepSeek等大语言模型;专用模型包括专用学习模型、专用生成模型等,是根据特定任务自建或者微调的AI模型,例如用于目标检测的YOLO模型、用于实例分割的MaskR-CNN模型等;专用芯片用于部署训练好的AI模型,并嵌入到终端执行设备,实现智能执行。


根据不同的工业场景和应用要求,物理实体系统、数字孪生系统和AI计算系统相互作用,形成了生成式孪生建模模式、多智能体协同优化模式和嵌入式AI终端执行模式3种典型的运行模式。其中,在生成式孪生建模模式中,高保真虚拟数据、图形和多物理场模型能自主构建与优化;在多智能体协同优化模式中,系统通过建立AI自学习机制,实现任务策略的自主学习与进化;在嵌入式AI终端执行模式中,系统通过数字孪生专用芯片,在终端设备部署训练好的AI模型,满足低时延和高精度的智能作业需求。


3 AI驱动的新一代iDTS的典型模式


(1)生成式孪生建模模式


生成式孪生建模模式强调孪生数据和孪生模型的主动生成。在该模式中,物理实体系统能够为训练AI计算系统中的神经辐射场模型、扩散模型、三维生成对抗网络等生成式AI模型提供数据源(如图3),同时生成式AI模型受到运动学、动力学等机理模型约束。另外,AI计算系统通过提取规律,快速生成几何模型、行为模型和机理模型,与数字孪生系统和物理实体系统形成了“数据生成→机理约束→虚实一致”的闭环。


图3 生成式数据协同模式


(2)多智能体协同优化模式


多智能体协同优化模式强调建立AI自学习机制,实现任务策略的自主学习与进化。在该模式中,来自物理实体系统的实时数据、历史数据和自然语言描述等经过预处理,作为AI计算系统中的LLM的输入(如图4)。然后,LLM进行任务解析、专用模型调用和自然语言理解,将指令/语句传给专用学习模型进行特定任务的学习,同时视觉模型将物理实体的动态数据反馈给专用学习模型。另外,数字孪生系统为专用学习模型提供了并行仿真环境,能够完成最优任务策略学习。


图4 多智能体协同优化模式


(3)嵌入式AI终端执行模式


嵌入式AI终端执行模式强调终端设备的实时控制与自适应执行。如图5所示,为满足轻量化、低时延和高精度的作业需求,该模式下物理实体系统为AI模型的训练提供数据,数字孪生系统为AI模型提供仿真和验证环境;然后,训练好的轻量化AI专用模型被部署到数字孪生专用芯片,通过“即插即用”的形式集成到终端设备,实现终端设备的智能感知、智能交互和智能执行等。


图5 嵌入式AI终端执行模式


4 AI驱动的新一代iDTS的关键技术


4.1“人-机-环境”多数字孪生体动态融合建模方法


“人-机-环境”多数字孪生体动态融合建模方法旨在构建一个虚实协同、自适应演化的系统模型。该方法的关键在于通过传感器、可穿戴设备、环境监测系统等采集人、机、环境的实时状态数据;通过生理动力学模型与强化学习,模拟个体决策与疲劳演化;利用物理模型与数据驱动模型构建设备的数字孪生体,实现多智能体驱动的仿真;通过分布式架构和消息传递机制,实现跨孪生体的信息交互;利用在线学习和优化算法实时调整模型参数,实现系统的效率、安全与能耗等的平衡。


图6 “人-机-环境”多数字孪生体动态融合建模方法


图6描述了“人-机-环境”多数字孪生体动态融合建模方法。首先,部署多模态传感器,覆盖人、设备、环境3类数据;其次,采用自适应滤波消除噪声,并通过标准化与归一化方法统一数据尺度;然后,通过图神经网络(GNN)提取数据间语义关系,借助长短期记忆网络模型(LSTM)建模时序依赖关系,识别环境动态变化对人与机器的耦合影响。其中,在人的数字孪生建模方面,首先通过生物力学方程模拟肌肉骨骼,结合光电容积描记(PPG)数据预测人体疲劳度;然后,基于深度强化学习和认知负荷理论模拟人在动态环境中的决策过程;最后,利用自然语言处理技术分析语音/文本反馈,构建情感状态迁移模型。在设备建模方面,首先采用有限元分析机械结构应力分布;然后,通过LSTM预测设备剩余寿命,结合故障树定位潜在风险;最后,嵌入模型预测控制算法,实现设备参数实时调优。在环境建模方面,通过数字化手段还原真实或抽象场景的物理特性、空间关系及动态行为,最终结合智能体行为模型,构建“人-机-环境”的多智能体交互系统,支持复杂场景推演。


4.2 AI自动生成数字孪生模型方法


数字孪生模型是与物理实体的几何、行为和性能等一致的数字化模型,包括三维几何、行为逻辑和数学机理模型等。同时,数字孪生模型能够通过传感器采集的实时数据并动态更新,达到虚实同步。但是,物理实体系统的实时数据精准采集和高精度建模是难题。随着生成式AI的发展,孪生数据、虚拟图像和简单的三维几何模型等已经能够根据需求自动生成。例如,通过生成对抗网络(GAN)得到孪生数据,通过扩散模型(diffusion model)生成虚拟图像,通过神经辐射场(NeRF)生成高质量的三维几何模型。为此,本文提出了一种AI自动生成数字孪生模型方法。


图7 AI自动生成数字孪生模型方法


图7描述了AI自动生成数字孪生模型方法,包括全生命周期数据和模型基础、生成式AI模型、数字孪生生成和反馈应用4个部分。首先,在产品设计、制造、试验及运维的全生命周期中,会积累大量实时数据、历史数据、机理模型等,这些数据和模型是生成数字孪生数据和模型的基础;然后,针对不同的工业应用场景,建立生成式AI模型或者调整现有模型,并使用已有的数据进行AI模型训练和测试;最后,应用训练和测试后的AI模型,生成产品设计、制造、试验和运维所需的数据、图片或模型。关于采用扩散模型生成虚实混合数据集并用于制造车间生产安全监控的实例详见5.2节。


4.3多智能体的智能感知与交互方法


AI技术的快速发展正在重塑感知与交互方法,其中智能感知使智能体能够实时获取环境状态与协作对象的行为信息,而交互方法决定了智能体间的信息共享、任务分配与策略协同效率。数字孪生与AI技术的融合为iDTS提供了动态感知、智能推演与自主决策一体化的能力。为此,本文提出了多智能体的智能感知与交互方法。


图8 多智能体的智能感知与交互方法


图8描述了多智能体的智能感知与交互方法,其核心是在专用AI大模型框架中,通过多模态融合、复杂推理与自适应学习技术,实现从感知到行动的决策闭环。首先,依托海量参数与深度学习模型,专用AI大模型能够融合文本、图像、传感器时序数据等多源异构信息,构建动态环境认知图谱。其次,通过专用AI大模型的多模态理解与生成能力,数字孪生体能够解析设备振动、温度等数据,生成故障根因分析报告,并通过强化学习模拟不同维护策略的长期影响,动态优化生产计划。然后,基于Transformer的时空注意力机制实现跨模态语义对齐与因果推理,如iDTS中的AGV通过视觉-语言联合建模,理解复杂车间环境并动态规划路径,通过强化学习与人工反馈,达到效率与安全性的平衡。再次,利用轻量化边缘部署技术以及模型蒸馏与量化压缩技术,将千亿参数模型嵌入工业机器人、制造装备等终端设备,支持低时延的决策。最终,将数字孪生与专用AI大模型和多智能体技术融合,突破传统数字孪生静态仿真的局限,通过持续学习与因果推理,实现“感知-分析-决策-演化”闭环。


4.4 数字孪生体的自学习智能决策方法


在传统iDTS中,仿真与控制高度依赖结构化数据,难以有效利用设备说明书、维修记录、操作日志等非结构化数据,模型缺乏全面且充足的专业知识,从而限制了系统的智能化发展。为突破这一瓶颈,本文提出基于LLM的数字孪生体自学习框架(如图9),实现知识抽取、任务推理与系统进化的一体化处理。


图9 基于LLM的数字孪生体自学习框架


首先,在知识抽取阶段,利用语义图谱与GNN对非结构化文本进行建模,LLM结合Prompt设计与检索增强生成(RAG)机制,完成语义解析与知识提取,构建知识推理路径。其次,在任务推理阶段,LLM通过任务调度器将系统目标拆解为多个子任务,并通过标准化接口调度下层领域专用模型协同执行。其中,强化学习模型被部署于数字孪生系统中,通过仿真交互不断更新控制策略,以提升系统对动态环境扰动、参数不确定性及多工况/任务切换的自适应能力。同时,图像识别、异常检测等专用模型依据任务需求提供结构化分析与辅助信息,其中部分输出结果可作为强化学习模型的状态输入,其余模型则负责系统异常诊断及性能预测。最后,在系统进化阶段,LLM根据模型执行后的反馈结果动态调整任务规划与调度策略,优化系统的决策流程,形成“感知-决策-反馈”的自学习闭环。在此基础上,系统进一步通过Low-Rank Adaptation(LoRA)等轻量化方法实现在线模型更新,并结合专家经验与仿真数据,不断完善知识结构与控制策略,实现持续演化与性能提升。


4.5 iDTS快速计算与动态仿真方法


iDTS的核心是通过快速计算与动态仿真技术实现复杂工业环境中物理过程、行为逻辑以及多智能体交互的数字化重现。但是,快速计算与动态仿真在工业环境中仍面临诸多挑战,例如多模态传感器数据的实时处理、复杂仿真计算的高成本以及虚实同步的精确性与稳定性等问题。为解决这些问题,本文提出了一种新型的快速分层计算与动态仿真方法,如图10所示。其中,快速计算层展示了云-边-端协同的分层计算与数据流;动态仿真层给出了动态仿真的多保真与同化路径;数据流优化层展示了“多模态数据采集-云边端协同-虚实同步-自适应精度管理-实时决策与控制”的级联路径,促进数据流在云-边-端之间形成闭环优化;底部技术支撑层体现了核心技术集成与多尺度耦合关系,为快速计算、动态仿真和数据流闭环优化提供技术支持。


图10 iDTS快速计算与动态仿真核心架构


快速计算方法以云-边-端协同计算架构为基础。其中,云端负责复杂模型训练和全局优化,边缘端则针对局部数据进行实时处理,设备端通过嵌入式AI芯片完成本地推理与反馈控制。技术支撑层为快速计算提供了技术支持,硬件层面采用GPU、FPGA和NPU等异构加速技术,结合算子融合(operator fusion)和CUDA Graphs并行计算技术优化算力,降低端到端延迟,同时保障高吞吐量;同时,利用分布式并行计算方法(如数据并行、模型并行和流水并行)实现大规模计算任务的高效协作。为进一步提升推理效率,采用模型剪枝、知识蒸馏和量化技术等AI模型优化技术。


动态仿真方法基于多保真混合仿真技术实现高效精确的物理过程模拟。首先,在高灵敏区域采用高保真模型(如有限元分析),在低灵敏区域则使用降阶模(ROM)或神经网络代理,来平衡计算精度与效率。其次,采用可微仿真技术,通过构建可微分模型,支持参数反演与基于梯度的模型预测控制(MPC),缩短“仿真→决策”的链路。为解决复杂工业场景中的行为建模问题,利用深度学习代理模型(如GAN或NeRF)生成高质量虚拟数据,代替传统物理建模。然后,利用在线同化与自适应精度管理技术,构建误差反馈机制,自适应动态调整仿真精度;当检测到仿真误差超过预设阈值时,系统自动触发降阶模型向高保真机理模型的回退策略,确保仿真结果的稳定性和可靠性。


4.6嵌入式AI驱动的iDTS智能执行方法


为满足工业现场低时延响应和自主智能执行的需求,本文提出了一种基于云-边-端协同计算架构的嵌入式AI驱动的iDTS智能执行方法,如图11所示。


图11 嵌入式AI驱动的iDTS智能执行方法


在云端,针对典型应用场景,融合来自边缘端的孪生数据和专业领域知识,训练专用AI模型。在边缘端进行AI模型验证、调优,并将验证后的AI模型存储在模型库中。然后,采用AI模型硬件固化技术(如模型转换和权重压缩算法等)将训练好的AI模型进行格式转换和轻量化处理,存储到硬件存储卡上。最后,将装载AI模型的存储卡以“即插即用”的方式插入集成AI模型处理芯片(如英伟达Jetson系列、英特尔Myriad TMX芯片等),实现AI模型的硬件固化。最终,自主完成工件智能识别、设备健康预测、视觉质量检测和图像导引机器人等任务。


在边缘端,数字孪生系统不但可以为云端模型预训练提供历史和实时数据,还可以在样本不足时提供仿真数据以实现数据补全。此外,AI预训练模型被嵌入数字孪生系统,不但可以在虚拟环境中通过仿真来验证、优化AI预训练模型,还可以集成到物理实体系统,通过虚实交互和持续数据供给,加速AI模型自学习、自进化。


在设备端,轻量化的AI模型被固化,其通过自学习机制和“感知-决策-执行”闭环,完成从传感器数据采集、本地模型仿真验证、多Agent协同决策优化到实时控制反馈的闭环运行。其中,在感知层,嵌入式AI模块通过多模态传感器网络实时采集设备的振动、温度、压力等参数,形成物理空间的数字化镜像映射;决策层采用多Agent协同架构,设备数字孪生体通过多Agent协同可以集成多种AI模型,包括质量检测、工件识别、图像引导和健康预测等;执行层通过专用协议将决策指令下发给PLC等控制设备,形成从虚拟空间到物理空间的闭环控制。


5 案例


5.1 AI-DT融合驱动的工业机器人智能作业


传统的工业机器人控制方式主要面向特定任务场景和固定流程,进行预先编程、人工示教来实现运动过程控制,这种被动控制方式适用于标准化、大批量生产模式。但是,在大规模个性化定制生产模式中,面对个性化定制需求、动态变化工作环境和复杂的人机与多机协作任务时,传统的工业机器人控制方式难以胜任。为此,采用4.4节提出的数字孪生体自学习智能决策方法,进行AI-DT融合驱动的工业机器人智能作业,展示在大规模个性化定制场景中的机器人免编程的自动控制执行过程,符合“多智能体协同优化模式”。


图12 基于数字孪生和强化学习的工业机器人智能作业方法


如图12所示,AI-DT融合驱动的工业机器人智能作业实现过程包括数据感知、探索学习、虚实同步和智能作业4个主要步骤。首先,系统通过工业相机采集不同类型按钮的图像数据(包括外形、颜色、空间位置等特征信息),通过深度学习方法建立并训练按钮识别模型,实现对目标按钮的识别与定位。其次,在数字孪生系统中构建训练环境,并为工业机器人配置观测空间、动作空间与奖励函数;同时,引入软演员-评论家(SoftActor-Critic,SAC)深度强化学习算法,进行“试错”训练学习。然后,将训练收敛后的模型部署到工业机器人的物理实体系统,通过手眼标定实现虚拟坐标与物理世界坐标系之间的映射与统一,最终使工业机器人能够准确完成目标按钮的按压任务。另外,经过对模型进行泛化训练和调整,还实现了作业过程中的工件抓取、协作装配等任务。


5.2生成式AI驱动的车间不安全状态检测


安全是保证制造车间正常运行的基础,人工巡检是制造车间安全检测的主要形式,但是存在人工成本高、漏检、错检和反应不及时等问题。当前机器视觉为制造车间不安全状态的自动检测提供了有效途径,但仍存在不安全数据集样本少、不安全状态的理解和自动推理困难等问题。为此,本案例采用4.2节提出的方法,生成用于机器视觉检测的虚拟数据集,将其与样本较少的真实数据集混合,可得到虚实混合数据集,符合“生成式孪生建模模式”。


图13 基于虚实混合数据集的车间不安全状态检测


如图13所示,针对制造车间不安全状态真实数据稀缺问题,首先使用Stable Diffusion的高保真预训练模型,输入制造车间安全规范场景的文本描述(如“焊接车间按规定穿工装”、“工人按规定佩戴黄色安全帽”等),生成与语义高度匹配的初步虚拟图像。在此过程中,集成CLIP(模型对文本提示进行语义编码,并与图像编码进行相似度计算,从而指导图像生成。为提升图像的一致性与表达质量,引入LoRA微调机制,对原始Stable Diffusion模型的交叉注意力层进行轻量级参数微调,基于安全规范场景的文本描述,生成高质量的车间不安全状态虚拟图像数据集。最后,将生成的虚拟数据集与真实不安全状态数据集混合,经标注后训练YOLOv11目标检测网络,实现对车间不安全状态的实时检测。


5.3 嵌入式AI驱动的产品智能筛检


在电子产品制造的高速筛检环节,如何对不同规格的芯片或印刷电路板等产品进行有效识别、质量检测和自动剔除是关键。为此,本案例采用4.6节提出的嵌入式AI驱动的iDTS智能执行方法,实现终端机器人控制系统的高速智能识别、质量检测和自动剔除功能,符合“嵌入式AI终端执行模式”。


图14 嵌入式AI驱动的产品智能筛查


如图14所示,首先将TIAPortal(PLC编程软件)与Unity3D集成,构建面向专用场景的数字孪生系统,通过虚实同步和过程仿真对运动过程进行预演和验证,以避免物理碰撞引起的损失。其次,利用4.6节所提的方法训练工件智能识别、视觉质量检测、图像导引机器人等不同场景的AI模型(ResNet-18/YOLOv5等),将模型轻量化后固化集成在SD卡上。最后,在TMNPU中插入不同的SD卡即可实现不同的功能。例如,在ET200MP分布式I/O站加挂TMNPU(装载了缺陷检测算法的SD卡),其通过集成的千兆以太网和USB3.1接口采集产品图像;然后,TMNPU快速检测表面划痕、虚焊漏焊、尺寸偏差等缺陷,并通过背板总线将检测结果传输至S71500PLC控制系统,触发分拣剔除的指令信号;最后,剔除信号通过PROFINET协议被传输至KUKA机器人,由机器人完成抓取和剔除产品的任务。另外,该方案支持SD卡热更新模型,适应于个性化定制的新产品导入生产场景,可缩短工程调试时间,降低缺陷漏检率,减少返工,提高设备综合效率。


6 结束语


AI驱动的新一代iDTS以多智能体协同网络为核心,通过物理实体系统、数字孪生系统与AI计算系统的三元动态耦合,形成虚实双向映射的闭环优化体系。基于团队前期研究基础,本文提出了AI驱动的新一代iDTS的概念、核心机制和核心能力特征,构建了系统架构、典型模式和关键技术,提供了3个典型案例。AI驱动的新一代iDTS研究探索或将促进智能制造认知决策与生产模式的变革,本文对此方向的研究仍处于初期阶段,所提理论和关键技术还需要在更多工业场景应用实践中不断完善与改进。



原文刊载于《计算机集成制造系统》2025年12月 作者:李浩 吴勇磊 李琳利 王昊琪 刘根 张玉彦 贺飞 文笑雨 王志强 苏万山 刘俊 张幸福


暂无评论,等你抢沙发

  • 短信登录
  • 密码登录
还没有账号,
登录即代表您同意本网站的 《用户注册协议》
还没有账号,
登录即代表您同意本网站的 《用户注册协议》
注册
已有账号, 立即登录
登录即代表您同意本网站的 《用户注册协议》
找回密码