数据推断——人工智能时代的数据安全威胁

王子骏 ,  刘烃 ,  刘杨 ,  Enrico Zio ,  管晓宏

工程(英文) ›› 2025, Vol. 52 ›› Issue (9) : 33 -38.

PDF (2220KB)
工程(英文) ›› 2025, Vol. 52 ›› Issue (9) : 33 -38. DOI: 10.1016/j.eng.2025.08.007
观点述评

数据推断——人工智能时代的数据安全威胁

作者信息 +

Data Inference: Data Security Threats in the AI Era

Author information +
文章历史 +
PDF (2272K)

Graphical abstract

引用本文

引用格式 ▾
王子骏,刘烃,刘杨,Enrico Zio,管晓宏. 数据推断——人工智能时代的数据安全威胁[J]. 工程(英文), 2025, 52(9): 33-38 DOI:10.1016/j.eng.2025.08.007

登录浏览全文

4963

注册一个新账户 忘记密码

1 引言

数据推断是指通过分析低敏感度数据推断出关键敏感信息的数据泄露威胁,曾被视为情报分析领域的高级专业手段,但人工智能(AI)和大数据技术正在将这种推断能力扩展至普通用户,引发更广泛的数据安全风险。

1966年,日本情报人员通过分析中国公开刊物上刊登的5条报道,推断出大庆油田的位置、规模、产量等关键参数,为后续设计大庆油田专用的石油开采设备提供支撑[1]。2014年,英国剑桥分析公司利用Facebook约5000万用户的心理测试结果,推断出用户的性格特点和政治倾向,并在2016年美国总统大选期间精准投放了带有政治目的的广告与新闻[2]。2022年,中国国家互联网信息办公室查明“滴滴全球股份有限公司”存在违法收集用户信息,推断分析乘客出行意图等严重影响国家安全的数据处理活动,对其处以超过12亿美元的罚款[3]

(图1)。

分析上述数据推断事件可知,攻击者能够通过数据间的复杂关联关系,利用获取到的部分数据造成敏感数据泄露,进而为决策行动提供参考。数据推断威胁起初常见于情报学中,需要丰富的专业知识与较高的数据分析处理能力[4]。然而,随着AI技术的快速发展以及软硬件技术的持续进步,攻击者的数据储备、计算能力得到了显著增强。AI的进步大幅降低了数据深度利用的技术门槛,不仅增加了数据推断的可能性和精确度,而且减少了对专业知识的依赖。过去仅限于专业情报部门的数据推断攻击,如今已成为普遍的安全挑战。

数据推断威胁影响国家安全、商业秘密和个人隐私,且手段隐蔽多样。随着AI技术的应用,公开数据的组合可能引发更多未预见的潜在风险。这种不确定性加剧了数据持有者对于数据共享的犹豫和担忧[5],阻碍了有价值数据的流通共享和价值发挥。

2 数据推断威胁的制约因素

数据推断威胁可以划分为状态推断、参数推断和联合推断三类。状态推断依赖动态关联关系和实时数据推断目标的动态状态,如车辆轨迹[6]、用户行为[7]等;参数推断通过长期观测和统计分析推断目标固有的静态参数,如身份标识[8]、线路导纳[9]等;而联合推断则是将状态推断与参数推断相结合,可同时推断动态状态与静态参数。

尽管数据推断威胁形式多样,现有研究却主要集中于针对特定问题的深度探索。这些研究通常依赖长期的理论探索和针对性建模,揭示了推断过程的可行性,但其高度精细化和问题导向的研究模式,掩盖了推断威胁在实际应用场景中的普遍性与复杂性,从而导致人们对数据推断风险的严重低估。具体而言,推断威胁的普遍性主要受到以下三大关键因素的制约[图2(a)]。

(1)形态异构性。不同领域的数据在格式、精度和范围等方面存在巨大差异,这不仅增加了对数据统一表征的难度,也使得数据之间的潜在关联难以被发现。由于计算能力的限制,传统数据推断技术在高效处理多源异构数据方面表现不足,通常局限于单一数据类型或特定领域,难以实现跨领域的推断分析。这种局限性弱化了人们对跨域推断风险的认知。

(2)关系隐匿性。传统推断方法主要依赖专家知识,基于显性关联判断数据间的推断关系。然而,由于人们难以通过常识判断数据之间的潜在关联和可能的推断路径,非敏感数据与敏感数据之间的界限变得模糊。与此同时,传统推断方法缺乏对复杂非线性关系和隐含模式的处理能力,无法识别许多隐匿的关联路径。因此,普通数据往往被认为与敏感数据关联较弱,其可能带来的推断风险也被普遍低估。

(3)关联复杂性。数据推断不仅包括一对一的直接推断,还涉及多个数据的组合推断。随着数据类别的增加,推断组合数量呈指数级增长。如此庞大的搜索空间使得攻击者难以在有限的计算资源内探索所有可能的组合,显著提高了从中找到可实施推断的难度。

异构性、隐匿性和复杂性三大因素增加了传统数据推断的技术难度,成为制约数据推断的主要屏障,也因此构成了现行数据保护体系的理论基础,即假设传统数据推断技术难以突破三大制约。

3 AI驱动的数据推断能力

新一代AI技术在异构数据分析、隐匿数据关系解析和关联数据搜索等方面的突出能力,可以突破数据推断屏障,正在颠覆数据保护体系的基石——数据分类分级。现行数据分类分级方法主要根据数据自身的重要性分配安全等级[10‒11]。然而随着AI技术的迅猛发展,传统分类分级方法赖以存在的安全边界正被逐步打破[图2(b)]。

以ChatGPT [12]为代表的Transformer多模态建模技术的快速发展,大幅提升了异构数据分析能力。这些模型能够同时处理文本、图像和结构化数据,拓展了数据分析的应用范围。在大庆油田案例中,情报人员曾手动整合文本报告、照片和地理地图等异构数据。而多模态系统可将不同类型的数据预处理并映射到统一的嵌入空间。例如,预训练语言模型可将文本数据(如油田作业报告)编码为上下文嵌入;视觉变换器或卷积神经网络可提取视觉数据(如卫星图像或照片)空间特征,将结构化数据(如地理坐标)标准化处理后映射到统一的向量空间。这些模型利用注意力机制对不同模态的嵌入进行对齐,从而挖掘出不同数据源之间的关联(图3)。随着AI的发展,多模态模型可以将公共报告中关于“油田深度”的描述与卫星影像中的钻井设施特征相联系,并结合地理空间数据推断油田的精确位置和产能等关键参数。此外,预训练模型简化了多种数据格式和结构的统一处理过程,降低了恶意行为者利用公开异构数据的技术门槛。

为解决数据关系中的隐匿性问题,物理信息神经网络(PINN)通过将领域知识嵌入深度学习模型,提升了对复杂非线性关系的解析能力,能够深入挖掘隐藏的敏感数据推断路径。在电力系统中,PINN将功率平衡、潮流计算等运行机理嵌入学习过程,能够推断出未观测的系统参数。例如,通过引入物理引导机制,电压相角、有功功率等关键系统参数的推断误差降低了1~3个数量级,显著提高了电力系统的推断精度[13]。然而,这一能力亦带来了潜在的安全风险,即攻击者可利用所揭示的隐含推断路径,推断出敏感的系统运行信息,进而对电力系统安全构成威胁。图神经网络(GNN)擅长对图结构关系进行建模,使AI能够识别更深层的潜在关联。在社交网络中,GNN能够揭示无直接交互个体之间的潜在连接路径。例如,文献[14]在时序链路预测任务中的精度比传统方法高73.9%,展现了其在推断潜在社交关系方面的卓越能力。在交通系统中,文献[15]将时空GNN用于分析交通流与预测拥堵模式,其表现优于自回归整合滑动平均模型等传统方法,在精度上提升了63.5%,揭示了交通拥堵的关键传播路径,发现了车辆轨迹与地理区域之间的关联。然而,这些信息可能被恶意行为者利用以识别并攻击交通基础设施中的脆弱环节。

通过启发式搜索、元启发式算法等AI技术,能够有效应对关联数据搜索中的组合爆炸问题。遗传算法通过模拟自然选择过程,实现高风险关联数据推断路径搜索的逐步优化。算法首先生成一组由随机数据子集组合而成的初始种群,随后使用针对推断风险设计的适应度函数对每一组合进行评估。适应度函数可定义为

f(S)=α∑di∈SRel(di)+β∑di∈SLeak(di)+γ∑di∈SFreq(di)+  δ∑(di,dj)∈SCmbRisk(di,dj)

式中,S表示数据子集;di与dj为子集内的数据项;Rel(·)表示数据项与敏感参数的关联度;Leak(·)为数据项在历史事件中的泄露率;Freq(·)表示数据项在数据集中的出现频率;CmbRisk(·)表示数据项组合后的联合推断风险;权重参数α、β、γ、δ用于平衡各指标的重要性。针对高风险关联数据组合,算法通过交叉和变异操作进一步生成新的数据子集组合。此迭代过程持续进行,直至算法收敛于最高风险的推断路径。

然而,启发式算法受限于较大的计算开销,在实时性要求场景中适用性不足。为此,可依据数据项在历史推断路径中的共现频率、属性相似度或统计特征,利用聚类分析将数据项划分为若干高关联簇,排除大量无效组合。此外,结合并行计算技术,可将经过聚类的数据子集按地理区域、数据类型或时间窗口划分,分配至多个处理单元并行执行,进一步提升整体推断路径发现的速度与可扩展性。

4 AI赋能的数据保护框架

为了缓解AI驱动的数据推断威胁,亟须解决传统数据保护框架在数据资产梳理、敏感性评估和数据共享中的局限性并增强关键环节,形成AI赋能的数据保护框架,具体包括以下几个方面[图2(c)]。

4.1 数据资产梳理

数据提供者和运营者必须全面分析其数据及该数据与外部数据集的关系,对域内数据和跨域数据进行资产梳理以识别潜在的数据推断风险。这一过程本质上非常复杂,涉及多种数据模态和广泛分析范围。为应对该挑战,本文提出一种模块化的AI辅助数据梳理框架,包括以下核心功能模块。

(1)异构数据源采集:构建支持多种数据接口的采集模块,实现对关系型数据库、非关系型数据库(NoSQL)存储以及非结构化文件系统的统一接入。结合数据类型识别算法,系统可自动解析并标准化多种数据格式,将其转化为统一的语义表示。同时,利用自动化工具对接入数据源进行元数据抽取,建立多维索引,从而实现高效的数据查询、检索和管理。

(2)数据分类分级标注:利用自然语言处理技术对数据内容进行语义分析和分类。采用预训练的命名实体识别模型提取个人身份信息、财务数据等敏感实体,并结合规则引擎标注敏感度等级。

(3)动态更新机制:部署基于事件驱动和变更检测的监控模块,实现对数据源新增、修改或删除操作的自动感知,在保障性能的同时确保数据资产视图的持续维护与实时更新。

尽管AI显著提升了数据梳理效率与覆盖范围,但在处理非结构化或低质量数据时,仍面临噪声干扰、字段缺失及语境歧义等挑战,可能导致命名实体识别等任务中的误分类或错标注。尤其在语义模糊或行业术语识别场景中,模型易产生不一致的识别结果,而训练数据偏差也可能增加自动分类分级的错误率。为降低上述风险,可引入置信度阈值过滤与人工复核等措施,确保数据梳理结果的准确性与可靠性,同时降低因AI应用所带来的潜在风险。

4.2 基于关联的敏感性评估

传统的数据敏感性评估方法往往仅针对单一数据点进行孤立评估,忽视了数据间复杂动态的关联关系。为克服这一问题,基于知识图谱的结构性建模可以有效挖掘传统方法难以捕捉的数据隐含关系。通过从开源情报中提取三元组构建知识图谱,实体-关系识别性能显著提高,F1值由0.62提升至0.81 [16]。另一方面,知识图谱中实体所处的上下文关系对敏感性评估尤为重要。实验结果表明,结合实体-关系联合嵌入可以提高敏感数据分类准确性,F1值提升了4.2% [17]。综上,基于关联的敏感性评估能够更精准地评估数据敏感性,有效增强对数据推断威胁的防护能力。

以城市出行场景为例,可通过知识图谱建模打车时间戳、地理位置标签、用户标识与支付元数据等关键属性间的因果与语义关系。其中,节点表示不同类型的数据实体,边表示实体间的语义或因果依赖。例如,从“时间戳”到“地理位置”的边可以表示某一时间段内的出行模式,而从“地理位置”到“支付金额”的边可以反映地理位置对出行成本的潜在影响。为提升图谱对复杂行为模式的表征能力,可通过结构标签与边权重将城市出行模式、交通高峰规律等领域知识编码至图谱结构中,例如,将“高峰时段”标注为时间节点的类别属性,依据访问频率对地理节点赋予权重,或通过统计共现频率设置边的强度。在此基础上,可以用图嵌入方法学习节点的向量化表示。由于结构相近或语义关联强的节点在嵌入空间中呈现较高向量相似度,可借助向量相似性将敏感性扩散至空间中相邻节点,实现对未显式标记数据的风险感知。

为保障方法的可扩展性与可解释性,图谱更新采用基于自动化学习与人工干预相结合的动态演化机制。一方面,通过周期性更新节点嵌入,自动挖掘因用户行为变化或系统策略调整引发的新关联路径;另一方面,通过人工审核机制验证高敏感度数据与新关联路径,确保敏感性评估的准确性与可靠性。此外,采用增量更新策略对新增实体和边进行局部修订,避免结构重构所带来的开销,提升维护效率并支持图谱结构的长期演进。

4.3 数据安全共享

数据的价值来源于共享与流通,但如何在保障数据共享的同时避免敏感信息泄露仍然是当前面临的重大挑战。为此,亟须设计能够在数据可用性与安全性之间实现平衡的解决方案。

(1)生成对抗网络(GAN)通过对真实数据的统计分布进行建模与学习,生成具有相似统计特性的合成数据集,进而降低敏感信息的暴露风险[18]。然而,GAN专注于复制统计分布,可能无意中保留敏感特征之间的潜在关联,使得数据容易受到成员推断或属性推断攻击。为解决这一问题,可将差分隐私机制集成到GAN的训练中,常见方法包括噪声随机梯度下降法(NoisySGD)和教师集成隐私聚合法(PATE)[19]。

在剑桥分析事件中,心理测试数据被用来推断政治偏好。NoisySGD方法可通过在鉴别器的梯度更新过程中注入噪声,防止鉴别器记住个人特征与政治偏好之间的关联。而PATE方法可利用多个教师模型,这些模型分别在独立的敏感数据子集上进行训练,其输出经差分隐私聚合后训练生成器。由于生成器在训练过程中未接触任何敏感的隐私信息且具备差分隐私保证,因此能够避免泄露个人特征与政治偏好间的关联关系。

与其他合成数据生成方法相比,GAN在生成复杂分布的高保真数据方面表现出显著优势。具体而言,基于规则的数据生成方法通常依赖人工设定的变换策略,难以捕捉深层次的数据统计特性;变分自编码器在生成连续数据方面表现优异,但在处理类别型数据或其他非结构化数据时存在局限性。通过集成差分隐私机制,GAN能够生成具有隐私保护的高质量合成数据集,是缓解数据推断风险的有效方法。

(2)联邦学习(FL)适用于分布式数据集场景,如滴滴公司的用户出行数据。FL能够在无须共享原始位置和出行数据的情况下实现协同模型训练,避免敏感数据泄露[20]。具体而言,将全局模型下发至用户设备,并在本地的私人数据上进行训练,再将梯度更新传回中央服务器。然而,现实中数据集往往具有高度非独立同分布的特点。例如,城市用户的出行数据频繁且密集,而乡镇用户的数据则相对稀疏且不规则。这种数据分布不均不仅会导致模型性能下降,还可能因共享梯度更新引发敏感信息泄露风险。

为应对这些挑战,个性化FL通过在全局模型中加入本地适配层或对用户特定数据进行微调,来适应不同用户群体的需求。这不仅确保了模型在不同用户群体中的有效性,也降低了非独立同分布带来的数据泄露风险。此外,梯度掩蔽技术可以在梯度共享之前对其进行保护,减少敏感信息泄露的可能性。

与其他隐私保护方法相比,FL在数据可用性与安全性之间实现了较好的权衡。同态加密虽然能够直接对加密数据进行计算,但其高昂的计算开销限制了实际应用;安全多方计算虽能保障各参与方输入的隐私,却通常需要大量交互通信,导致扩展性受限。相比之下,FL适用于资源受限环境下的大规模协作训练,但仍面临诸如模型更新泄露、推断攻击等潜在威胁,须结合差分隐私、加密技术等机制以进一步提升安全性。

5 结语

数据推断凸显了AI对数据安全领域的深远影响。传统的安全防护方法(如基于推断屏障的数据分类分级机制、依赖随机字符组合的密码系统等)通常建立在复杂问题不可解性的基础之上。然而,随着AI技术的快速发展,这些传统方法正日益受到冲击[21]。针对数据推断的防御策略利用AI技术来赋能防御者,使其能够主动识别并应对潜在风险。这些策略不仅拓展了利用AI技术对抗AI驱动威胁的新思路,也为应对新兴的数据安全挑战提供了更具普适性的框架基础。

参考文献

[1]

Liu T, Li Q, Shi J. Data leakage risks of public data in the big data era. Baomi Gongzuo 2018;4:51‒2. Chinese.

[2]

Confessore N. Cambridge Analytica and Facebook: the scandal and the fallout so far [Internet]. New York City: The New York Times; 2018 Apr 4 [cited 2025 Jan 2]. Available from:

[3]

Xiong Y, Register L, He L. China fines Didi $1.2 billion for violating cybersecurity and data laws [Internet]. Atlanta City: Cable News Network; 2022 Jul 21 [cited 2025 Jan 2]. Available from:

[4]

Liu T, Wang Z, Liu Y, Zhou Y, Wu J, Bao Y, et al. Data inference: data leakage paradigms and defense methods in cyber‒physical systems. Sci Sin Inf 2023;53(11):2152‒79. Chinese. . 10.1360/ssi-2022-0362

[5]

Nonnecke B, Carlton C. EU and US legislation seek to open up digital platform data. Science 2022;375(6581):610‒2. . 10.1126/science.abl8537

[6]

Liu J, Luo Y, Zhong Z, Li K, Huang H, Xiong H. A probabilistic architecture of long-term vehicle trajectory prediction for autonomous driving. Engineering 2022;19:228‒39. . 10.1016/j.eng.2021.12.020

[7]

Garcia D. Leaking privacy and shadow profiles in online social networks. Sci Adv 2017;3(8):e1701172. . 10.1126/sciadv.1701172

[8]

Acquisti A, Gross R. Predicting social security numbers from public data. Proc Natl Acad Sci USA 2009;106(27):10975‒80. . 10.1073/pnas.0904891106

[9]

Wang Z, Liu Y, Yu N, Wu Q, Wu J, Zhou Y, et al. Data inference from publicly available data: threats and defense methods in power systems. IEEE Trans Power Syst 2025;40(1):1049‒59. . 10.1109/tpwrs.2024.3420118

[10]

European Parliament and Council of the European Union. General data protection regulation. 2016.

[11]

Force JT. Security and privacy controls for information systems and organizations. Gaithersburg: National Institute of Standards and Technology; 2020.

[12]

Mackenzie D. Surprising advances in generative artificial intelligence prompt amazement—and worries. Engineering 2023;25:9‒11. . 10.1016/j.eng.2023.04.004

[13]

Bento MEC. Physics-guided neural network for load margin assessment of power systems. IEEE Trans Power Syst 2024;39(1):564‒75. . 10.3390/electricity5040039

[14]

Qiu Z, Wu J, Hu W, Du B, Yuan G, Yu PS. Temporal link prediction with motifs for social networks. IEEE Trans Knowl Data Eng 2023;35(3):3145‒58. . 10.1109/TKDE.2021.3108513

[15]

Zhao L, Song Y, Zhang C, Liu Y, Wang P, Lin T, et al. T-GCN: a temporal graph convolutional network for traffic prediction. IEEE Trans Intell Transp Syst 2020;21(9):3848‒58. . 10.1109/tits.2019.2935152

[16]

Guo Y, Liu Z, Huang C, Wang N, Min H, Guo W, et al. A framework for threat intelligence extraction and fusion. Comput Secur 2023;132:103371. . 10.1016/j.cose.2023.103371

[17]

Narvala H, McDonald G, Ounis I. RelDiff: enriching knowledge graph relation representations for sensitivity classification. In: Moens MF, Huang X, Specia L, Yih SW, editors. Findings of the Association for Computational Linguistics: EMNLP 2021. Stroudsburg: Association for Computational Linguistics; 2021. p. 3671‒81. . 10.18653/v1/2021.findings-emnlp.311

[18]

Gadotti A, Rocher L, Houssiau F, Creţu AM, de Montjoye YA. Anonymization: the imperfect science of using data while preserving privacy. Sci Adv 2024;10(29):eadn7053. . 10.1126/sciadv.adn7053

[19]

Ganev G, Xu K, De Cristofaro E. Graphical vs. deep generative models: measuring the impact of differentially private mechanisms and budgets on utility. In: Proceedings of the 2024 on ACM SIGSAC Conference on Computer and Communications Security; 2024 Oct 14‒18; Salt Lake City, UT, USA. New York City: Association for Computing Machinery; 2024. p. 1596‒610. . 10.1145/3658644.3690215

[20]

Liu Q, Yan Y, Jin Y, Wang X, Ligeti P, Yu G, et al. Secure federated evolutionary optimization—a survey. Engineering 2024;34:23‒42. . 10.1016/j.eng.2023.10.006

[21]

Wang D, Zou Y, Zhang Z, Xiu K. Password guessing using random forest. In: Calandrino J, Troncoso C, editors. Proceedings of the 32nd USENIX Security Symposium; 2023 Aug 9‒11; Anaheim, CA, USA. Berkeley: USENIX Association; 2023. p. 965‒82.

AI Summary AI Mindmap
PDF (2220KB)

5173

访问

0

被引

详细

导航
相关文章

AI思维导图

/

〈 〉