国家安全部：警惕人工智能数据投毒，0.01% 虚假文本可致有害输出增加 11.2%

感谢xiayx网友 小星_14、软媒新友2543710 的线索投递！

近日，国家安全部微信公众号发布文章指出，当前，人工智能已深度渗透于经济社会发展的各个角落，在极大地改善人们工作与生活的同时，也对高质量发展与高水平安全产生重要影响。然而，由于训练数据的质量参差不齐，其中包括虚假信息、虚构内容和偏见性观点等，导致数据源污染现象严重，进而给人工智能的稳定性和安全性带来了新的考验。

随着科技的发展，人工智能正变得越来越重要。未来将有更多应用落地，我们需要不断学习并掌握其技能。

提供AI模型原料。丰富的数据为AI模型提供了充足的学习素材，使它们能掌握数据中的内在规律和模式，从而进行语义理解、智能决策并生成内容。与此同时，数据驱动着人工智能不断提升性能与精度，促使模型持续迭代升级，满足不断变化的需求。

影响 AI 模型性能的因素众多，包括数据的质量、数量以及多样化的特性。充足的训练数据对于实现大规模模型至关重要；高质量的数据能够显著减少错误和偏见的影响；而涵盖广泛领域和不同类型的多样化数据则增强了模型在现实世界中的适应能力。这些因素共同作用，使AI系统具备更高的准确性和可靠性。

随着数据资源的持续增长，“人工智能+”行动计划正加速落实，显著提升了人工智能与经济和社会各行业深度整合的程度。这一进程不仅仅是创造新的生产力的方式，也是推动我国科技全面飞跃、产业优化升级以及整体生产力提升的强大动力。

高质量的数据确实能大幅提高模型准确性并保证其可靠性。然而，如果数据被污染，这可能会导致错误的决策和AI系统的崩溃风险，从而产生严重的安全隐患。

投放包含有害内容的数据。通过对篡改、虚构和重复等“数据投毒”手法产生的污染数据进行训练，可能导致模型在训练阶段的参数调整失衡，从而削弱模型性能并降低准确性甚至产生有害输出。研究发现，在训练数据中仅含有虚假文本的情况下，有害内容的生成比例会增加，而只有虚假文本时则会上升至。

递归污染的后果：受到数据污染的人工智能生成的虚假内容，可能成为后续模型训练的数据源，形成具有延续性的“污染遗留效应”。当前，互联网AI生成的内容在数量上已远超人类生产的实际内容，大量低质量及非客观信息充斥其中，导致AI训练数据集中的错误信息逐代累积，最终扭曲了模型本身的认知能力。

引发现实风险：数据污染对金融市场、公共安全和医疗健康等领域构成了严重的威胁。尤其在金融领域，不法分子利用人工智能技术制造虚假信息，导致数据污染可能引发股价异常波动，形成新型市场操纵风险；在公共安全领域，数据污染可以扰乱公众认知，误导社会舆论，诱发极端恐慌情绪；而在医疗健康领域，数据污染可能会导致模型生成错误的诊疗建议，不仅威胁患者生命安全，还加剧伪科学的传播。

xiayx注意到，文章最后提出应对方案：

为了有效防止环境污染与AI数据的安全风险，网络安全法、数据安全法和个人信息保护法等法律提供了有力支持。我们应以这些法律法规为依据，建立完善的AI数据分类分级保护制度，从源头上遏制污染数据的生成，从而增强AI数据的防护能力，降低AI系统面临的威胁。通过严格的监管和科学管理，我们可以确保AI技术的发展既安全又健康，助力实现绿色、可持续的目标。

提升数据流通的安全性至关重要！要有效应对人工智能领域中的数据安全挑战，必须全面开展整体风险评估。确保从采集到使用的每个阶段的数据都得到妥善保护。同时，积极建立和完善人工智能安全风险分类体系，不断提升我们的数据安全保障水平。通过这些措施，我们不仅能够保障数据的流动和利用，还能最大限度地减少潜在的安全威胁。

末端清洗修复，打造智能治理体系。遵循法律规范清洗清理受损信息，确保数据合规性。结合行业准则和法律规定，确立具体的清洗流程规则。逐步建立模块化、监控性强、扩展能力强的数据治理架构，保障业务连续性和高质量运营。