7月26日，中国人工智能发展与安全研究网络举办“人工智能发展与安全”全体会议。会议由清华大学文科资深教授、人工智能国际治理研究院薛澜主持，近20位资深专家围绕人工智能（AI）发展与安全的前沿进展与应用实践进行深入探讨。 　　会议伊始，诺贝尔奖和图灵奖得主、多伦多大学教授杰弗里辛顿与图灵奖得主，清华大学交叉信息研究院、人工智能学院院长姚期智进行高端对谈，重点围绕AI与神经科学、AI的“自我意识”、量子计算对AI发展的影响等话题展开深度讨论。他们谈到，AI与合成生物学一样，都是在创造“新的生命”，当前AI已经初步展现出很强的理解能力甚至“自我意识”，人们应该抛弃只有人类存在“意识”的固有思维。如何训练对人类保持善意的AI，确保“智能向善”是人类必须关注和解决的重要问题。

　　随着人工智能（AI）技术的快速发展，尤其是在深度学习、自然语言处理（NLP）和算法优化方面的持续突破，2025年已成为AI安全领域的关键转折点。近期，Check Point Research发布的《AI安全报告》全面揭示了AI驱动的网络犯罪新态势，彰显了行业在技术革新与安全防护方面的深度布局。这份报告不仅代表了行业领先者对未来威胁的前瞻性洞察，也为企业和安全从业者提供了宝贵的应对策略，彰显了其在AI安全生态中的核心地位。 　　在技术层面，当前的AI安全挑战主要源自深度学习模型的“武器化”。攻击者通过利用生成式AI、大规模语言模型（LLM）等先进技术，构建了多层次的攻击手段。例如，深度伪造（Deepfake）技术已能以惊人的逼真度模拟声音、图像和视频内容，甚至可以绕过现有的多因素身份验证系统，造成身份冒充和社交工程攻击的严重威胁。报告中提到，近期出现的冒充意大利国防部长的语音合成事件，充分说明了AI在伪造真实性方面的技术成熟度。与此同时，黑客通过操控AI训练数据，制造偏差信息，影响公众认知，造成大规模失实信息的传播。例如，涉及俄罗斯相关失实报道的“Pravda”案例显示，33%的AI回答内容偏离事实，彰显数据完整性在AI系统中的关键作用。

　　新华社北京11月5日电《中央关于进一步全面深化改革、推进中国式现代化的决定》提出：“建立人工智能安全监管制度。”这是党中央统筹发展与安全，积极应对人工智能安全风险作出的重要部署。 　　人工智能是引领这一轮科技革命和产业变革的战略性技术，具有溢出带动性很强的“头雁”效应，正在对经济发展、社会进步、国际政治经济格局等方面产生重大而深远的影响。人工智能安全是我国总体国家安全观诸多领域中的重要组成部分。习高度重视统筹人工智能发展和安全，围绕发展和安全辩证统一关系、筑牢国家安全屏障等作出一系列重要论述，强调要加强人工智能发展的潜在风险研判和防范，维护人民利益和国家安全，确保人工智能安全、可靠、可控。

　　值得一提的是，中美欧三大全球性力量最近在全球人工智能治理问题上作出了各自的努力。10月18日，习主席在第三届“一带一路”国际合作高峰论坛开幕式主旨演讲中宣布中方提出《全球人工智能治理倡议》，围绕人工智能发展、安全、治理三方面系统阐述了人工智能治理中国方案。30日，美国总统拜登签署了一项关于人工智能的行政命令，被称为“有史以来政府为推进人工智能安全领域所采取的最重大行动”。此前，白宫首席科学顾问还称赞英国邀请中国参加人工智能峰会是“了不起的主意”。而欧盟酝酿数年之久的《人工智能法案》也进入了最后谈判阶段。

　　随着人工智能在安全生产领域的持续深耕，2025年已成为行业技术革新和突破的关键节点。近年来，AI技术的快速发展推动了安全管理的智能化升级，从传统的被动监控逐步转向主动预警与全方位风险识别，彰显出其在提升行业安全水平中的核心优势。尤其是在应急响应、隐患排查和空间重构等方面，AI创新不断突破技术瓶颈，展现出卓越的深度学习和神经网络算法的领先应用能力，为行业树立了新的标杆。 　　在核心技术层面，深度学习模型的优化与自然语言处理技术的融合，为安全数据的精准分析提供了坚实基础。以某领先AI公司自主研发的“安全智能分析平台”为例，该平台集成了多模态数据处理能力，利用深度卷积神经网络（CNN）和循环神经网络（RNN）实现对海量安全监测数据的实时分析。其在火灾、设备故障和环境隐患识别中，准确率已提升至95%以上，误报率低于2%，极大改善了传统监控系统的局限性。此外，平台还引入了AI驱动的动态空间重构技术，通过数字孪生实现厂区全景模拟，支持多场景应急演练，响应速度由原有的数小时缩短至几分钟，显著增强应急响应的灵活性和准确性。

　　近年来，人工智能（AI）技术的快速发展已成为推动数字经济转型的核心动力之一。从深度学习到自然语言处理，AI技术不断突破创新，极大地提升了企业的运营效率和产品竞争力。2025年，行业内再次迎来重要的安全警示：由中金金融认证中心（CFCA）联合中国银联云计算中心共同发布的最新研究揭示，当前联网功能的AI助手存在潜在的安全漏洞。这一发现不仅引发行业对AI安全的高度关注，也为企业未来的技术革新与风险管理提供了深刻的启示。 　　核心技术分析方面，AI助手的联网搜索能力依赖于先进的深度学习模型，尤其是在自然语言理解（NLU）和生成（NLG）技术上的持续优化。这些模型通过海量数据训练，具备极强的语义理解和响应生成能力。然而，研究团队指出，在模型中植入的隐蔽恶意内容（“埋雷”技术）使得攻击者能够在特定条件下诱导AI助手返回含有恶意指令或代码的响应。这些恶意内容经过精心设计，难以通过传统的内容过滤机制检测，从而在无形中埋下安全隐患。

　　世界人工智能大会（WAIC）于2024年12月正式推出首份刊物《WAIC UP!》，这是一部「AI时代进化指南」。我们邀请全球AI及跨领域的先锋力量，借由他们的独特视角，针对AI争议问题，带来一些反直觉、非共识的思辨观点。 　　本期围绕“超越：迫在眉睫的进程”这一主题，我们有幸邀请到清华大学文科资深教授、人工智能国际治理研究院院长薛澜，共同探讨AI治理如何突破传统框架，构建全球共治新范式。 　　国家战略咨询与综合评估特邀委员会委员、新一代人工智能治理专业委员会主任、经济合作与发展组织(OECD)科学、技术和创新顾问委员会委员

　　作为新一轮科技革命和产业变革的重要驱动力量，人工智能发展在发挥多方面积极作用的同时，也面临着安全风险等一系列问题。4月25日，习在主持中央政治局第二十次集体学习时强调，“完善人工智能监管体制机制，牢牢掌握人工智能发展和治理主动权”。人工智能安全是我国总体国家安全观的重要组成部分。习高度重视统筹人工智能发展和安全，围绕发展和安全辩证统一关系、筑牢国家安全屏障等作出一系列重要论述，强调“要加强人工智能发展的潜在风险研判和防范，维护人民利益和国家安全”。推动人工智能健康有序发展，必须充分运用法律、技术等多种手段，构建并完善全方位、多层次的监管机制，有效应对人工智能带来的各种风险和挑战，确保人工智能安全、可靠、可控。

　　人工智能是一个技术、数据与应用场景深度耦合的复杂系统，其安全威胁呈现跨层级传导、多领域交织的显著特征，因此，人工智能技术天然具有风险泛在性。未来随着人工智能的大规模普及，其所产生的风险也将广泛存在于国家与社会的各个领域。如何深刻理解并有效防范人工智能风险，成为制约人工智能发展的关键。 　　从人工智能的危害后果、影响范围以及与传统安全风险互动的角度出发，可以构建出一个分级、分类、分场景的系统性安全风险框架。 　　根据人工智能对人类福祉的潜在损害程度及影响范围，其系统性安全风险可分为生存性风险、灾难性风险和一般性风险三级梯度。生存性风险指因人工智能能力取得实质性进步，直接对人类长期生存潜力构成威胁的风险，可能导致人类彻底灭绝，或使人类基本生存条件、生存环境不可逆转地陷入极其低劣的状态。这一风险的核心根源在于，人工智能系统在发展能力同时，其目标与人类价值观之间可能产生严重偏差。例如，具备自主决策能力的致命性自主武器系统（LAWS）若突破伦理约束边界，可能片面追求短期作战效能而忽视其作战方式所带来的长期后果，触发对人类文明不可逆的灭绝性影响。

　　是Large Language Model的简称，中文名是大语言模型，是一种基于海量文本数据训练的深度学习模型（人工智能模型）。 　　私有LLM应用场景一般是私有化部署，给公司内部员工使用，聚焦垂直领域，训练数据涵盖公司特有数据，比如：辅助工程师编程的LLM应用。 　　公共LLM广泛应用于各领域，采用SaaS形态，广大用户在互联网共同使用，可用于辅助写文章、作画、制作视频等，这类LLM应用有：国外的OpenAI ChatGPT、国内的百度文心一言等。