ChatGPT爆火后，随之而来的是AI大模型的爆火。

在数据、计算力、算法与开源技术为大规模模型创新提供基础的前提下，以及云服务商、行业应用与资本市场的推动下，AI大模型正在重新定义AI的边界与前沿。

《AI 大模型市场研究报告（2023）——迈向通用人工智能，大模型拉开新时代序幕》报告认为，伴随基于大模型发展的各类应用的爆发，尤其是生成式 AI，促使大模型带来的价值进一步升级到人类生产力工具的颠覆式革新，逐渐拉开了通用人工智能（AGI）的发展序幕。

但是，在AI大模型发展的同时，它的安全问题也成为了众人的热议之一。AI安全可分为安全的AI 与AI的安全两方面。安全的AI主要是指AI是否对人类和社会而言是安全的，而AI的安全则是更关注如何保护AI不被技术性外部威胁所破坏。

安全的AI暂且不提，本篇内容主要讲的是AI的安全。AI的安全聚焦于对AI/ML模型的保护，包括大模型本身的安全与保护以及使用过程的安全，也就是更关注如何保护这些模型系统免受外部威胁和攻击，并且符合现实世界的合规框架。

人工智能系统的生命周期一般可以分为五个阶段：数据收集、数据预处理、模型训练、模型推理和系统集成，每个阶段都容易受到不同的安全威胁。

例如，AI模型训练需要大量数据，这些数据可能包含敏感隐私信息，这就很容易产生数据安全风险，包括不仅限于敏感数据泄露、违规采集数据等；通过对AI系统植入恶意参数或数据，使其在特定条件下产生误导或攻击性输出，这类似于投毒攻击；AI武器化风险，将AI技术应用于自动武器或网络攻击系统；以及模型反向工程风险、网络钓鱼等欺骗攻击风险、物理攻击风险、界面安全风险、第三方等安全风险。

据相关报道显示，AI大模型的广泛应用会带来攻击门槛的降低和攻击面的增加。在攻击的倒逼之下，AI行业可能会产生三个方面的网络安全需求：一是大模型被用于攻击而催生出的安全需求，二是大模型本身的安全需求，三是为安全使用模型而产生的安全需求。

其一，大模型被用于攻击而催生出的安全需求，是指恶意人员通过AI大模型生成恶意代码或网络钓鱼邮件，进而去攻击某些组织的网络系统或用于其它犯罪。

据报道，由于ChatGPT用于文本生成的能力过于强大，可以预见钓鱼邮件问题将持续增加，据Darktrace发现，自从ChatGPT发布，网络钓鱼电子邮件的平均语言复杂度就上升了17%。

另外，从技术上看，ChatGPT大大降低了编写恶意软件的难度门槛。Check Point公司的威胁情报团队经理表示，恶意人员无需任何编程经验就能够通过ChatGPT编写恶意软件，只需知道恶意软件或任何程序应该具备的功能，ChatGPT就能够编写代码，执行所需功能。

其二，大模型本身的安全需求，主要是指人工智能系统在数据收集、数据预处理、模型训练、模型推理这四个阶段中面临的数据安全风险。

在数据收集阶段，可能会面临数据被篡改、数据偏差、虚假数据、数据泄露等安全风险；

在数据预处理阶段，攻击者篡改图像并滥用人与机器之间的（视觉）认知差异，以实现欺骗和逃避攻击；

在模型训练阶段，AI大模型最容易受到的攻击类型是投毒攻击，攻击者可以通过注入大量“错误”的数据来搅乱数据的分布，调教大模型向他们所期望的道路偏移，甚至是利用后门，在AI系统内深度隐藏，以待最佳的攻击时机；

推理阶段常常出现的攻击方式是对抗攻击，即对输入样本故意添加一些人为无法察觉的细微干扰，导致模型以高置信度给出一个错误的输出。对抗攻击与投毒攻击不同的是，对抗攻击并不会改变模型。

其三，为安全使用模型而产生的安全需求，是指企业在使用AI大模型过程中，希望避免由大模型引起的数据泄露、模型接口等安全风险。

例如，此前就有新闻报道，三星员工在将源代码输入ChatGPT以识别和消除错误并优化程序的同时，也无意中通过GPT向公众泄露了机密的生产数据。另一名三星员工使用AI聊天机器人总结会议记录，导致该会议记录被泄露。

根据CYBERHAVEN在3月21日发布的调查，8.2%的员工在工作场合使用过ChatGPT，6.5%的员工曾经将公司数据粘贴进去过，3.1%的员工曾经将公司敏感数据喂给过ChatGPT，而敏感数据占员工粘贴总数据的11%。

此外，从IaaS到PaaS、SaaS，从PC到移动APP、各种IoT设备，API无处不在。在大模型时代，无论从OpenAI的ChatGPT还是Google的PaLM，都以API的方式交付能力，必将导致API需求的井喷。

但这也让企业在使用AI大模型过程中，面临着模型接口风险。AI模型开放访问接口，但接口安全性和身份验证不到位，这可能被黑客利用进行非法访问，获取模型数据与知识。这也会成为模型反向工程与攻击的突破口。

例如，对于OpenAI等模型和API的拥有者来说，除了正常用户会使用他们的API，还有大量恶意编写的机器人和被盗的账户会对它们进行大规模的自动攻击。所以，企业有必要采取访问权限、多因素验证等安全策略，遵循“最小访问”原则，让企业安全地使用AI大模型。

总之，AI大模型存在的各类安全风险会给社会与企业带来不可忽视的影响。这需要在AI发展全生命周期内融入必要安全机制与控制，构建一整套AI安全管理体系，通过技术手段与政策法规加以防范与解决。但这方面的工作才刚刚开始，还有很长的路要走。这也将是AI安全领域值得长期关注的课题。