5月22日，“AI诈骗正在全国爆发”话题冲上热搜第一，引发网友热议。

据每日经济新闻报道，近日包头警方发布一起利用人工智能（AI）实施电信诈骗的典型案例，福州市某科技公司法人代表郭先生10分钟内被骗430万元。

过程是这样的，4月20日，郭先生的好友突然通过微信视频联系他表示，自己的朋友在外地竞标，需要430万保证金，且需要公对公账户过账，想要借郭先生公司的账户走账。好友向郭先生要了银行卡号，声称已经把钱打到郭先生的账户上，还把银行转账底单的截图通过微信发给了郭先生。

基于对好友的信任，加上已经视频聊天核实了身份，郭先生没有核实钱款是否到账，就分两笔把430万转到了好友朋友的银行卡上，结果最终被AI换脸技术所骗。

而据湖北网警巡查执法5月6日消息，AI技术改变诈骗，新骗局来袭后，诈骗成功率竟接近100%。

第一种是声音合成。骗子通过骚扰电话录音等来提取某人声音，获取素材后进行声音合成，从而可以用伪造的声音骗过对方。

第二种是AI换脸，因为人脸效果更易取得对方信任，骗子用AI技术换脸，可以伪装成任何人，再通过视频方式进行信息确认。

海外方面，在早些时候，三星在引入ChatGPT不到20天里，发生了三起半导体机密资料外泄事故，包括两起“设备信息泄露”和一起“会议内容泄露”。

3月31日，意大利个人数据保护局宣布，从即日起禁止使用聊天机器人ChatGPT，限制其开发公司OpenAI处理意大利用户信息，并开始立案调查。ChatGPT被指控不遵守有关个人数据的立法并且没有验证未成年用户年龄的系统。

海内外积极因对AI风险

5月19日消息，英国计划与OpenAI和DeepMind的高管举行关于AI风险的会议，英国的人工智能峰会最快可能在本月举行。

5月18日，科学技术部部长王志刚表示，中国积极应对人工智能可能带来的风险挑战，推进人工智能伦理治理，发布人工智能治理原则和伦理规范，向全球表明负责任人工智能的鲜明立场。

5月16日，OpenAI CEO Altman呼吁国会对人工智能（AI）系统采取安全标准。他认为，政府可以将发放牌照和测试的要求结合起来，监管开发AI模型的公司。

4月11日，据《华尔街日报》报道，拜登政府已经开始研究是否需要对ChatGPT等人工智能工具实行检查。作为潜在监管的第一步，美国商务部4月11日就相关问责措施正式公开征求意见，包括新人工智能模型在发布前是否应经过认证程序。征求意见期限为60天。

4月11日，国家互联网信息办公室发布《生成式人工智能服务管理办法(征求意见稿)》，向社会公开征求意见。该意见稿聚焦生成式人工智能，在算法设计、训练数据选择、模型生成和优化、提供服务、生成内容、个人信息和隐私保护方面均做出了限制。

据中信证券研报，AI可能引发的安全问题主要体现在以下方面：

1）大模型训练、调优所使用数据的安全问题。

比如前文所述意大利个人数据保护局因年龄审核、数据和隐私安全等问题，宣布限制ChatGPT运营；加拿大联邦隐私监管机构宣布，OpenAI涉嫌“未经同意收集、使用和披露个人信息”。

2）大模型生成内容的可靠性、使用方式等问题。

中信证券指出，由于大模型在生成内容上的基于概率统计的原理，其内容可靠性可能存在问题，如引用的客观数据是否是最新且来源可靠的，此外，由AI生成的新闻图片出现在互联网中，真假难辨，或引发传播风险；欧洲刑警组织提示称，ChatGPT可能被滥用于网络钓鱼、虚假信息和网络犯罪。

华创证券还提到，网络攻击方面，搭载了AI能力的黑客如虎添翼，ChatGPT的强大功能降低了网络攻击者用于制作恶意软件和降低技术门槛，使得攻击手法转向分布式、智能化、自动化，智能化对抗将成为主要的攻防形式。

哪些技术有望用来应对AI风险？

中信证券指出，由于大模型在训练、调优数据过程中涉及用户数据调用，伴随生成式AI技术热潮掀起，在数据采集、传输、存储、处理、共享、销毁等数据生命周期各阶段，通过加密、数据水印等技术手段保护用户数据特别是隐私成为当务之急。

针对大模型生成内容的可靠性、使用方式，中信认为，应对AI生成内容进行标记，同时对AI生成内容的可靠性及传播链路进行把关。

安信证券提到，当前对AI生成内容的判别主要可以由两种技术途径来完成：

1）通过算法识别AI模型生成内容的特征，从而鉴别相应的内容是否由AI生成。根据公司公告披露，美亚柏科正在布局相关取证技术，比如对人工智能合成、生成的视频图像内容检测鉴定。

2）通过对AI生成的内容添加特定的标识，来区分相应内容是否由AI生成，这一方向的技术手段包括数字水印等相应的加密技术。

国盛证券指出，AIGC可能生成的虚假信息，需要类似换脸甄别的技术来鉴别图像等信息是否由AI生成；数据隐私方面，隐私计算可以在不暴露数据的情况下进行计算和分析，以实现数据隐私的保护。

隐私计算是在保障数据隐私安全的同时，实现数据分析计算的技术体系，其价值是打破数据孤岛,实现数据的可信流通和价值挖掘。国泰君安称，隐私计算在政策和需求的双轮驱动下不断发展壮大，到2025年，中国隐私计算市场规模有望突破百亿级，市场空间巨大。

国盛证券还提到，安全问题不能仅靠AI厂商自律解决，还需要外部力量监督。全球AI监管处于探索阶段，欧盟、英国、美国相关法律法规与指导意见逐步推进。人工智能趋势不可逆转，与科学技术的高速发展相比，现有法律和伦理仍处于不断起步探索的阶段。

风险提示及免责条款
市场有风险，投资需谨慎。本文不构成个人投资建议，也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资，责任自负。