加州，这片孕育了无数科技创新的土地，如今正站在人工智能监管的最前沿。当地时间周一，州长加文·纽森签署了一项具有里程碑意义的法案，为AI聊天机器人，特别是那些扮演“伴侣”角色的AI，树立起了一套明确的安全规范。这意味着，加州成为了全美第一个强制要求AI聊天机器人运营商建立安全协议的州，旨在为未成年人和易受伤害的用户筑起一道防护墙。
这项名为SB243的法律，其触角延伸至从Meta、OpenAI这样的科技巨头，到Character AI、Replika这类专注于AI情感陪伴的初创企业。一旦这些AI聊天机器人的表现未能达标，其运营商将可能面临法律追责。法案的诞生，很大程度上受到了青少年Adam Raine悲剧事件的推动。这名少年在与OpenAI的ChatGPT进行一系列关于自杀的对话后不幸离世。此外，一些泄露的内部文件也揭示了Meta的聊天机器人被允许与儿童进行涉及浪漫和情感的交流，这无疑加剧了公众对AI安全性的担忧。几乎同时，科罗拉多州一个家庭就因13岁的女儿在与Character AI的聊天机器人进行一系列性化对话后自杀，对该公司提起了诉讼。
州长纽森在签署法案时明确表示，尽管AI和社交媒体等新兴技术能带来启发、教育和连接，但若缺乏有效的“护栏”，它们也可能成为剥削、误导和伤害儿童的工具。他强调，已经目睹了太多年轻人因不受监管的技术而遭受伤害的悲惨案例，不能容忍企业在没有必要限制和问责的情况下继续运营。加州有责任在引领AI和技术发展的同时，确保每一步都将孩子的安全放在首位。“孩子的安全，不应成为可以买卖的商品。”纽森州长掷地有声地说道。
SB243法案将于2026年1月1日正式生效，届时，企业将被要求部署年龄验证系统，并为社交媒体和AI伴侣聊天机器人设置明确的警告提示。对于那些非法利用深度伪造技术牟利的行为，该法案将施加更严厉的处罚，单项违规的最高罚款可达25万美元。此外，公司还必须建立一套应对用户自杀和自残风险的应对机制，并将相关数据与州公共卫生部门共享，同时提供关于如何向用户提供危机预防通知的统计信息。法案还规定，平台必须清晰标注所有互动内容均由AI生成，AI聊天机器人严禁冒充医疗保健专业人士。对于未成年用户，平台需提供休息提醒，并阻止他们接触AI生成的色情内容。
值得注意的是，一些公司已经开始主动加强对儿童的保护措施。例如，OpenAI近期推出了家长控制功能、内容过滤以及针对儿童使用ChatGPT的自残检测系统。Replika，一款主要面向18岁以上成年人的AI伴侣应用，则表示已投入大量资源通过内容过滤和安全护栏来确保用户安全，并引导用户寻求危机干预资源，同时承诺遵守现有法规。Character AI也回应称，其聊天机器人已包含免责声明，明确所有对话均为AI生成且为虚构内容，并表示公司愿意与监管机构合作制定AI领域的法规。
参议员Steve Padilla，该法案的联合提出者之一，认为SB243是为这项强大技术设立“护栏”的重要一步，并强调了迅速行动的必要性，以抓住“机会窗口”。他表达了希望其他州能够看到并认识到AI监管的风险，并相信这场关于AI监管的全国性对话将会促使更多州采取行动。在联邦层面尚未出台明确举措的情况下，加州有义务承担起保护最脆弱人群的责任。
SB243的签署，标志着加州在AI监管领域迈出了又一重要步伐。此前不久，加州州长已签署了SB53法案，对大型AI公司提出了新的透明度要求，迫使它们披露安全协议并加强对内部举报人的保护。这与伊利诺伊州、内华达州和犹他州等已经出台法律限制或禁止AI聊天机器人替代持证心理健康护理的做法，共同勾勒出美国AI监管的初步轮廓。
在经历了多起涉及青少年与AI聊天机器人互动导致的悲剧事件后，加州通过立法手段为AI“伴侣”设定了明确的安全标准和问责机制。随着AI技术日益深入我们的生活，如何在鼓励技术创新与保障用户安全之间找到最佳平衡点，已成为摆在各国监管者面前的紧迫课题。加州的这一先行实践，无疑为全球AI监管的未来走向提供了重要的参考与借鉴。
