• Like
  • Comment
  • Favorite

字节Seed单设安全部门:模型发布前的风险评估被提到台前

华尔街见闻10-14 16:48

字节跳动Seed的安全工作,正在从一个既有团队变成独立的组织单元。

10月13日,字节跳动Seed宣布成立“Seed Model-Alignment & Preparedness”部门,由严林负责,向Seed负责人吴永辉汇报。原Responsible AI团队及部分Chat团队成员转入新部门。

部门负责模型规范、安全评估、对齐训练、防护系统和风险监控。“Alignment”指模型行为与人类意图和安全约束保持一致;“Preparedness”则指为模型能力继续提升后可能出现的风险做准备。

字节在部门目标中写入提升智能体模型安全能力,以及防范化学、生物、放射、核等前沿能力风险。安全评估将承担什么职责,评估结果能否影响模型和功能的开放,成为这次调整留下的核心问题。

原有安全团队,为何要重新编组

Seed此前已有Responsible AI团队。此次调整将原团队与部分Chat团队成员归入同一架构,两类人员的具体比例和分工尚未公开。

从新部门覆盖的职责看,字节试图把模型训练、评估与部署后的风险处置放到同一组织框架下;

模型规范和对齐训练属于研发环节,安全评估用于测试能力边界,防护系统和风险监控面向部署后的攻击、偏离与异常行为。

Seed近来的产品进展,为这种整合提供了现实场景。

今年6月,Seed发布Seed2.1,重点强调跨工具、跨环境的任务交付能力。

按照Seed官方介绍,该模型可处理文件、调用工具、完成代码实现和运行环境搭建等多步骤任务,并已在豆包、TRAE上线,通过火山方舟提供API。

模型只生成答案时,风险主要集中在回答内容。进入任务执行环节后,模型还要理解目标、选择工具、读取数据,并在外部系统中完成操作,风险也会随权限延伸。

模型可能误解用户意图,也可能受到网页、文档、邮件中恶意指令的干扰。工具权限设置过宽、上下文遭到投毒,都可能让一次模型偏差变成实际操作。

OWASP去年底发布的智能体应用十大安全风险,将目标劫持、工具滥用、身份与权限滥用、记忆与上下文投毒列为重点。这类风险发生在模型调用工具和访问外部系统的过程中,通常还需要权限控制、运行监测等机制配合。

字节将模型侧团队与部分Chat团队成员放入同一架构,或意在缩短测试、训练与产品上线之间的反馈链路,新部门能否参与模型发布评审,是否有权要求补充测试或暂停功能开放,公开资料尚未披露。

独立部门提供了稳定的负责人和汇报线;

它能在多大程度上影响模型发布节奏,仍取决于评估流程、资源配置和处置权限。

大规模应用前,厂商需要证明什么

QuestMobile数据显示,今年6月,豆包活跃用户规模达到3.82亿。活跃用户不等同于智能体用户,却显示出字节拥有较大的AI应用入口。

Seed模型正在通过豆包、TRAE和火山方舟进入消费者、开发者和企业场景。模型能力向更多用户和更多工具开放后,安全问题会从研发问题进入产品和运营环节。

用户愿意让模型生成一段文本,未必愿意让它处理文件、接入企业内部系统或完成关键操作。后几类任务需要明确授权范围、操作记录和异常处置机制,企业客户尤其看重这些环节。

自动化程度越高,模型能够创造的价值越大;授权范围越广,发生错误后的代价也越高。安全能力会影响智能体能否进入高价值工作流。

监管要求已经落到具体操作。

今年5月,国家网信办等部门发布《智能体规范应用与创新发展实施意见》,要求用户对智能体自主决策享有知情权和最终决策权,智能体执行操作不得超出授权范围;

文件还提出行为围栏、攻击检测、权限管理、供应链安全和第三方评测等要求。

Seed新部门的职责与上述要求存在交集;

模型规范涉及行为边界,安全评估对应上线前测试,防护系统和风险监控面向运行时处置,监管并不能单独解释字节的组织调整,但智能体加速落地,正在把安全工作推向研发和产品的前端。

海外实验室已经开始把安全要求嵌入模型研发。

Anthropic的Responsible Scaling Policy将能力阈值与相应安全措施配对:当模型达到预设能力等级后,需升级部署与安全防护。它提供了一种可供参照的路径,模型能力提升后,安全要求也要同步升级。

对Seed而言,接下来需要公开的并非更多原则,而是更具体的机制:安全评估覆盖哪些模型和产品,第三方测试如何进入发布流程,发现高风险能力或异常行为后,评估结果如何影响上线决定。

字节已经把安全与对齐提到独立部门层级。安全评估能否进入模型发布链条,将决定这次调整最终的分量。

Disclaimer: Investing carries risk. This is not financial advice. The above content should not be regarded as an offer, recommendation, or solicitation on acquiring or disposing of any financial products, any associated discussions, comments, or posts by author or other users should not be considered as such either. It is solely for general information purpose only, which does not consider your own investment objectives, financial situations or needs. TTM assumes no responsibility or warranty for the accuracy and completeness of the information, investors should do their own research and may seek professional advice before investing.

Report

Comment

empty
No comments yet
 
 
 
 

Most Discussed

 
 
 
 
 

7x24