程浅 发自 凹非寺
量子位 | 公众号 QbitAI
OpenAI怎么又双叒叕走了一个安全负责人？？
David Robinson，OpenAI Safety Systems团队内的“安全透明度”职能负责人。
据BI报道，Robinson本人尚未公开说明离职原因，OpenAI也没有公布继任者。
“安全透明度负责人”这项工作并不耀眼，但这名字一听就很重要。
几乎每次OpenAI发布重要模型时，Robinson和他领导的团队都会为模型撰写一份“system card”。
简单来说就是“风险说明书”。
而如今，新模型还在接连上线，Robinson却先下线了……
安全透明度负责人究竟负责什么
用Robinson自己的话说，他所做的工作，是帮助外界理解并信任OpenAI为保障系统安全所开展的技术工作。
简单说，他和团队扮演的是技术部门与公众之间的“翻译器”。
△David Robinson
Safety Systems团队负责评估、红队测试、安全措施和模型部署决策。
但这些工作的过程和结果通常非常复杂，外界很难仅凭一组测试数据判断模型是否安全。
安全透明度团队要做的，就是把内部的技术发现、风险判断和部署决定，整理成外界能够看懂的公开材料。
这项工作归属于Safety Systems内部的Trustworthy AI团队，产出包括system card、Deployment Safety Hub、安全研究博客和公开治理文件。
其中最常和公众见面的，就是system card。
在其中需要写明：一款模型训练所用的方法、接受了哪些安全评估、在生物和网络攻击等高风险领域达到了什么能力、内部采取了什么安全措施、采取措施后还有什么风险等等。
（说是card，实际上篇均几十页。）
△GPT-6 Astra的System Card，显示为迄今为止最安全的模型
它可以被类比理解为食品包装上的“营养成分表”。
也就是，虽然看的人很少，但必须得有……
Robinson自己也不无自豪地说，这是OpenAI向外界提供的有关公司技术安全工作“最详细、最全面的说明”了。
除此外，Robinson还是OpenAI《Preparedness Framework 2.0》的主要起草人。
这套框架用于追踪前沿模型可能带来的严重风险，并提前规定模型达到某种能力后，公司需要进行哪些评估、增加哪些防护措施。
比如这第二版框架里，就新增了三类需追踪的能力：生物与化学能力、网络安全能力，以及AI自我改进能力。
如果追踪中发现，模型能力达到了High，那就意味着它可能显著放大现有的严重危害路径，必须在部署前配置足够的安全措施。
而一旦达到Critical，就代表模型可能凭空创造严重危害路径，是否继续开发将存在问题。
Deep Research就是一个典型案例。
在Deep Research System Card中，这款模型的生物学评估显示，它正“接近”High能力门槛。
换句话说，它“开始接近”能够实质帮助非专业人士制造已知生物威胁的水平。
元股证券:ygzq.hk
该怎么准确地向公众描述这种安全领域里的阈限空间，就是Robinson负责的工作。
不久前，Robinson还在招聘OpenAI首位Safety Transparency Editor。
这个岗位需要负责重要安全透明度材料的编辑质量，从项目启动到最终发布，全程推动system card和相关文件的叙事与表述。
目前还是在招状态，人招没招进来不知，总之是leader先走了。
OpenAI安全部门又“地震”？
其实吧，在Robinson离职消息曝光前，OpenAI的安全部门就已状况频发。
比如……OpenAI刚开了三名安全方向的员工。
据《华尔街日报》报道，三人分别是Jasmine Wang、Tomek Korbak 和 Mikita Balesni，主要从事安全与模型对齐研究。
OpenAI给的理由是，内部调查发现三人把公司敏感信息分享给了一家外部AI安全机构，其中还有OpenAI基础设施架构的内容。
耐人寻味的是，Tomek Korbak此前曾担任OpenAI与第三方评估机构METR、Redwood Research之间的技术联系人。
这两个机构就是当时Hugging Face事件后OpenAI邀请进驻公司调查的三方机构。
Korbak就是与这些研究人员对接的人。
实际上，OpenAI的安全团队从Dario Amodei时期就一贯是变动频出，“地震”连连。
因为离职的人实在是太多了，很难罗列，我做了张图。
大家自行感受……
△图片系AI生成
One More Thing
离职之前，Robinson曾在X上多次公开谈论高能力AI带来的风险。
9月初，他在X上表示，OpenAI内部的人正在逐渐意识到高能力AI模型可能产生的影响。
（竟然才意识到吗？）
“OpenAI的确每天都在发生重大变化，但我不知道这种变化是否足够快。”
在最新一则X中，Robinson转发了另一名研究人员的帖子，并表示百分百赞同：
我不认为竞相发展RSI真是什么囚徒困境——它可能就像普通人直观看到的那样，既疯狂又傲慢。
Robinson对那些AI staff说，如果现在选择继续留下来，就应该思考——
如何利用自己在公司内部的影响力西安股票配资，推动公司更认真地应对AI风险。
放心配资网提示：本文来自互联网，不代表本网站观点。
