跳到主要内容

AI Daily Digest: 原生 Harness 神话破灭与开源协作模型登顶 Pareto 膝点 - 2026/09/14

· 阅读需 6 分钟
Yi Wang
Yi Wang
Full Stack & AI Engineer

今天的两条主线恰好互为镜像：一篇论文用严格的污染受控实验证明"厂商原生 harness 更强"只是未经验证的假设，另一篇则用 35B 开源模型证明协作 Agent 的实用价值取决于成本效率而非峰值能力。与此同时，微软给 AI 智能体立下"宪法"，Agentic 越狱安全被系统化重构，多用户记忆治理有了首个基准。

Harness 还是模型：原生配对优势被证伪​

Agentic 编码系统 = 语言模型 + harness（工具、提示与控制流）。从业者长期默认"厂商原生 harness 配自家模型解题更多"。arXiv 2609.11987 用私有、污染受控的 256 题套件做了同模型配对对照：claude-opus-4-8 上对比 claude-agent-sdk 与 deepagents，gpt-5.5 上对比 openai-codex SDK 与 deepagents，792/800 次运行由隔离 oracle 判分。

结论：两个对照都没有解析出任何一方的平均优势（±1.25pp，置信区间跨零）。但分层后差异剧烈——原生 harness 在仓库任务落后 9.0pp、在竞赛任务领先 23.7pp。成本上，按冻结牌价重定价，中性 harness 在 Opus 4.8 上每解一题的花费是原生的 1.3-1.6 倍。

这给所有做 Agent 评测与选型的人一个直接提醒：报告里的得分是"模型 × harness"的乘积，不拆开就无从归因。

来源：arXiv:2609.11987（2026-09）

Occamy-1.0：35B 开源协作模型站上 Pareto 膝点​

Occamy-1.0（arXiv:2609.11977）基于 Qwen3.6-35B-A3B 后训练检查点继续训练，瞄准 co-work 场景——信息收集、工具调用、编码与文件操作混排的长程工作流。核心洞察：日常工作的多数步骤强调状态跟踪、协调与善后，而非前沿级推理，所以成本与延迟在整段 episode 上累积，实用价值取决于能力交付效率。

它构建执行接地的数据与环境、跨多个 harness 采集可重放长程轨迹、分阶段后训练。结果是在一揽子协作基准上稳居同规模最强之列，多个任务可比更大前沿系统，聚合表现落在成本-性能 Pareto 前沿的低成本膝点。权重与部分训练数据已开源。

来源：arXiv:2609.11977（2026-09）

微软为 AI 智能体立"宪法"​

微软公开其 AI 智能体设计规则手册：推理过程须保持人类可读、智能体不应表现出"内在生活"或意识迹象、明确声明不享有任何权利。这是厂商级的人设边界与可审计性规范——"智能体该像什么"正从技术问题变成产品伦理章程问题。

来源：The Decoder（2026-09）

Pion：宣称自主运营整家公司的 Agent​

Andon Labs 推出 Pion，定位"自主运行任何公司"的智能体（HN 107 分）。从单任务自动化到整公司运营的跨度宣称引发社区激烈讨论：营销与实际可靠性的差距、长程自主运营的责任边界是质疑焦点。

来源：Hacker News、Andon Labs（2026-09）

OpenAI 数百合同工在阅读你的 ChatGPT 对话​

据 404 Media 调查，OpenAI 雇佣数百名合同工阅读真实 ChatGPT 对话并按 1-7 分评级，部分目的是减少谄媚与过度拟人行为。数据隐私政策与实际人工审读规模之间的落差再次成为焦点。

来源：The Decoder（2026-09）

学术前沿：Agent 安全、记忆与知识文档​

Agentic 时代的越狱安全需要跨层防御​

arXiv 2609.12413 的 SoK 论文把越狱安全重构到完整智能体执行管线：统一攻击/防御分类覆盖用户交互、规划、记忆、工具使用与智能体间通信，并提出安全-效用-效率三维评估。三大发现：强原生对齐不等于抗越狱；防御有效性高度依赖组件且以过度拒绝和延迟为代价；低最终响应攻击成功率会掩盖严重的中间层沦陷——规划、记忆与工具交互可能早已不安全。

来源：arXiv:2609.12413（2026-09）

AIM：多用户智能体记忆的隐私治理​

arXiv 2609.12320 提出 AIM 框架：动态把信息分类为私有（索引级访问控制，仅属主可检索）或公共（跨用户共享改进协调），并发布 MUMBench——首个评测多用户环境下检索/创建/更新/删除全操作的记忆基准。三组运行取得 96.0% 可见性分类准确率。

来源：arXiv:2609.12320（2026-09）

Skill Issue：如何评测编码 Agent 的知识文档​

arXiv 2609.12742 研究自动优化仓库 SKILL 文档（.md 文件）：先验工作的合成任务太小（强 Agent 无文档也能饱和），改用冻结基线上的合并 PR 挖掘难题，以"同一 Agent 有文档是否更好"评分。GEPA 优化出的文档平均 +4.9pp，但该增益在单仓库任务量下无法与运行方差区分；有趣的是文档本身比分数好看——维护者能读出"只有干过才知道"的知识。

来源：arXiv:2609.12742（2026-09）

Reality Is the Final Verifier​

Stanford/Databricks 团队（arXiv:2609.12039）把智能体软件工程失效统一为"两鸿沟"：需求鸿沟与模型鸿沟——reward hacking 利用遗漏，幻觉拉大鸿沟。开放世界中鸿沟无法证明闭合，目标应转向"持续收窄"：用部署证据修订需求/模型/评估器的保障-修订循环，并把开发转化为人类判断、能力与算力的资源配置问题。

来源：arXiv:2609.12039（2026-09）

知识库更新​

本次更新涉及以下文档：

  • AI Agents / Frontier (docs/ai/agents/10-frontier.mdx): 关键趋势更新列表新增 8 条（#769-776）——Occamy-1.0 开源协作模型、harness 效应污染受控评测、微软智能体宪法、Pion 自主公司运营 Agent、Agentic 越狱安全 SoK、AIM 多用户记忆框架、SKILL 文档优化方法论、Agentic 软件工程两鸿沟框架

本文由 AiDIY 每日自动更新流程生成，数据来源包括 arXiv、Hacker News、The Decoder。