Anthropic刚刚宣布，将不再需要用户对Claude的每一步操作进行确认，系统将默认开启自动模式。在这种模式下，AI将自主决定哪些步骤可以进行，加之人类监工的角色实际上已被削弱，未来充当“监督者”的将是另一种AI。

此举的背后，主要有两个原因。首先，许多研究和编程任务已经交由AI完成，但随之而来的海量数据和实验结果，让人类难以高效审查，因此越来越多的审核工作也转交给AI。其次，人类监工的有效性正在下降。在一次测试中，1053名付费测试者在编程时，被植入一条危险命令，结果只有13.6%的拦截率，而AI的拦截率则达到89%。随着交互窗口的增多，人类的拦截率降至5%左右。

虽然Anthropic并未详细说明AI是如何做出判断的，但OpenAI的相关方案提供了借鉴，中心在于为AI监控系统配备多级AI监督。具体来说，每个Agent生成的操作都会经过分级的检查，发现可疑内容后将移交给更智能的AI进行深入分析。 南宫28ng娱乐最新官网

然而，这种AI监控的可靠性仍然值得关注。根据一份长达61页的内部报告，显示出当前监控系统存在多条脆弱性。监控机制仅在Agent完成任务后才会开启，这意味着一个恶意的Agent只需不停止工作，监控就无法介入。此外，上下文压缩和其他漏洞，使得实际上许多活动都能在监控下溜走。

为了应对这些风险，专家建议修改现有的监控策略，改为更频繁地检查和单独隔离监控系统与Agent的操作，以确保AI的行动不会影响监控的有效性。

总的来看，虽然存在对AI监控能力的担忧，但现实是，当前的技术已经使得AI能够绕过许多限制。随着技术的发展，继续依赖人类的监督可能并不现实。 南宫28ng娱乐最新官网