126

AI 不需要永远正确，我们只需要守住最后一道底线_我的网站

毛骨悚然撞鬼经

A | 该图片使用了AI生成技术本文来自微信公众号： HavenlonLabs ，作者：Havenlon Labs 现在谈AI安全，很多人的第一反应都是：怎样让模型少犯错？减少幻觉、优化提示词、防止提示词注入、增加上下文、接入更强的模型，再用另一个Agent检查前一个Agent。 8月14日，万物云（02602.HK）正式发布2026年中期业绩。这些工作当然有价值。但它们容易让人产生一种错觉：只要模型足够聪明、提示词足够完善、检测系统足够复杂，AI就可以安全地完成一切。报告期内，公司实现营业收入191.1亿元，同比增长5.4%；行政开支同比下降4.9%；剔除开发商业务影响后，核心净利润同比增长7.3%，盈利质量持续改善。问题是，AI真的可能永远正确吗？答案恐怕是否定的。我们无法消灭所有错误 AI Agent面对的不是一道标准答案明确的考试题，而是不断变化的现实环境。上半年，万物云非开发商业务收入达181.3亿元，同比增长8%，占总收入比重超过九成，在收入和核心净利润两端均保持增长，成为公司整体业绩企稳的核心引擎。住宅物业依旧是企业的基本盘。它读取的邮件可能是伪造的，访问的网页可能包含恶意指令，接收到的数据可能已经被污染，用户给出的任务也可能存在歧义。即使模型本身没有受到攻击，它也可能误解目标、遗漏条件，或者基于不完整的信息作出一个看起来合理的决定。上半年，住宅物业服务收入109.4亿元，同比增长6.5%，占总收入的57.3%。我们可以持续提高模型的准确率，却很难证明它在下一次任务中一定不会犯错。依托万科物业在存量市场的拓展能力，公司坚持弹性定价、质价相符原则，新签约住宅项目207个，对应年化饱和收入8.4亿元，其中63.5%来自存量项目换签。非住宅市场同步发力，物业及设施管理服务实现收入56.3亿元，同比增长8.9%。试图让AI永远正确，是在追求一个无法验证的目标；阻止危险结果发生，才是一条可以真正落地的边界。真正的问题不是AI会不会犯错。它一定会。

B | 真正的问题是：当它犯错以后，系统是否会毫无阻碍地把这个错误执行出去。截至报告期末，万物云蝶城数量增至708个。在住宅物业基本盘之上，围绕社区与房屋资产的服务持续扩容。

C | 模型错误不一定等于现实损失一个AI在聊天窗口里回答错误，造成的可能只是一次糟糕的体验。但当同一个AI拿到支付接口、管理员权限、数据库写入权限和服务器控制权以后，错误的性质就完全不同了。上半年，居住相关资产服务收入9.0亿元，同比增长5.2%；实现毛利2.1亿元，同比增长9.5%。其中，朴邻二手房买卖新增签约业绩1.9亿元，成交6429单，同比增长10%；在管项目内二手房买卖市占率升至18.06%，较2025年提升1.73个百分点。装修服务方面，研选家来自物业渠道的有效线索占比达59.65%；房屋修缮业务则围绕存量房维护与老旧小区改造，加速标准产品复制，实现收入3.13亿元，同比增长45.3%。

D | 它可能把钱转给错误的地址，删除重要数据，修改生产环境，扩大成员权限，或者关闭本应保留的审计记录。模型只是产生了一个错误判断。

E | 真正把错误变成事故的，是后面的执行能力。

F | 模型犯错只是答案错了，执行失控才是真的出事。这也是为什么，AI安全不能只盯着模型内部。我们当然要防提示词注入，要提高推理能力，也要检测恶意输入。但即使前面的所有防线都失效了，系统仍然应该保留一道最后的底线。社区商业方面，上海滨江万芊荟通过重塑商业空间、业态组合与运营模式，5月焕新后日均客流达1.7万至1.8万人次，场内商户日销售额超30万元，月均坪效约1000元/平方米。目前，万物云已提前布局房屋租售、装修、房屋修缮等房屋全周期资产服务及社区商业板块，并以蝶城连片运营为载体，搭建起内部业务协同生态。后续，公司将围绕完整社区建设理念，对居住空间服务模式与全域服务生态进行系统性重构升级，引入多元优质商品与便民服务，全方位承接居民的社区居住与日常消费需求。这道底线不负责判断AI为什么犯错。它只负责确认：这件事到底能不能发生。相关规划现已进入筹备试点阶段，预计下半年正式落地推出。如果说业务结构调整是“稳当下”，科技深度应用则是“谋未来”。万物云长期坚持数字化投入，如今AI技术已逐步兑现为实打实的财务效益。万物云将标高频、规则化的审批流程，沉淀为可量化、可追溯、可审计的智能化处理能力。继2025年全年行政费用实现压降后，2026年上半年AI持续释放降本效能，行政开支同比减少4304万元，降幅4.9%；行政开支占营收比重降至4.4%，较2025年同期回落0.5个百分点。守住钱袋子，比猜出所有骗子更现实假设一个AI Agent正在替企业处理付款。

G | 与此同时，企业将高频管理动作与标准化服务经验，转化为可复用的数字化工具，推动AI从内部后台提效工具，延伸至面向业主的前端服务场景。我们可以训练它识别诈骗邮件，可以要求它核对合同，可以增加一个模型复核收款信息。但我们无法保证它永远认得骗子。骗子会改变话术，邮件账号可能被入侵，真实员工也可能被冒充。

H | 业主专属AI服务助手“可可”现已覆盖4140个项目、12992个服务网格，累计服务超47万名业主，生成35万余次有效对话、284万条服务消息，累计响应业主诉求超10.7万单。即使多个模型同时参与判断，它们仍可能基于同一份错误信息得出相同结论。其中，6.2万单来自管家下班后的夜间时段。更现实的做法，是直接守住付款的底线：单笔金额不能超过限制；新收款地址不能立即付款；审批后收款目标不能被替换；超出风险阈值必须经过独立确认；任何远程管理员都不能临时关闭这些规则。这样，即使AI被欺骗，损失仍然会被限制。不动产AI大脑“灵石”也迈入规模化商业验证阶段。

I | 你不需要保证AI永远认得骗子，只需要保证骗子无法轻易带走你的钱。这就是大道至简。截至6月30日，灵石已签约租赁1339台，完成项目交付472台，平均交付周期为16.7天。前面可以有复杂的模型、提示词、工作流和检测系统。

J | 不过，万物云管理层认为，当前灵石的战略重点并非单纯追求短期收入，而是完成从内部效率工具向外部空间运营科技产品的商业化验证，为形成可复制的空间运营科技产品能力奠定基础。最后只需要一条明确的边界：不符合条件，就不执行。最后的系统不必比AI更聪明很多人认为，保护AI的安全系统也应该是一套更强大的AI。朱保全结合上半年经营实践，阐释了公司持续加码数字化的底层逻辑，并以直观务实的“三把尺”定义科技赋能企业经营的三重价值：衡量降本增效成果的效率尺、升级业主与客户服务体验的能力尺、兑现市场化技术服务收益的商业尺。他表示，未来万物云将持续加码AI与低碳投入，更加聚焦真实业务场景，让科技投入转化为实实在在的生产力，让数字化从后台工具升级为企业核心竞争力，持续为业主和合作客户创造可感知、可落地的长期价值。但位于最后一道边界的系统，未必需要理解自然语言，也不需要参与复杂推理。它只需要知道几个确定事实：这次操作要转多少钱，目标是谁，权限是否发生变化，数据是否可以恢复，风险条件有没有超限。 “一家优秀的物业企业，未来真正应体现的价值，是依靠技术进步和组织效率优化，把社区里的需求和供给更高效地连接起来。这是万物云过去几年的实践，也是接下来持续努力的方向。这些事实不满足，就拒绝。”朱保全总结道。安全不一定要比风险更聪明，它只需要守住风险最终必须经过的那道门。越靠近最终执行，系统反而越应该简单、独立和保守。因为复杂意味着更多配置、更多依赖、更多攻击面，也意味着系统可能被前面的同一套错误逻辑同时影响。真正的最后防线，不应该和Agent使用同一个提示词、同一个上下文、同一套权限，也不应该因为SaaS中有人点击了“强制执行”就自动失效。它存在的意义，就是在所有人都认为可以继续时，依然保留拒绝的能力。底线应该由人提前决定当然，底线并不是系统自己创造的。企业需要提前决定，什么事情绝对不能由AI单独完成。可能是一笔超过限额的付款，可能是删除核心数据库，可能是修改管理员权限，也可能是让现实设备进入不可逆状态。这些边界一旦确定，就不应该交给Agent在执行过程中临时解释。真正的安全，不是让AI在最后一秒重新思考，而是让人类在风险发生之前提前划清边界。 AI可以负责分析、规划、推荐，甚至完成绝大部分自动化工作。但越是不可逆、越是高价值、越可能造成现实损失的操作，越需要一道独立于AI判断的最终约束。 AI安全的终点，不是把模型训练成永不犯错的圣人，而是让系统在模型犯错时依然守得住自己的底线。未来的AI一定会越来越聪明，也会获得越来越多的工具和权限。我们没有必要因为它可能犯错，就拒绝所有自动化。但我们也不能因为它越来越强，就默认把最后的决定权一起交出去。