--- article.previous.md +++ article.md @@ -7,37 +7,23 @@ --- -## Kimi Code的视频理解为何与众不同 +## 发现：Kimi Code复刻demo的能力远超预期 -朋友们，我得先说清楚——我真没有碰瓷 Codex 的意思。但在视频理解这个多模态场景里，你用的 Coding Agent 很可能一直都是残血版。那谁不是残血？所有搭配了 Kimi Coder 的多模态模型，都不是残血。我说的是所有模型。 +我绝对没有碰瓷 CodeX 的意思。但是在视频理解这个多模态场景里，你用的 Coding Agent 很可能一直都是残血的。那么，谁不是残血？所有搭配了 Kimi Coder 的多模态模型都不是残血——我说的是所有模型。我知道 Kimi 刚发的 K2.7 很强，但这期内容不是模型测评，请跟我一起把注意力放在 Kimi Code 上。我要分享一个新发现：在多模态领域，它到底是补齐了什么样的能力，以及这个能力可能带来的一个重大商机。内容有点长，但非常容易理解。 -我知道，Kimi 刚发布的 K2.7 很强，但今天这期我不想做模型测评，我想请你跟我一起，把注意力全部放到 Kimi Code 上。我想分享一个刚发现的点：在多模态这个领域，它补齐的到底是什么能力，以及这背后可能藏着的一个重大商机。内容会有点长，但很好理解。 +最近 Kimi 推出了 Kimi Code 这个工具，可以看作是对原先 Kimi CLI 的一次重构和升级，而且官方在浓墨重彩地强调它的视频理解能力。刚好 Anthropic 的 Fable 5 也出了，Kimi K2.7 这个模型紧跟着发布了。我就想，那不如试试吧，拿它和 Fable 5 比一比，看看谁更厉害。我看到一位推友发了一个用 Higgs Field 里的 Fable 5 做的游戏 demo，就录了个屏，把这个视频直接丢给了 Kimi Code。我的提示词就几个字：读取这个 demo，完整复刻它。结果它居然就做出来了，不能说完全一样，但完全能玩。我不信邪，又找了一个 Fable 5 实现的中国风粒子动画 demo，提示词让它一比一复刻。它不但实现了，甚至把我录屏时不小心录进去的视频播放控件也复刻出来了。后来我还测了很多 demo，全部都被复刻了出来。 -事情是这样的。最近 Kimi 推出了 Kimi Code 这个工具，你可以把它理解成对原先 Kimi CLI 的一次重构和升级。官方在发布时，花了很大的笔墨去强调它的视频理解能力。正好这段时间 Anthropic 的 Fable 5 也出了，紧跟着 Kimi K2.7 这个模型也发布了。我就想着，那不如拿它跟 Fable 5 比一比，看看谁更厉害。 +可是官方在发布 Kimi Code 的时候，已经在强调视频能力了，但那时 K2.5 都还没发布。难道说这个能力的关键，在于 Kimi Code 这个工具本身？带着这个疑问，我开始分析 Kimi Code 的代码，也看了主流 Coding Agent，想找到它们之间的区别。还真让我猜中了。我调查了所有主流 Agent，发现只有 Kimi Code 这一套链路明确地把视频放进了上下文，放进了 Agent 的循环里。所以在执行任务的过程中，它始终都保有视频的信息。而我们用 Cloud Code 或者 Codex Open Code，它们当下的版本都只支持到图片这一层。一旦这类工具读取视频，都会用抽帧的方式，把它变成多张图来实现理解。在很多时候，这确实也够用，比如复刻一个网页游戏，通过几张图就能理解出整个游戏或者前端界面的交互逻辑。但是我要说，抽帧理解视频其实是残血的——因为 Kimi Code 的代码告诉我，视频它不是多张图。我恍然大悟。 -我先是看到一位推友用 Higgs Field 里的 Fable 5 做了一个游戏的 Demo，就顺手录了个屏，把视频丢给了 Kimi Code。提示词就几个字：“读取这个 Demo，完整复刻它。”结果它居然真的做出来了。不能说跟原版一模一样，但完全能玩。我不信邪，又找了一个 Fable 5 实现的中国风粒子动画 Demo，这回提示词是让它一比一复刻。它不仅实现了，甚至把我录屏时不注意录进去的视频播放控件也一并复刻了出来。后来我又测了很多 Demo，全都能复刻。 +顺着这个发现，如果把原始视频和成品都交给 Kimi Code，让它一次读入两个视频，再对不足之处进行精修，迭代个几轮，我相信结果会越来越好。而且，同时读两个视频这种方式，只有它能支持。这个实验让我有些惊讶，但也在我意料之中。因为脱离了软件开发场景，缺少了帧与帧之间的时间关系，Codex 是很难拿出像样的成果的。我知道 Codex 的上下文是在服务端管理的，所以我们并不清楚它读过的图片是不是始终以原始形态留在上下文里，比如 Base64 编码就是一种原始形态。但我十分确定的是，视频类的内容肯定没有。所以，Codex 未来会不会在这个能力上对齐 Kimi Code？这就是我标题里提出的问题。我希望它会。我是花了200美金订阅的，我特别希望它也能理解视频。 -这就让我有点好奇了。官方在发布 Kimi Code 的时候就已经在强调视频能力了，可那时候 K2.7 还没发布啊。那这个能力的关键，会不会在于 Kimi Code 这个工具本身？带着这个疑问，我开始去比对 Kimi Code 的代码和市面上主流的 Coding Agent，想看看它们到底有什么区别。 +在那次测试之后，我又拿了一些 AE 动画来做验证，结果和之前一样。它不但完整复刻了动画的视觉效果，连动画的节奏、转场的时机都复刻出来了。注意，这不是普通的低频率抽帧方案能稳定做到的，只有 Kimi Code 这条链路，才能把时间这个维度的信息保留得更多。 -嘿，还真让我猜中了。我调查了目前所有主流 Agent，发现只有 Kimi Code 的这一套链路，明确地把视频放进了上下文，放进了 Agent 的执行循环里。也就是说，它在执行任务的整个过程中，始终都有视频的信息在参与。而我们现在用 Cloud Code，或者 Codex、Open Code，它们当下的版本都只支持到图片这一层。一旦这类工具要读取视频，它们用的办法就是抽帧，把视频拆成多张图来理解。多数时候，这个确实也够用了。比如说你要复刻一个网页游戏，通过几张关键帧的截图，就能推测出整个游戏或者前端界面的交互逻辑。 +说到这里，你可能奇怪，我说的商机到底是什么？咱们假设，在符合道德和版权约束的前提下，我们把一批经过授权或者开源的视频作品，通过视频理解的方式蒸馏成一个剪辑和叙事经验的知识库。当你接到一个剪辑任务时，先用 Agent 在这个知识库里检索类似的案例经验，再结合脚本进行核查，提取出叙事动画的方案，最后通过 Hyperframe 这样的框架来快速实现动画。那么，以后的博主是不是只需要构思内容本身就够了？所有的表达，全部都可以交给 Agent。你们说，这个库如果能做成，会不会成为一个商机呢？反正我现在已经把 Kimi Code 集成到了我的牛马 Agent 体系里，开始用这种能力去做可行性的验证了。 -但我要说的是，抽帧去理解视频，其实是残血的。因为 Kimi Code 的代码告诉我一件事：视频不是多张图。那一刻我真是恍然大悟。 +## 原理分析与商机展望：视频时间维度是关键，蒸馏知识库可行 -当然，如果只是把原始视频和成品都交给 Kimi Code，让它同时读入两个视频，然后对不足的地方进行精修，再迭代个几轮，我觉得结果一定会越来越好。而且，同时读两个视频这种操作，目前也只有它能支持。这个实验让我有些惊讶，但也算是在意料之中。因为一旦脱离软件开发这个场景，少了帧与帧之间的时间关系，Codex 是很难拿出同样水准的成果的。我知道 Codex 的上下文是在服务端管理的，所以我们并不清楚它读过的图片是不是始终以原始形态留在上下文里——比如说 Base64 编码，就是一种原始形态。但我十分确定，视频类的内容肯定是没有的。 - -那么问题就来了，Codex 未来会不会在这个能力上去对齐 Kimi Code？这就是我标题里想问的。我希望它会。我是个付 200 美元月费的订阅用户，我特别希望它也能理解视频。 - -除了游戏 Demo，做完这个测试之后，我又拿了一些 AE 动画来跑。结果和之前一样，它不但完整复刻了动画的视觉效果，连动画的节奏、转场的时机都一并复刻出来了。注意，这不是普通的低频率抽帧方案能稳定做到的。只有当时间这个维度的信息被更多保留下来，才能做到这一点——而 Kimi Code 这套链路，刚好做到了。 - -好，那接下来我想说说，那个商机到底是什么。 - -咱们来做一个假设：在符合道德和版权约束的前提下，我们把一批经过授权或者开源的视频作品，通过视频理解的方式，蒸馏成一个关于剪辑和叙事经验的知识库。当你接到一个剪辑任务时，你可以先用 Agent 在这个知识库里检索类似的案例经验，再结合脚本去核查，提取出一套叙事动画的方案，最后通过 Hyperframe 这样的框架来快速实现动画。你想想看，到那个时候，博主是不是只需要构思内容本身，而所有的表达，都可以全部交给 Agent？我觉得，这个库如果真的能做成，它本身就是一个很有想象空间的商机。反正我现在已经把 Kimi Code 集成到了我自己的牛马 Agent 体系里，开始用这种能力去做可行性的验证了。 - -商机先说到这儿，咱们再回到现实。我对 Kimi Code 的代码库又做了进一步的研究，发现里面还有很多值得说的东西。 - -## 商机发掘与技术扩展 - -比如说，它支持接入其他模型。你甚至稍微对代码做一些修改，本地部署的千问 3.6 27B 也能实现视频常驻上下文这种玩法。这样一来，本地多模态模型现在也可以满血了。我还发现，它甚至连音频类型都预留了接口。顺着它的思路，我只对代码做了一点点小改动，就实现了能用本地模型分析带音轨的视频。另外还有一个点，原本只在网页版才能用的 Agent Swarm，现在在 Kimi Code 里就直接支持了。就拿刚才那个场景举例，我喂给 Kimi Code 两个视频让它分析，这时候可能已经用掉了 40% 的上下文。但接下来要执行的任务，我就可以启动 Agent Swarm。 +商机先聊到这里，咱们回到现实。我对 Kimi Code 的代码库又做了进一步的研究，发现其实还有很多值得说的。比如，它支持其他模型的接入，甚至你稍微对代码做一些修改，本地部署的千问3.6 27B 也能实现视频常驻上下文的这种玩法。也就是说，本地多模态模型现在也可以满血了。我还发现，它连音频类型都预留了接口。顺着它的思路，我稍微对代码做了点小改动，就实现了用本地的模型分析带音轨的视频。另外还有一点，原本只能在网页版才能用的 Agent Swarm，现在 Kimi Code 里就直接支持了。就拿我们刚才这个场景举例，我给 Kimi Code 两个视频让它分析，这时候可能就用掉了40%的上下文，但接下来的任务，我就可以直接启动 Agent Swarm。 ---