会“聊天”的 AI,真的会“做事”吗?

上海交通大学宣怀引航团

王德泉

这套 PPT 本身,就是今天的实验品

学生创作者、主编与统一 AI 助手围绕一套展开的宣怀 Slides 成品,沿同一工件看见想法、文字、图片、网页与反馈的来路

但我们不拆完整流水账,只追踪一页 PPT 的诞生

整套 Slides 在远处淡出,只保留一页横向 Slide 工件进入清晰的制作路径,主编把追踪标记固定在这一页

目标不是炫技,而是让高一学生看懂一个问题

高中生创作者站在一张清晰的受众画像旁,主编把多个目标收束成一个可理解的问题,AI 助手等待约束而不抢先生成

第一张任务卡:做出一页能讲懂的 PPT

主编把一张完整任务卡交给 AI 助手,卡片连接受众、核心问题、四十秒讲解与可检查 Slide 工件

会聊天的 AI,第一反应通常是给你一段草稿

AI 助手递出一条仍有毛边的草稿纸带,学生把它放到尚未完成的 Slide 工件旁,清楚看见草稿与作品之间的缺口

低注意力版本:说话是草稿,做事是作品

左侧是一小段聊天草稿,右侧是一张完整可播放 Slide;学生用同一把检查尺比较两者的结构、视觉与回执

聊天窗口背后,是一次次 LLM API 调用

AI 助手在开放白场中把上下文包送入简洁的语言模型引擎,再接住输出草稿;学生能看见输入、处理、输出三个方向

词元积木:标题、讲稿、YAML 都先被拆成小块

同一组标题、讲稿与结构化说明被拆成大小一致的彩色词元积木,再沿清楚顺序进入模型;不出现真实文字

生成文本的最低直觉:给前面,猜后面

已有词元像一条短轨道延伸到三个候选出口,AI 助手逐步选择下一块,学生观察每次局部选择如何累积成草稿

上下文桌面:模型只能使用桌上摆着的材料

学生与 AI 助手在开放工作台上只使用当前摆出的受众卡、任务卡、上一版草稿与反馈,其余材料留在工作台之外

注意力:它从材料堆里找最相关的那张卡

反馈、受众、标题与讲稿材料分散在白场,AI 助手用清楚但稀疏的关系线聚焦最相关材料,学生检查选择是否合理

预训练给它语言能力,后训练让它像助手

一个稳定语言能力底座托住上层助手行为模块,学生将任务卡插入上层,AI 助手据此产生更符合要求的草稿

它能写草稿,但还不知道怎样变成好课

一份流畅草稿停在半成品 Slide 前,学生和主编分别检查故事线、图像与听众理解三个仍未完成的接口

先写逐字稿节奏,再设计每一页

主编把讲稿铺成一条有呼吸和停顿的节奏带,AI 助手按四十秒预算重新分配段落,学生从头到尾试读

现在开始:一页 PPT 从毛坯长成成品

同一张横向 Slide 工件从任务纸、草稿、标题、视觉、网页预览逐步长成可播放成品,角色始终围绕同一工件协作

示例页的任务:解释“说话”和“做事”的差别

聊天气泡只产生一叠草稿纸,而 AI 助手与学生共同组装出带图片、检查点和回执的完整 Slide 工件

第一版标题很容易变成口号

主编用红笔把空泛口号压缩为指向具体对象与动作的标题路标,AI 助手保留修改前后两个可比较版本

标题要像路标:走神了,也能重新上车

学生短暂离开故事线后,靠一个明确标题路标重新找到当前 Slide 与前后工件的关系,AI 助手维护连续路径

讲稿节奏:这一页只讲 40 秒,不讲成一章

讲稿沿一条开放节奏轨分成开口、例子、结论,演讲者在超时处剪掉一段,AI 助手实时更新剩余预算

视觉工单:不要画概念,画一个动作

视觉导演把抽象概念改写成一个巨大主对象、角色动作、关系方向与禁区,画师 AI 助手只依据这张工单行动

Style 文件:保证每页都像同一套讲义

一套开放的风格标尺围绕学生、主编、统一机器人和 Slide 工件,后续候选从同一套标尺出发而不被大面板包围

画师 Agent:按工单画图,不按感觉乱发挥

统一 AI 画师从同一视觉工单生成多个完整单图候选,学生与主编保持距离观察构图差异,候选不是拼图

第一张图出来后,真正的工作才开始

第一张完整候选进入开放审阅区,主编检查主体、白场、角色、关系与标题一致性,AI 助手把问题写回下一版约束

错图不是废图,而是下一版工单的线索

被拒候选不被丢弃,而是把裁切、错误主体或面板化问题沿反馈线送回视觉工单,画师 AI 准备新候选

图文一致检查:标题说什么,图里就该看见什么

标题路标、讲稿动作与最终图片围绕同一 Slide 工件形成三角校准,质检角色逐一确认对象与方向一致

有些问题改标题就够,有些必须重画

主编把信息缺失送往标题修订,把主体或关系错误送往重画路径,AI 助手按问题类型进入正确工位

第二版图不是更花,而是更能教

前后两张候选共享同一教学目标,第二版放大核心关系、减少装饰并恢复白场,学生能一眼复述变化

构建 Agent:把标题、图片和顺序装成网页

构建 Agent 把标题路标、选中图片和页面顺序装配成一个可播放网页,所有输入沿清楚路径进入同一成品

网页预览是验收台:投影距离下还要看得清

网页 Preview 在不同屏幕比例上保持标题安全区、完整图片与页码空间,主编用投影距离检查主体是否清楚

试讲逐字稿:真实听众反应,比自我感觉更重要

演讲者试讲时,学生听众的停顿、疑问与重新上车点沿讲稿轨留下可见反馈,AI 教练只记录不替人判断

我们发现的问题:不是页数,而是注意力掉线

页数保持不变,故事线却在若干跳转处断裂;主编沿一条注意力路径定位真正的掉线点并保留证据

所以这套讲座换成一条线:一页 PPT 如何诞生

分散主题被收束到同一张 Slide 工件的成长路径上,学生从任务一直追踪到反馈和回执

这条生产线,就是一个 AI 小编辑部

主编居中负责判断,策划、编剧、视觉、画师、构建和质检以不同工具围绕同一 Slide 工件协作,统一机器人身份贯穿各工位

人类主编:负责目标、品味和最后责任

人类主编比较多个候选与反馈,AI 助手提供证据但不越过发布门;最终取舍、署名和责任清楚留在人手中

策划 Agent:决定一小时到底讲哪条线

策划 Agent 铺开多个主题路径,主编只保留一条可在一小时内完成的 Slides 制作主线,其余材料进入备选区

听众模拟 Agent:假装自己是走神的高一学生

模拟 Agent 站在高中生视角走过若干页面,在困惑处停下并请求上下文,主编据此增强标题和桥接

编剧 Agent:把主线写成能讲出口的话

编剧 Agent 把主线写成短句、例子和转折,演讲者逐句试读并在生硬处调整,保留版本差异

视觉导演 Agent:每页先找一个主视觉动作

视觉导演从概念中选出一个可画的动作、一个主对象和一个判断点,再把完整工单交给统一画师机器人

画师 Agent:把视觉工单变成白底讲义图

统一 AI 画师在开放白场生成一张完整丰富 2D 教学图,角色和 Slides 工件与前页保持一致,候选旁有可追踪回执但无界面面板

构建 Agent:把材料装成能播放的网页

构建 Agent 把已经验收的标题、图片与顺序送入网页产物,主编在出口拿到可打开的 Preview

质检 Agent:不是看好不好看,而是看能不能教

质检 Agent 不评装饰,而是逐项检查主体是否可讲、关系是否准确、学生能否复述、投影是否看清

演讲教练 Agent:检查这一页讲 40 秒还是 2 分钟

演讲教练 Agent 沿整套 Slides 标出四十秒、超时和重新上车节点,演讲者决定删减或保留

记忆系统:保存风格、偏好和踩过的坑

统一 AI 助手从整齐开放的记忆架取出角色、风格、工件与失败案例,新的候选不再从零开始

任务队列:几十页不是灵感爆发,而是排队生产

页面工件沿开放队列进入生成、审阅、重试与选中状态,队列有清楚间距而不是传送带或 dashboard

权限边界:AI 可以生成,但不能替我决定发布

AI 助手可以在门内生成、构建和测试,但发布门只能由人类主编开启;门外是公开 Preview 与 production 的清楚边界

回滚:旧版本不能丢,因为下一版可能走偏

同一 Slide 工件沿版本时间线演化,主编在偏离时拉回一个保留点,AI 助手恢复而不覆盖历史

证据链:需求、标题、图片、网页、反馈都能追溯

需求卡、标题、讲稿、视觉工单、候选、网页与试讲反馈沿开放链路连接回最终 Slides 工件,主编能从成品反查每一步

多模态不是炫技:文字、图像、网页、声音一起工作

同一 Slide 工件同时连接讲稿声音、文字标题、图像视觉和网页播放,统一 AI 助手协调接口而不把它们画成孤立卡片

这比普通聊天震撼:它真的交付了一个作品

一侧聊天回答很快结束,另一侧学生与 AI 助手交付完整 Slides 作品、Preview 和回执;主编从结果反查证据

兴趣常常从“我想把它做出来”开始

学生看到一张可运行的小作品原型后主动拿起工具继续改进,AI 助手提供下一步材料而不代替选择

一个图画错了,反而让你更想把它改好

一张不合格候选暴露主体错误,学生亲手圈出问题并把约束交回画师 AI,新的清楚候选在旁生成

把想法放进测试机,而不是贴在口号牌上

一个想法进入开放的测试装置,结果与证据在出口出现,空洞口号留在装置外;学生检查能否复现

做 PPT、读论文、跑代码,本质都是让想法接受检查

PPT 页面、论文证据和代码运行产物共享同一条提出、制作、测试、反馈回路,角色在三种工件间迁移

科研助理 Agent:先帮我做第一轮笨活

科研助理 AI 整理文献、代码、基线和失败记录,人类研究者选择问题并检查证据链,不出现真实实验室

读论文:不是背摘要,而是找问题和证据

论文工件被拆成问题、方法、证据和边界四种对象,AI 助手指出位置,人类研究者核对原文关系

跑代码:先别相信结论,先看能不能复现

代码包和环境配置进入运行路径,两条结果曲线在出口对齐或分叉,研究者检查差异,AI 助手保留日志

失败不是废纸:它会告诉你下一步查哪里

失败结果进入结构清楚的日志,AI 助手把它连接到下一步环境、数据或假设检查,人类决定优先排查项

你也可以从一个小作品开始,而不是从大模型论文开始

学生在图解讲义、复习助手和社团网页之间选择一个小作品,AI 助手帮助拆成工具、作品和反馈三步

学生项目一:把一篇课文做成图解讲义

课文材料被学生与 AI 助手转成少量清楚图像和一页讲义,同学在另一端给出理解反馈

学生项目二:把错题本做成会提醒你的复习小助手

错题记录进入带记忆的复习助手,学生在合适时间收到提示并再次作答,系统保留前后结果

学生项目三:给社团做一个海报和报名页

学生与 AI 助手共同制作一致的海报和报名页,发布前由学生检查,报名结果回到项目看板

最小工具链:一个模型、一个画图工具、一个预览页

三个具体工具围绕一个小作品工件形成最短链路,学生能逐一操作和检查,不出现品牌 logo 或软件 dashboard

评价小作品:别人能不能一眼看懂

同学在投影距离观察小作品,学生根据可读、可用、可改三种反馈进行一次小修订

别犯三个错:全网乱查、自动乱发、没有日志

全网乱查、自动乱发、没有日志三条危险路径被清楚阻断,学生在允许路径上保留来源、人工批准和记录

以后看 AI 新闻,先问它交付了什么作品

学生不看炫目模型标签,而是用放大镜检查新闻背后的作品、工具、证据和责任是否存在

能做事越强,越要能被人检查

更强的 AI 能力沿一条轨道增长,同时检查、日志、权限和回滚沿另一条同步增长,人类主编保持最终控制

回到开场:这套 PPT 就是工作流留下的回执

开场时的同一套宣怀 Slides 再次展开,学生、主编和 AI 助手沿其边缘找到需求、标题、图片、网页与反馈的完整来路

最终答案:会做事,就是把想法变成能检查的作品

一个想法通过工具、工作流、反馈和人工验收逐步成为可检查作品,学生能看见每个能力增量而非只有终点

带着一个问题离开:我能用 AI 做出什么小作品?

学生站在开放白场中选择讲义、复习助手或社团网页的第一个具体动作,统一 AI 助手准备工具但把选择留给学生

今天不先讲 AI 历史,也不先讲哪个公司最强。我们先看眼前这套 PPT:它是怎么从一句想法,一步步变成你们现在看到的讲座?

如果完整还原这套 PPT 的制作历史,细节会太多。今天只追踪一页 PPT 怎么从毛坯长成成品。看懂一页,就能看懂一套。

做教学 PPT 不是把技术名词堆上去。目标很具体:让高一学生能说清楚 AI 什么时候只是会说,什么时候开始会做事。

“帮我做 PPT”太模糊。真正能让 AI 开始工作的,是一张任务卡:这页讲什么,给谁看,用多久讲完,图片要补什么。

把任务丢给大模型,它很快能写出标题、讲稿、结构建议。这一步很有用,但草稿还不是成品。

如果今天只记一句话,就记这句:说话是草稿,做事是作品。作品要能被看见、被检查、被修改、被别人使用。

你看到的是对话。工程上可以理解成:把当前上下文发给模型,模型返回下一段标题、讲稿或 YAML 草案。

模型不是直接理解一整套 PPT。它先把文字拆成很多小块,就像把标题、讲稿和 YAML 字段拆成积木。

大模型先学会的是接着写。给它前面的上下文,它预测后面最可能出现什么。标题、讲稿、YAML 都是一块块生成出来的。

真正有用的材料不是“帮我改好”这句话,而是旧稿、网页效果、试讲逐字稿和我的反馈。它们必须放进上下文桌面。

比如我说“学生跟不上”,模型应该重点看试讲逐字稿和我的反馈,而不是去展开完整技术史。注意力就是在上下文里找重点。

它能写讲稿,是因为预训练学到了语言和世界模式;它能按要求协作,是因为后训练让它更会听指令、改稿和遵守边界。

大模型能写出看起来很完整的内容。但一节好课不是完整就够,还要有节奏、停顿、例子和重新上车点。

如果我自己说不清这一页怎么讲,图片再好也会乱。所以先用逐字稿感受节奏:怎么开口,怎么转场,学生可能在哪里掉线。

下面我们不再讲抽象流程。我们跟着一页 PPT 走一遍:它从一句话、一个标题、一张图,到最终能被学生看懂。

这页的任务很简单:让学生一眼看出,AI 写了一段话,不等于它真的做成了一件事。

第一版标题很容易写成“AI 要有闭环”“智能体需要反馈”。这些话对,但高中生可能没感觉。

学生看网页时,先看到上面的标题,再看下面的图。标题不是装饰,它要帮走神的人重新接回主线。

这页只需要讲清一个差别:草稿不是作品。不能顺手又讲 API、Agent、历史和安全,否则学生会丢。

如果只写“画一个闭环”,很容易变空。更好的工单是:左边聊天吐出草稿,右边作品经过检查台才能盖章。

只告诉 AI 画什么还不够,还要告诉它怎么画:白底、边缘纯白、少字、主对象清楚、不要海报感。

图像模型很强,但越强越需要清楚工单。我们不是要它画漂亮海报,而是画能讲清概念的教学图。

图片生成出来以后,我们才知道它有没有问题:是不是太空、太满,标题和图是不是在讲同一件事。

一张图画错了,并不只是失败。它会告诉我们:主对象不清楚、标签太多、边缘不白,或者标题没补上。

标题说“草稿不是作品”,图里就应该看见草稿和作品。标题说“回执”,图里就应该有能检查的回执。

如果图对了但缺一点因果,标题可以补。如果图的主对象错了,标题再漂亮也救不了,就要重画。

重画的目标不是更炫,而是更能教:主对象更清楚,阅读路径更短,学生第一眼知道看哪里。

当标题和图片都准备好,构建程序会把它们装成网页。只有放到网页里,才能真正看出这页能不能讲。

本地文件看起来对,不代表现场投影中也对。网页预览能检查:标题会不会挡图,图边缘是否突兀,投影距离能不能看清。

讲完以后,最有价值的材料不是我觉得讲得怎样,而是逐字稿和听众反应。它们会告诉我哪里太长、太快、哪里学生跟丢。

原来最重要的问题不是 60 页还是 90 页,而是上下文切换太快。学生一旦错过一段,后面就接不上。

为了减少切换,我们把主线改成一个具体过程:一页 PPT 如何诞生。所有机制都挂在这个过程上。

现在我们可以换个视角:不是一个 AI 一口气做完,而是一群角色分工合作。它更像一个小型编辑部。

AI 可以生成很多东西,但哪些适合学生、哪些该删、哪些可以发布,最后要由人决定。人不是按按钮的人,而是主编。

策划 Agent 不写每一页,而是提出几条路线:技术史、办活动、造 PPT、小助手。人类主编再决定保留哪条。

好讲座不是把自己知道的全倒出来。听众模拟 Agent 专门替学生说:这里我不懂,这里太快,这里我走神了。

编剧 Agent 的任务,是把结构写成讲得出口的话:不太学术、不太啰嗦,还要适合现场节奏。

视觉导演不直接画图,而是决定这页画什么动作:回执出现了,日志回放了,按钮坏了,还是标题和图不一致。

画师 Agent 不负责想主题,它负责按工单画图。风格要统一,边缘要白,主对象要清楚。

构建 Agent 不发明内容,它负责装配:读 YAML,找图片,排页面,生成网页或 PDF。

质检不只看漂亮。真正要看:标题和图片一致吗?学生看图能懂吗?这一页有没有具体例子?

一页图可能很好,但讲起来可能太长。演讲教练要估计节奏:哪些页可以快过,哪些页要慢慢讲。

这套系统要记住很多东西:白底少字、不要空洞图、要激发兴趣、不要太多历史切换。

一套 PPT 有几十页,每页都要写、画、检查、可能重画。这不是一次灵感爆发,而是一条任务队列。

AI 可以帮我写、画、改,但哪些内容能公开,哪些要删掉,最终必须由人确认。

做系统最怕没有回滚。每一版都要留下记录,因为新版本不一定总比旧版本好。

如果有人问这套 PPT 是怎么来的,我们能追溯:需求是什么、标题怎么改、图片怎么生成、网页怎么发布、反馈怎么进入下一版。

这件事天然是多模态的:文字决定讲什么,图像决定怎么看,网页决定怎么播放,试讲声音决定怎么改。

聊天很有用,但真正震撼的是:一群 AI 角色帮你把一个想法变成可以投影、可以讲、可以修改的作品。

很多人学 AI 是因为热门。但真正能走远的兴趣,常常来自一句话:我想把这个东西做出来。

真正有趣的时刻,经常是它没有画对。你会开始不服气:为什么它没懂?我要怎么改工单?下一版能不能更准?

真正的科学家精神不是喊口号,而是把自己的想法放进测试机:能不能跑?哪里错了?下一步怎么改?

科研也一样:读论文不是背摘要,跑代码不是摆样子,做 PPT 也不是装饰。它们都是把想法拿出来接受检查。

在我的研究里,Agent 也不是一上来发现真理。它先做第一轮笨活:读论文、找代码、跑基线、记失败。

一个有用的科研助理,不只是总结摘要,而是拆清楚:问题是什么、方法是什么、证据在哪里、边界在哪里。

读完论文后,下一步不是立刻相信结论,而是找代码、配环境、跑基线,看能不能复现。

很多实验会失败。真正有用的是把失败记录下来,让它告诉你下一步该查哪里。

对高一学生来说,不必一上来读大模型论文。你可以先做一个小作品:一页图解讲义、一个复习小助手、一个社团小网页。

比如把一篇课文或科普文章做成图解讲义。它不是让 AI 代写作业,而是把理解变成图像。

错题整理也可以变成小 Agent:它帮你分类、提醒复习,但最后要靠重新测试验证。

社团活动很适合练手:AI 帮你写文案、画海报、做报名页,但发布前要确认,发布后要看报名记录。

不需要一上来做复杂 Agent。最小工具链可以很简单:一个大模型写内容,一个图像模型画图,一个网页预览检查结果。

做小作品时,不要只问用了哪个模型。更重要的是:别人能不能看懂?能不能打开?哪里需要修改?

做小 Agent 最容易犯三个错:让它全网乱查、让它自动乱发、做完没有日志。

以后看到 AI 新闻,不要只问参数多大、榜单多高。先问:它接了什么工具?交付了什么作品?证据在哪里?出了错谁负责?

AI 能生成作品越强,就越需要证据链、回滚、日志和人工确认。不是越自动越好,而是越可靠越好。

现在回到开场。你们看到的这套 PPT,不只是我让 AI 说了什么,而是一条工作流交付出来的作品回执。

今天的问题可以这样回答:会聊天,是能生成话;会做事,是能把想法变成作品,而且这个作品能被检查、被修改、被别人使用。

你今天不需要记住所有名词。只要带走一个问题:我能不能用 AI 做出一个小作品,并且让别人真的看懂、用上、给反馈?