芝士AI吃鱼 · 人人都能看懂的 AI 图解SERIES 07 / 20

AI 怎样联系前后文?看懂注意力机制

从具体例子出发,一步一步看懂背后的过程。

镜头 01 · 认出一只猫从日常例子出发

小屏可左右滑动图解查看完整流程;下方有同步字幕和完整讲稿。

“他”是谁?需要联系已经出现的内容小林忘了带伞,小周把自己的伞递给他。小林忘带伞小周递伞他我们用一个递伞故事,观察信息怎样建立联系。芝士AI吃鱼

点击“开始讲解”,从一个具体例子开始。

逐句画面同步
00:00 / --:--

已就绪。点击播放;空格暂停 / 继续,左右方向键切换场景。

还没有观看记录
我的观看记录
    记录与隐私

    默认只在此浏览器保存观看位置与点赞。你可以选择将它们同步到本站,以便汇总内容反馈。同步不需要姓名或邮箱,使用此浏览器的随机标识,不支持跨设备找回。

    未活动的本站记录按 180 天保留策略清理。清除浏览器数据可能让记录无法找回。你可以随时关闭同步,并删除本站保存的这份记录与点赞。

    当前:仅本机保存,不上传。

    看完这一期,你应该能说清楚

    • 注意力比较查询与键,再用权重汇总值。
    • 多头、多层共同处理信息,不保证总能理解正确。
    • 自回归生成通过因果限制避免读取未来词元。

    下一步

    这一期只记住三步:比较相关程度,换成混合权重,再把信息汇总到当前的位置。

    回到全部 20 期

    展开完整讲稿 · 不听音频也能读懂
    20 期系列目录