第 6 期招生中 · 11 月 2 日开课

12 周,从零到一 构建你自己的大语言模型

这不是调包课。你会亲手写出注意力机制与 LoRA 微调,跑通 RAG 与 Agent, 并在结课答辩前拿到一个能写进简历、能拿去面试的完整项目。

下一期开课时间:

  • 12周系统课程
  • 48课时直播 + 回放
  • 6个可落地项目
  • 1v1每周代码评审

课程亮点

为什么这门课不一样

我们把"看得懂"和"写得出来"之间的距离,拆成了每周可交付的具体动作。

  • 从零手写 Transformer

    逐行推导缩放点积注意力与多头机制,亲手实现 padding mask 与 causal mask,不再依赖"调包"。

  • 参数高效微调 LoRA

    用单张消费级显卡完成 7B 模型微调,讲清秩、缩放因子与目标模块注入位置的取舍。

  • RAG 与向量检索

    从切分策略、Embedding 选型到重排序,搭出一套可量化评估的知识问答系统。

  • Agent 与工具调用

    函数调用、结构化输出、规划与反思,把模型真正接进可用的自动化工作流。

  • 6 个能写进简历的项目

    每个模块配套真实数据集与验收标准,结课时你会拥有自己的开源仓库与作品集。

  • 1v1 评审 + 论文精读

    每周一次导师代码评审,配合顶会论文精读讨论,科研与求职两条路同时打通。

课程大纲

12 周,6 个模块,层层递进

每个模块都包含理论推导、配套实验与一个可交付的项目成果。

第 1–2 周 语言模型的地基
  • 词向量与分布式表示:Word2Vec、GloVe 的直觉与实现
  • n-gram 与神经语言模型:平滑、回退与困惑度
  • 数据划分与泄漏排查:为什么你的验证集"太好看了"

交付:从零实现一个 n-gram 语言模型并完成困惑度评测

第 3–4 周 Transformer 与注意力机制
  • 缩放点积注意力与多头机制的分头 / 拼接细节
  • 位置编码、残差连接与层归一化的位置之争
  • padding mask 与 causal mask 的正确写法与常见越界错误

交付:手写 Encoder-Decoder 结构并完成一次完整训练

第 5–6 周 预训练与参数高效微调
  • 从 BERT 到 GPT:掩码语言建模与自回归建模的取舍
  • LoRA / Adapter / Prefix Tuning 的数学原理与工程权衡
  • 显存优化:混合精度、梯度检查点与梯度累积

交付:单卡微调 7B 模型,并与全量微调做效果对比

第 7–8 周 检索增强与向量数据库
  • 文本切分策略与 Embedding 模型选型方法
  • 向量检索、混合检索与重排序的工程组合
  • RAG 评测体系:忠实度、召回率与幻觉定位

交付:一套带评测脚本的企业知识问答系统

第 9–10 周 Agent 与工具调用
  • 函数调用与结构化输出的可靠约束
  • 规划、反思与记忆机制的设计模式
  • 多智能体协作编排与典型失败模式复盘

交付:能读写文件、查询数据库的任务型 Agent

第 11–12 周 毕业项目与答辩
  • 选题、方案设计与里程碑拆解
  • 一对一辅导与逐行代码评审
  • 答辩展示 + 简历与作品集的包装方法

交付:独立完成一个端到端 AI 应用并公开演示

讲师

王教授 · 北京大学副教授

二十年教学与科研经历,研究方向覆盖计算语言学、自然语言处理、知识图谱与生成式 AI。 长期主讲《大语言模型与人工智能》《AI Agent:理论与实践》《自然语言处理》等课程, 并担任多家教育科技企业的学术顾问。

  • 计算语言学
  • 大语言模型
  • 知识图谱
  • AIGC 与创意写作
  • 教育技术
"我希望你离开这门课时,手里握着的不是一堆笔记,而是一个已经跑起来、并且你知道每一行为什么这么写的系统。"

学员评价

他们已经跑通了自己的第一个模型

  • "最直接的收获是:以前调 HuggingFace 心里没底,现在知道 mask 该怎么写、loss 为什么不动了。"

    陈某 计算机专业研究生
  • "LoRA 那一周我用自己的消费级显卡微调了 7B 模型,答辩时把显存占用曲线放上去,面试官直接就聊开了。"

    李某 算法工程师
  • "每周的代码评审是真的会逐行看。被指出过三次 padding 处理问题之后,我这辈子都不会写错了。"

    张某 跨专业转行者

报名方案

选一个适合你的节奏

所有方案均包含全部直播课回放、配套代码仓库与学习社群。

  • 标准班

    ¥2,980

    适合有 Python 基础、想系统补齐原理的同学

    • 12 周直播课 + 永久回放
    • 6 个模块的实验代码与数据集
    • 学习社群答疑
    • 结课项目验收与反馈
    选择标准班
  • 尊享班

    ¥12,800

    科研方向定位与求职全流程陪跑

    • 包含进阶班全部内容
    • 科研选题与论文写作辅导
    • 模拟面试与技术追问演练
    • 无限次一对一沟通
    选择尊享班

常见问题

报名前你可能想问

需要什么基础?

需要能独立写 Python,理解函数、类与列表推导;有微积分与线代的基本直觉即可,课程中会用到的数学都会重新推导一遍。

没有显卡能学吗?

可以。课程提供云端算力接入指引,1–4 模块用 CPU 或免费额度即可完成;LoRA 微调模块会给出按显存分档的配置方案。

直播课错过了怎么办?

每节课在结束后 24 小时内上传回放与配套代码,回放长期有效,不设观看期限。

课程内容会随模型版本更新吗?

会。原理部分保持稳定,工程实践部分每期开课前重新校验一遍,确保代码在当下的主流版本上可运行。

可以开发票、走公司报销吗?

可以,支持开具增值税普通发票与专用发票。报名后在报名表单备注需求,或直接联系我们。

如果听完第一周觉得不合适?

开课后 7 天内、且课程进度不超过第二周,可申请无理由全额退款。

立即报名

留个联系方式,我们聊聊

名额有限,每期控制在 40 人以内以保证评审质量。提交后一个工作日内会有老师与你联系。