# step_into_llm

**Repository Path**: mindspore-lab/step_into_llm

## Basic Information

- **Project Name**: step_into_llm
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Apache-2.0
- **Default Branch**: 1.10
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2025-12-03
- **Last Updated**: 2025-12-03

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 昇思MindSpore技术公开课 - 大模型专题

如果你想要学习大模型背后的原理，了解前沿技术；渴望自己动手构建自己的语言模型，那就请不要错过我们大模型技术公开课！4.15起，每周六14:00-15:30，我们在b站等候你的到来₍ᐢ..ᐢ₎♡

## 【新增】#为MindSpore打Call#课程学习打榜活动

除了可以免费使用启智社区提供的高达8卡NPU资源外，为了帮助开发者们更好的学习大模型专题课程内容, 昇思MindSpore联合OpenI启智社区通过"我为开源打榜狂"举办一系列学习打榜活动, 为大家设定一系列加分任务, 鼓励大家进行动手实践，输出沉淀优质内容。

### 加分任务

**任务1**：基于[动手学深度学习项目](https://openi.pcl.ac.cn/mindspore-courses/d2l-mindspore)或者昇思MindSpore技术公开课大模型专题的[代码仓](https://openi.pcl.ac.cn/mindspore-courses/step_into_chatgpt)在平台输出学习笔记或心得，并将链接通过在原项目（即动手学深度学习项目或大模型专题代码仓）提交Issue（即创建任务）的形式，由助教进行审核通过后的优质内容可在挑战升级榜中加20积分/篇；在外部平台（如知乎、csdn等）进行的分享，将链接通过在项目提交Issue，由助教进行审核通过后的优质内容加10积分/篇。心得提交地址：请根据课程提交至对应项目 [昇思MindSpore版《动手学深度学习》课程笔记](https://openi.pcl.ac.cn/mindspore-courses/d2l-mindspore/issues/1) 或 [昇思MindSpore技术公开课大模型专题课程——学习笔记](https://openi.pcl.ac.cn/mindspore-courses/step_into_chatgpt/issues/3)

**任务2** 根据动手学深度学习项目课程内容，或昇思MindSpore技术公开课大模型专题的内容，在启智社区输出相关代码项目，经助教评审通过后可加20积分/项目。动手学深度学习项目可尝试更换数据集，修改模型结构，模型调参优化等方式开展代码实践，昇思MindSpore技术公开课大模型专题课程可参考每节课程回顾中的课程实践建议。提交地址：请根据课程提交至对应项目  [昇思MindSpore版《动手学深度学习》代码实践](https://openi.pcl.ac.cn/mindspore-courses/d2l-mindspore/issues/2) 或 [昇思MindSpore技术公开课大模型专题课程——代码实践](https://openi.pcl.ac.cn/mindspore-courses/step_into_chatgpt/issues/4)

### 积分用途

开源打榜活动将依据用户的积分数量进行排名, 根据排名情况进行300-1000元阶梯性的**现金奖励** ，具体活动方案参见：[第八期打榜活动](https://openi.org.cn/index.php?a=lists&c=index&catid=233&m=content)

## 仓库地址

- [Github](https://github.com/mindspore-courses/step_into_chatgpt)
- [OpenI](https://openi.pcl.ac.cn/mindspore-courses/step_into_chatgpt)

推荐使用OpenI平台，直接使用启智云脑算力执行公开课代码。

## 课程介绍

《昇思MindSpore技术公开课》为昇思MindSpore与启智社区联合推出的系列课程。本次专题课程聚焦大模型领域，注重大模型代码实践。课程中，你将从实践的角度出发，通过复现ChatGPT的实现过程，手把手地搭建一个简易版的“ChatGPT”，从而深入了解大型语言模型的构建和原理。本课程将理论与代码进行融合，系统地逐步揭秘ChatGPT、GPT-4背后支持的大型语言类模型（Large Language Model， LLM），旨在让学生深入了解大模型领域知识的同时，真正切实地参与到大模型相关的任务实践中来。

课程内容之外，我们同时开展大模型访谈活动，邀请业界专家讨论大型语言模型领域的技术趋势与行业应用。此外，我们还提供了多样的社区活动与社区实习，让你能够巩固课程所学知识，深入拓展自己的能力，还可以获得实践证书。感兴趣的同学还可以参加昇腾AI创新大赛的大模型比赛，深入了解行业场景。

## 课程安排

| 课程事项 |  |
|----------|----------|
| 开课日期 | (预计) 2023/4/15 - 2023/6/17|
| 直播时间 | 每周六14：00 - 15：30 |
| 直播平台 | B站 |
| 课程回放 | [B站 MindSpore官方账号](https://space.bilibili.com/526894060) |
| 算力平台 | [启智OpenI平台](https://openi.pcl.ac.cn/) |

## 课前准备

| 任务 | 内容 |
|----------|----------|
| MindSpore的安装与使用 | 登录MindSpore官网，参考[安装指南](https://www.mindspore.cn/install)安装MindSpore，并学习[入门教程](https://www.mindspore.cn/tutorials/zh-CN/r2.0.0-alpha/index.html) <br> 也可以通过[应用实践案例](https://www.mindspore.cn/tutorials/application/zh-CN/r2.0.0-alpha/index.html)，简单了解MindSpore端到端模型实践 |
| 启智社区算力使用 | 登录启智OpenI AI协作平台，参与小白训练营，学习入门教程 <br> 视频教程可参考量子位推文 - [单卡就能运行的AI画画模型，小白也能看懂的教程来了](https://mp.weixin.qq.com/s/BI2wqrp-xnBYE60pDBZAbA) |
| 课前预习 | 进入[mindspore-courses/step_into_chatgpt 代码仓](https://github.com/mindspore-courses/step_into_chatgpt)，浏览课程进行预习 |
| 关注B站直播间 | 担心错过直播的同学可以关注[B站MindSpore官方账号](https://space.bilibili.com/526894060?spm_id_from=333.337.0.0) |

## 前序课程

有的小伙伴反馈，如果基础不太适合参与大模型学习怎么办，我们这里也为深度学习基础相对薄弱的小伙伴准备了前序课程————昇思MindSpore版《动手学深度学习》。

《动手学深度学习》这本书由李沐等人主导从零开始教授深度学习，覆盖四大类模型：多层感知机、卷积神经网络、循环神经网络、和注意力机制，以及深度学习中的两大应用领域—计算机视觉和自然语言处理—中的典型任务。开发者们只需要有基础的Python变成和数学基础即可参与学习，不仅可以学习模型算法，教材中还提供了大量可运行的代码，供大家进行实践。

同时，为帮助小伙伴们更好地学习知识，昇思MindSpore联合OpenI启智社区通过“我为开源打榜狂”举办了学习任务，我们为大家设置了一系列打分任务，详情请见上方 **【新增】#为MindSpore打Call#课程学习打榜活动**。


## 课程内容

> 最新通知： 考虑到4月29日为五一假期，小伙伴们可能会有自己的安排，同时也为了给大家提供更加优质的课程内容。经过综合考量，我们决定将4月29日的GPT课程后移一周，调整至5月6日开课，其余课程时间安排保持不变。特此通知，感谢大家的理解（鞠躬）。

| 日期 | 课程 | 课件归档 |
|----------|----------|----------|
| 4/15 | **Transformer**<br> * Multi-Head Attention<br> * Transformer结构<br>&nbsp;&nbsp;&nbsp;&nbsp; * 输入编码 <br> &nbsp;&nbsp;&nbsp;&nbsp; * Encoder <br> &nbsp;&nbsp;&nbsp;&nbsp; * Decoder <br> | [Transformer](./1.Transformer/) |
| 4/22 | **BERT**<br> * BERT预训练<br> * BERT Finetune<br> * 使用MindSpore写一个数据并行的BERT<br> | [BERT](./2.BERT/) |
| 4/29 | 劳动节休息，劳逸结合才能更好的学习哦~ |  |
| 5/6 | **GPT**<br> * Unsupervised Language Modelling<br> * Supervised Fine-Tuning<br> * 使用GPT Finetune一个Task<br> | [GPT](./3.GPT/) |
| 5/13 | **GPT2**<br> * Task Conditioning<br> * Zero Shot Learning and Zero Shot Task Transfer<br> * 使用GPT2训练一个few shot任务<br> | [GPT-2](./4.GPT2/) |
| 5/20 | **MindSpore自动并行** | [Parallel](./5.Parallel/) |
| 5/27 | **代码预训练**<br> * CodeBERT<br> * CodeX、Copilot<br> * CodeGeeX<br> * 使用CodeGeeX生成代码<br> | [CodeGeeX](./6.CodeGeeX/) |
| 6/3 | **Prompt Tuning**<br> * 人工定义Prompt<br> * P-tuning<br> * 使用BERT/GPT2实现Prompt Tuning<br> | [Prompt](./7.Prompt/) |
| 6/10 | **多模态预训练大模型**<br> * 紫东.太初多模态大模型2.0功能及应用介绍<br> * 语音识别的基础概述<br> * 语音识别的基础框架<br> * 语音识别现状及挑战<br> | [课程回放](https://www.bilibili.com/video/BV1wg4y1K72r/?spm_id_from=333.999.0.0) |
| 6/17 | **Instruct Tuning**<br> * Let's think step by step<br> * InstructGPT<br> * Chain-of-thoughts<br> | [Insutruction](./8.Instruction/)  |
| 6/24 | **RLHF**<br> * 强化学习与PPO算法<br> * InstructGPT/ChatGPT中的RLHF<br> * 动手训练一个Reward模型<br> * 使用GPT2实现ChatGPT全流程（基于人工反馈的评论生成模型）<br>| [RLHF](./9.RLHF/) |

## 课后活动

昇思MindSpore社区活动入口：[Link](https://gitee.com/mindspore/community/issues/I6Q9H4)