** MindNlP 第一课 ** 了解到了一些ai平台,用到的一些底层技术原理。

①transformer-based,比cnn rnn层数可以更多

②模型参数量大！！可能会出现大模型结构的小模型，7b以上才有感知推理能力

7b以下可能会生成无逻辑，但跑得快所以常用在端侧（小e）、小课题

1.预训练模型在自然能语言处理系统变迁（大规模语言模型LLM）

word2Vec（静态）

ELMo（动态）

BERT（受硬件限制，在预训练语言模型基础上微调，模型后加一层）

GPT（Prompt）

2.MindSpore框架

AI框架处于模型和硬件之间，若直接面向硬件去写无法快速构造神经网络

通过AI框架高效调度算力做数据预处理、模型搭建调优等等

优势在于性能优化，目前API向主流接口对齐，动静态图快速切换，迁移速度不断优化

MindFormers套件侧重商用的性能优化，提升20

静态图性能好，但调试不方柏霓；动态图性能差，但调试方便。现在支持切换

**3.MindSpore分布式并行的优势**

大模型一张显卡放不开，因此需要分开，一个模型128张卡才能放下

因此涉及到节点间的通信，用到分布式并行

MindSpore分布式并行编程范式，有手动并行（算法封装）和半自动并行（配置调参，其他框架去做）和自动并行（框架自动搜索解决方案）

4. MindSpore易用性提升

整图计算将前向反向、梯度更新视为完整计算图，这样可以对整个计算图过程进行优化

但这样就必须将求反向、梯度操作都写到Cell里，通过Cell连接Network和Loss

出现易用性和高性能的冲突！

MindSpore结局方案：OOP+FP混合编程

用类构建神经网络（Pytorch），构造训练过程函数（Jax）

5. MindNLP：易用NLP/LLM框架

NLP套件需求，模型开发简单，简单预处理，高效预训练

huggingface生态包括前端托管服务、核心框架（模型transformers、tokenizers，数据预处理datasets）和训练框架

MindNLP架构迁移，shunyingk开发习惯，凸显MindSpore优势特性

这个系列课程，对自己的要求：

对于自己不了解的东西，我是不敢去用，也不太会用，而且是和主流框架不一样的东西。希望通过这个系列课程，能够学会一些基本的配置，将来，在看到使用MindNLP开发的项目，不会感到茫然。就比如说，老师给了我一个用MindNLP写的ChatPDF的开源项目，我不知道，该怎么去，初始化。我估计应该也是和pytorch差不多吧，希望这几次实践以后，能够有更多的信心去处理这类事情，因为以后国产化会越来越普遍，也是一种趋势。

关于分布式处理上用到的技术，关于算子， 听了老师的课程，了解到，使用了一种时间换空间的做法。可能我说的不准确，大概意思是，做了两次正向传播，因为反向传播消耗时间比正向传播长，因此，正向传播两次，相当于把原来的2.5s的时间，变成了3.5s。但是，这样做的好处是，降低了GPU的消耗上限，因此，就可以通过增大Batchsize的方法，在总体上提高了运算的效率。

这又是一个很陌生的名词。这个框架，做到了，动态图生成以后，嵌入系统的时候，对于一个大模型训练的时候，一般是千量级的算子，原本是需要分多次或者一个一个进行传输运算的，这个框架改成了，所有算子一次性传入，并且一次性返回。这节约了，加载数据的时间，提高了效率。