# 目录
<!-- TOC -->
- [目录 ](#目录 )
- [TinyBERT概述 ](#tinybert概述 )
- [模型架构 ](#模型架构 )
- [数据集 ](#数据集 )
- [环境要求 ](#环境要求 )
- [快速入门 ](#快速入门 )
- [脚本说明 ](#脚本说明 )
- [脚本和样例代码 ](#脚本和样例代码 )
- [脚本参数 ](#脚本参数 )
- [一般蒸馏 ](#一般蒸馏 )
- [任务蒸馏 ](#任务蒸馏 )
- [选项及参数 ](#选项及参数 )
- [选项 ](#选项 )
- [参数 ](#参数 )
- [训练流程 ](#训练流程 )
- [用法 ](#用法 )
- [Ascend处理器上运行 ](#ascend处理器上运行 )
- [在GPU处理器上运行 ](#在gpu处理器上运行 )
- [分布式训练 ](#分布式训练 )
- [Ascend处理器上运行 ](#ascend处理器上运行-1 )
- [GPU处理器上运行 ](#gpu处理器上运行 )
- [评估过程 ](#评估过程 )
- [用法 ](#用法-1 )
- [基于SST-2数据集进行评估 ](#基于sst-2数据集进行评估 )
- [基于MNLI数据集进行评估 ](#基于mnli数据集进行评估 )
- [基于QNLI数据集进行评估 ](#基于qnli数据集进行评估 )
- [模型描述 ](#模型描述 )
- [性能 ](#性能 )
- [评估性能 ](#评估性能 )
- [推理性能 ](#推理性能 )
- [随机情况说明 ](#随机情况说明 )
- [ModelZoo主页 ](#modelzoo主页 )
<!-- /TOC -->
# TinyBERT概述
从推理角度看，[TinyBERT](https://github.com/huawei-noah/Pretrained-Language-Model/tree/master/TinyBERT)比[BERT-base](https://github.com/google-research/bert)（ ） ，
[论文 ](https://arxiv.org/abs/1909.10351 ): Xiaoqi Jiao, Yichun Yin, Lifeng Shang, Xin Jiang, Xiao Chen, Linlin Li, Fang Wang, Qun Liu. [TinyBERT: Distilling BERT for Natural Language Understanding ](https://arxiv.org/abs/1909.10351 ). arXiv preprint arXiv:1909.10351.
# 模型架构
TinyBERT模型的主干结构是转换器， ，
# 数据集
- 生成通用蒸馏阶段数据集
- 下载[zhwiki](https://dumps.wikimedia.org/zhwiki/)或[enwiki](https://dumps.wikimedia.org/enwiki/)数据集进行预训练，
- 使用[WikiExtractor](https://github.com/attardi/wikiextractor)提取和整理数据集中的文本，使用步骤如下：
- pip install wikiextractor
- python -m wikiextractor.WikiExtractor -o < output file path > -b < output file size > < Wikipedia dump file >
- 将数据集转换为TFRecord格式。详见[BERT](https://github.com/google-research/bert)代码仓中的create_pretraining_data.py文件， ’ ，
- 生成下游任务蒸馏阶段数据集
- 下载数据集进行微调和评估，如[GLUE](https://github.com/nyu-mll/GLUE-baselines)
- 将数据集文件从JSON格式转换为TFRecord格式。详见[BERT](https://github.com/google-research/bert)代码仓中的run_classifier.py文件。
# 环境要求
- 硬件（ ）
- 使用Ascend或GPU处理器准备硬件环境。
- 框架
- [MindSpore ](https://gitee.com/mindspore/mindspore )
- 更多关于Mindspore的信息， ：
- [MindSpore教程 ](https://www.mindspore.cn/tutorial/training/zh-CN/master/index.html )
- [MindSpore Python API ](https://www.mindspore.cn/doc/api_python/zh-CN/master/index.html )
# 快速入门
从官网下载安装MindSpore之后， ：
```bash
# 单机运行一般蒸馏示例
bash scripts/run_standalone_gd.sh
Before running the shell script, please set the `load_teacher_ckpt_path` , `data_dir` , `schema_dir` and `dataset_type` in the run_standalone_gd.sh file first. If running on GPU, please set the `device_target=GPU` .
# Ascend设备上分布式运行一般蒸馏示例
bash scripts/run_distributed_gd_ascend.sh 8 1 /path/hccl.json
Before running the shell script, please set the `load_teacher_ckpt_path` , `data_dir` , `schema_dir` and `dataset_type` in the run_distributed_gd_ascend.sh file first.
# GPU设备上分布式运行一般蒸馏示例
bash scripts/run_distributed_gd_gpu.sh 8 1 /path/data/ /path/schema.json /path/teacher.ckpt
# 运行任务蒸馏和评估示例
bash scripts/run_standalone_td.sh
Before running the shell script, please set the `task_name` , `load_teacher_ckpt_path` , `load_gd_ckpt_path` , `train_data_dir` , `eval_data_dir` , `schema_dir` and `dataset_type` in the run_standalone_td.sh file first.
If running on GPU, please set the `device_target=GPU` .
```
若在Ascend设备上运行分布式训练，
详情参见如下链接：
https:gitee.com/mindspore/mindspore/tree/master/model_zoo/utils/hccl_tools.
如需设置数据集格式和参数， ，
```text
For general task, schema file contains ["input_ids", "input_mask", "segment_ids"].
For task distill and eval phase, schema file contains ["input_ids", "input_mask", "segment_ids", "label_ids"].
`numRows` is the only option which could be set by user, the others value must be set according to the dataset.
For example, the dataset is cn-wiki-128, the schema file for general distill phase as following:
{
"datasetType": "TF",
"numRows": 7680,
"columns": {
"input_ids": {
"type": "int64",
"rank": 1,
"shape": [256]
},
"input_mask": {
"type": "int64",
"rank": 1,
"shape": [256]
},
"segment_ids": {
"type": "int64",
"rank": 1,
"shape": [256]
}
}
}
```
# 脚本说明
## 脚本和样例代码
```shell
.
└─bert
├─README.md
├─scripts
├─run_distributed_gd_ascend.sh # Ascend设备上分布式运行一般蒸馏的shell脚本
├─run_distributed_gd_gpu.sh # GPU设备上分布式运行一般蒸馏的shell脚本
├─run_standalone_gd.sh # 单机运行一般蒸馏的shell脚本
├─run_standalone_td.sh # 单机运行任务蒸馏的shell脚本
├─src
├─__init__.py
├─assessment_method.py # 评估过程的测评方法
├─dataset.py # 数据处理
├─gd_config.py # 一般蒸馏阶段的参数配置
├─td_config.py # 任务蒸馏阶段的参数配置
├─tinybert_for_gd_td.py # 网络骨干编码
├─tinybert_model.py # 网络骨干编码
├─utils.py # util函数
├─__init__.py
├─run_general_distill.py # 一般蒸馏训练网络
├─run_task_distill.py # 任务蒸馏训练评估网络
```
## 脚本参数
### 一般蒸馏
```text
用法：
[--device_target DEVICE_TARGET] [--do_shuffle DO_SHUFFLE]
[--enable_data_sink ENABLE_DATA_SINK] [--data_sink_steps N]
[--save_ckpt_path SAVE_CKPT_PATH]
[--load_teacher_ckpt_path LOAD_TEACHER_CKPT_PATH]
[--save_checkpoint_step N] [--max_ckpt_num N]
[--data_dir DATA_DIR] [--schema_dir SCHEMA_DIR] [--dataset_type DATASET_TYPE] [train_steps N]
选项：
--device_target 代码实现设备，
--distribute 是否多卡预训练， （ ）
--epoch_size 轮次，
--device_id 设备ID，
--device_num 使用设备数量，
--save_ckpt_path 保存检查点文件的路径，默认为""
--max_ckpt_num 保存检查点文件的最大数，
--do_shuffle 是否使能轮换， ，
--enable_data_sink 是否使能数据下沉， ，
--data_sink_steps 设置数据下沉步数，
--save_checkpoint_step 保存检查点文件的步数，
--load_teacher_ckpt_path 加载检查点文件的路径，默认为""
--data_dir 数据目录，默认为""
--schema_dir schema.json的路径，
--dataset_type 数据集类型， ，
```
### 任务蒸馏
```text
usage: run_general_task.py [--device_target DEVICE_TARGET] [--do_train DO_TRAIN] [--do_eval DO_EVAL]
[--td_phase1_epoch_size N] [--td_phase2_epoch_size N]
[--device_id N] [--do_shuffle DO_SHUFFLE]
[--enable_data_sink ENABLE_DATA_SINK] [--save_ckpt_step N]
[--max_ckpt_num N] [--data_sink_steps N]
[--load_teacher_ckpt_path LOAD_TEACHER_CKPT_PATH]
[--load_gd_ckpt_path LOAD_GD_CKPT_PATH]
[--load_td1_ckpt_path LOAD_TD1_CKPT_PATH]
[--train_data_dir TRAIN_DATA_DIR]
[--eval_data_dir EVAL_DATA_DIR]
[--task_name TASK_NAME] [--schema_dir SCHEMA_DIR] [--dataset_type DATASET_TYPE]
options:
--device_target 代码实现设备，
--do_train 是否使能训练任务， ，
--do_eval 是否使能评估任务， ，
--td_phase1_epoch_size td phase1的epoch size大小，
--td_phase2_epoch_size td phase2的epoch size大小，
--device_id 设备ID，
--do_shuffle 是否使能轮换， ，
--enable_data_sink 是否使能数据下沉， ，
--save_ckpt_step 保存检查点文件的步数，
--max_ckpt_num 保存的检查点文件的最大数，
--data_sink_steps 设置数据下沉步数，
--load_teacher_ckpt_path 加载teacher检查点文件的路径，
--load_gd_ckpt_path 加载通过一般蒸馏生成的检查点文件的路径，默认为""
--load_td1_ckpt_path 加载通过任务蒸馏阶段1生成的检查点文件的路径，
--train_data_dir 训练数据集目录，默认为""
--eval_data_dir 评估数据集目录，默认为""
--task_name 分类任务， ，
--schema_dir schema.json的路径，
--dataset_type 数据集类型， ，
```
## 选项及参数
`gd_config.py` and `td_config.py` 包含BERT模型参数与优化器和损失缩放选项。
### 选项
```text
batch_size 输入数据集的批次大小，
Parameters for lossscale:
loss_scale_value 损失放大初始值，默认为
scale_factor 损失放大的更新因子，
scale_window 损失放大的一次更新步数，
Parameters for optimizer:
learning_rate 学习率
end_learning_rate 结束学习率，取值需为正数
power 幂
weight_decay 权重衰减
eps 增加分母，提高小数稳定性
```
### 参数
```text
Parameters for bert network:
seq_length 输入序列的长度，
vocab_size 各内嵌向量大小，
hidden_size BERT的encoder层数
num_hidden_layers 隐藏层数
num_attention_heads 注意头的数量，
intermediate_size 中间层数
hidden_act 所采用的激活函数，
hidden_dropout_prob BERT输出的随机失活可能性
attention_probs_dropout_prob BERT注意的随机失活可能性
max_position_embeddings 序列最大长度，
save_ckpt_step 保存检查点数量，
max_ckpt_num 保存检查点最大数量，
type_vocab_size 标记类型的词汇表大小，
initializer_range TruncatedNormal的初始值，
use_relative_positions 是否采用相对位置， ，
dtype 输入的数据类型， ，
compute_type Bert Transformer的计算类型， ，
```
## 训练流程
### 用法
#### Ascend处理器上运行
运行以下命令前， ，
```bash
bash scripts/run_standalone_gd.sh
```
以上命令后台运行， ， ：
```text
# grep "epoch" log.txt
epoch: 1, step: 100, outputs are (Tensor(shape=[1], dtype=Float32, 28.2093), Tensor(shape=[], dtype=Bool, False), Tensor(shape=[], dtype=Float32, 65536))
epoch: 2, step: 200, outputs are (Tensor(shape=[1], dtype=Float32, 30.1724), Tensor(shape=[], dtype=Bool, False), Tensor(shape=[], dtype=Float32, 65536))
...
```
> **注意**训练过程中会根据`device_num`和处理器总数绑定处理器内核。如果您不希望预训练中绑定处理器内核，
#### 在GPU处理器上运行
运行以下命令前， ，
```bash
bash scripts/run_standalone_gd.sh
```
以上命令后台运行， ， ：
```text
# grep "epoch" log.txt
epoch: 1, step: 100, outputs are 28.2093
...
```
### 分布式训练
#### Ascend处理器上运行
运行以下命令前， ，
```bash
bash scripts/run_distributed_gd_ascend.sh 8 1 /path/hccl.json
```
以上命令后台运行， ，
```text
# grep "epoch" LOG*/log.txt
epoch: 1, step: 100, outputs are (Tensor(shape=[1], dtype=Float32, 28.1478), Tensor(shape=[], dtype=Bool, False), Tensor(shape=[], dtype=Float32, 65536))
...
epoch: 1, step: 100, outputs are (Tensor(shape=[1], dtype=Float32, 30.5901), Tensor(shape=[], dtype=Bool, False), Tensor(shape=[], dtype=Float32, 65536))
...
```
#### GPU处理器上运行
输入绝对全路径，例如："/username/checkpoint_100_300.ckpt"。
```bash
bash scripts/run_distributed_gd_gpu.sh 8 1 /path/data/ /path/schema.json /path/teacher.ckpt
```
以上命令后台运行， ，
```text
# grep "epoch" LOG*/log.txt
epoch: 1, step: 1, outputs are 63.4098
...
```
## 评估过程
### 用法
如需运行后继续评估，请设置`do_train=true`和`do_eval=true`；如需单独运行评估，请设置`do_train=false`和`do_eval=true`。如需在GPU处理器上运行，
#### 基于SST-2数据集进行评估
```bash
bash scripts/run_standalone_td.sh
```
以上命令后台运行， ：
```bash
# grep "The best acc" log.txt
The best acc is 0.872685
The best acc is 0.893515
The best acc is 0.899305
...
The best acc is 0.902777
...
```
#### 基于MNLI数据集进行评估
运行如下命令前，请确保已设置加载与训练检查点路径。请将检查点路径设置为绝对全路径，例如，/username/pretrain/checkpoint_100_300.ckpt。
```bash
bash scripts/run_standalone_td.sh
```
以上命令将在后台运行， ：
```text
# grep "The best acc" log.txt
The best acc is 0.803206
The best acc is 0.803308
The best acc is 0.810355
...
The best acc is 0.813929
...
```
#### 基于QNLI数据集进行评估
运行如下命令前，请确保已设置加载与训练检查点路径。请将检查点路径设置为绝对全路径，例如/username/pretrain/checkpoint_100_300.ckpt。
```bash
bash scripts/run_standalone_td.sh
```
以上命令后台运行， ：
```text
# grep "The best acc" log.txt
The best acc is 0.870772
The best acc is 0.871691
The best acc is 0.875183
...
The best acc is 0.891176
...
```
## 模型描述
## 性能
### 评估性能
| 参数 | Ascend | GPU |
| -------------------------- | ---------------------------------------------------------- | ------------------------- |
| 模型版本 | TinyBERT | TinyBERT |
| 资源 | Ascend 910, cpu:2.60GHz 192核, 内存:755G | NV SMX2 V100-32G, cpu:2.10GHz 64核, 内存:251G |
| 上传日期 | 2020-08-20 | 2020-08-24 |
| MindSpore版本 | 0.6.0 | 0.7.0 |
| 数据集 | en-wiki-128 | en-wiki-128 |
| 训练参数 | src/gd_config.py | src/gd_config.py |
| 优化器| AdamWeightDecay | AdamWeightDecay |
| 损耗函数 | SoftmaxCrossEntropy | SoftmaxCrossEntropy |
| 输出 | 概率 | 概率 |
| 损失 | 6.541583 | 6.6915 |
| 速度 | 35.4毫秒/步 | 98.654毫秒/步 |
| 总时长 | 17.3 小时 (3轮, 8卡) | 48小时 (3轮, 8卡) |
| 参数 (M) | 15分钟 | 15分钟 |
| 任务蒸馏检查点| 74M(.ckpt 文件) | 74M(.ckpt 文件) |
#### 推理性能
| 参数 | Ascend | GPU |
| -------------------------- | ----------------------------- | ------------------------- |
| 模型版本 | | |
| 资源 | Ascend 910 | NV SMX2 V100-32G |
| 上传日期 | 2020-08-20 | 2020-08-24 |
| MindSpore版本 | 0.6.0 | 0.7.0 |
| 数据集 | SST-2, | SST-2 |
| batch_size | 32 | 32 |
| 准确率 | 0.902777 | 0.9086 |
| 速度 | | |
| 总时长 | | |
| 推理模型 | 74M(.ckpt 文件) | 74M(.ckpt 文件) |
# 随机情况说明
run_standaloned_td.sh脚本中设置了do_shuffle来轮换数据集。
gd_config.py和td_config.py文件中设置了hidden_dropout_prob和attention_pros_dropout_prob，
run_general_distill.py文件中设置了随机种子，
# ModelZoo主页
请浏览官网[主页](https://gitee.com/mindspore/mindspore/tree/master/model_zoo)。
