m53297601
/
Paddle
1
0
Fork 0
Code Issues Pull Requests Releases Wiki Activity

update

Browse Source
feature/design_of_v2_layer_converter
typhoonzero 8 years ago
parent b360dec9db
commit a9b33f3801
2 changed files with 2 additions and 3 deletions
Show Stats Download Patch File Download Diff File

1
doc/design/cluster_train/checkpointing.md
Unescape View File

@ -8,7 +8,6 @@
说明： 说明：
* parameter server在集群中启动后，自动挂载分布式存储目录，并把快照保存到这个目录下。 * parameter server在集群中启动后，自动挂载分布式存储目录，并把快照保存到这个目录下。
* ***注：parameter server在保存检查点时，利用了Linux内核的“写时复制”技术，在fork的进程中保存检查点，原进程可以继续接收trainer的梯度更新请求，而不影响检查点数据的保存。***
* ***注：每个parameter server的检查点各自独立保存，暂时不考虑多个parameter server同步的保存一个特定时间点的全局检查点，因为这样做也没法保证消除随机性。*** * ***注：每个parameter server的检查点各自独立保存，暂时不考虑多个parameter server同步的保存一个特定时间点的全局检查点，因为这样做也没法保证消除随机性。***
检查点保存程序流程： 检查点保存程序流程：

4
doc/design/cluster_train/data_dispatch.md
Unescape View File

@ -21,10 +21,10 @@
### 上传训练文件 ### 上传训练文件
使用下面命令，可以把本地的训练数据上传到存储集群中 使用下面命令，可以把本地的训练数据上传到存储集群中，并指定上传数据的`dataset-name`：
``` ```
paddle upload train_data.list paddle upload train_data.list "dataset-name"
``` ```
其中`.list`文件描述了训练数据的文件和对应的label，对于图像类数据，`.list文件`样例如下，每一行包含了图片文件的路径和其label（用tab分隔开）： 其中`.list`文件描述了训练数据的文件和对应的label，对于图像类数据，`.list文件`样例如下，每一行包含了图片文件的路径和其label（用tab分隔开）：

Write Preview
Loading…
Cancel
Save