From 9029b29b2fd4cf86ef0eddbab833e9eea58e7d48 Mon Sep 17 00:00:00 2001 From: Yu Yang Date: Tue, 25 Apr 2017 12:43:26 +0800 Subject: [PATCH 01/15] Fix documentation layout. --- doc_theme/templates/layout.html | 8 ++++---- 1 file changed, 4 insertions(+), 4 deletions(-) diff --git a/doc_theme/templates/layout.html b/doc_theme/templates/layout.html index 034740369e..344f488d59 100644 --- a/doc_theme/templates/layout.html +++ b/doc_theme/templates/layout.html @@ -114,10 +114,10 @@
@@ -137,7 +137,7 @@ {{ toctree }} {% endblock %} - {% if toc %} + {% if False %} {% endif %}
From 3f1151a54cf06acb7176b0c59671585b8276e650 Mon Sep 17 00:00:00 2001 From: Yu Yang Date: Tue, 25 Apr 2017 19:04:22 +0800 Subject: [PATCH 02/15] Add error clipping to MT demo. * Compose GRU step naive layer in trainer config helpers. * It is uses mixed_layer for gate. * It supports ERROR_CLIPPING, DROPOUT * Add error clipping in MT demo. * Fix #1143 * Fix #1891 --- demo/seqToseq/seqToseq_net.py | 23 ++++-- demo/seqToseq/translation/train.conf | 1 - python/paddle/trainer_config_helpers/attrs.py | 15 ++-- .../paddle/trainer_config_helpers/layers.py | 75 ++++++++++++++++++- .../paddle/trainer_config_helpers/networks.py | 22 ++++-- 5 files changed, 117 insertions(+), 19 deletions(-) diff --git a/demo/seqToseq/seqToseq_net.py b/demo/seqToseq/seqToseq_net.py index e523a34d5a..3d1f86ec3b 100644 --- a/demo/seqToseq/seqToseq_net.py +++ b/demo/seqToseq/seqToseq_net.py @@ -69,7 +69,8 @@ def gru_encoder_decoder(data_conf, encoder_size=512, decoder_size=512, beam_size=3, - max_length=250): + max_length=250, + error_clipping=50): """ A wrapper for an attention version of GRU Encoder-Decoder network is_generating: whether this config is used for generating @@ -90,9 +91,19 @@ def gru_encoder_decoder(data_conf, input=src_word_id, size=word_vector_dim, param_attr=ParamAttr(name='_source_language_embedding')) - src_forward = simple_gru(input=src_embedding, size=encoder_size) + src_forward = simple_gru( + input=src_embedding, + size=encoder_size, + naive=True, + gru_layer_attr=ExtraLayerAttribute( + error_clipping_threshold=error_clipping)) src_backward = simple_gru( - input=src_embedding, size=encoder_size, reverse=True) + input=src_embedding, + size=encoder_size, + reverse=True, + naive=True, + gru_layer_attr=ExtraLayerAttribute( + error_clipping_threshold=error_clipping)) encoded_vector = concat_layer(input=[src_forward, src_backward]) with mixed_layer(size=decoder_size) as encoded_proj: @@ -117,11 +128,13 @@ def gru_encoder_decoder(data_conf, decoder_inputs += full_matrix_projection(input=context) decoder_inputs += full_matrix_projection(input=current_word) - gru_step = gru_step_layer( + gru_step = gru_step_naive_layer( name='gru_decoder', input=decoder_inputs, output_mem=decoder_mem, - size=decoder_size) + size=decoder_size, + layer_attr=ExtraLayerAttribute( + error_clipping_threshold=error_clipping)) with mixed_layer( size=target_dict_dim, bias_attr=True, diff --git a/demo/seqToseq/translation/train.conf b/demo/seqToseq/translation/train.conf index 72b7ccdbb9..0718f00f68 100644 --- a/demo/seqToseq/translation/train.conf +++ b/demo/seqToseq/translation/train.conf @@ -28,7 +28,6 @@ train_conf = seq_to_seq_data(data_dir = data_dir, ### Algorithm Configuration settings( - learning_method = AdamOptimizer(), batch_size = 50, learning_rate = 5e-4) diff --git a/python/paddle/trainer_config_helpers/attrs.py b/python/paddle/trainer_config_helpers/attrs.py index bf02088346..7b76e87f04 100644 --- a/python/paddle/trainer_config_helpers/attrs.py +++ b/python/paddle/trainer_config_helpers/attrs.py @@ -208,12 +208,15 @@ class ExtraLayerAttribute(object): drop_rate=None, device=None): self.attr = dict() - if isinstance(error_clipping_threshold, float): - assert error_clipping_threshold > 0 - self.attr["error_clipping_threshold"] = error_clipping_threshold - - if isinstance(drop_rate, float): - assert drop_rate > 0 + if error_clipping_threshold is not None: + error_clipping_threshold = float(error_clipping_threshold) + if error_clipping_threshold < 0: + raise ValueError("Error clipping must > 0") + self.attr['error_clipping_threshold'] = error_clipping_threshold + if drop_rate is not None: + drop_rate = float(drop_rate) + if drop_rate < 0: + raise ValueError("Dropout rate must > 0") self.attr["drop_rate"] = drop_rate if isinstance(device, int): diff --git a/python/paddle/trainer_config_helpers/layers.py b/python/paddle/trainer_config_helpers/layers.py index f906126d87..635e280ca5 100755 --- a/python/paddle/trainer_config_helpers/layers.py +++ b/python/paddle/trainer_config_helpers/layers.py @@ -84,6 +84,7 @@ __all__ = [ 'GeneratedInput', 'SubsequenceInput', 'gru_step_layer', + 'gru_step_naive_layer', 'recurrent_layer', 'BaseGeneratedInput', 'conv_operator', @@ -2284,7 +2285,7 @@ def img_pool_layer(input, type_name = pool_type.name + '-projection' \ if ( - isinstance(pool_type, AvgPooling) or isinstance(pool_type, MaxPooling)) \ + isinstance(pool_type, AvgPooling) or isinstance(pool_type, MaxPooling)) \ else pool_type.name pool_size_y = pool_size if pool_size_y is None else pool_size_y @@ -3084,6 +3085,78 @@ def gru_step_layer(input, activation=act) +@wrap_bias_attr_default() +@wrap_param_attr_default() +@wrap_act_default(param_names=['gate_act'], act=SigmoidActivation()) +@wrap_act_default(act=TanhActivation()) +@wrap_name_default('gru_step') +@layer_support(ERROR_CLIPPING, DROPOUT) +def gru_step_naive_layer(input, + output_mem, + size=None, + name=None, + act=None, + gate_act=None, + bias_attr=None, + param_attr=None, + layer_attr=None): + """ + GRU Step Layer, but using MixedLayer to generate. It support ERROR_CLIPPING + and DROPOUT. + + :param input: + :param output_mem: + :param size: + :param name: + :param act: + :param gate_act: + :param bias_attr: + :param param_attr: + :param layer_attr: + :return: + """ + if input.size % 3 != 0: + raise ValueError("GruStep input size must be divided by 3") + if size is None: + size = input.size / 3 + + def __gate__(gate_name, offset): + with mixed_layer( + name=name + "_" + gate_name, + size=size, + layer_attr=layer_attr, + bias_attr=bias_attr, + act=gate_act) as gate: + gate += identity_projection(input=input, offset=offset) + gate += full_matrix_projection( + input=output_mem, param_attr=param_attr) + return gate + + update_gate = __gate__("update", 0) + reset_gate = __gate__("reset", size) + + with mixed_layer( + name=name + "_reset_output", bias_attr=False) as reset_output: + reset_output += dotmul_operator(a=output_mem, b=reset_gate) + + with mixed_layer( + name=name + "_output_candidate", + size=size, + layer_attr=layer_attr, + bias_attr=bias_attr, + act=act) as output_candidate: + output_candidate += identity_projection(input=input, offset=2 * size) + output_candidate += full_matrix_projection( + input=reset_output, param_attr=param_attr) + + with mixed_layer(name=name) as output: + output += identity_projection(output_mem) + output += dotmul_operator(a=output_mem, b=update_gate, scale=-1.0) + output += dotmul_operator(a=output_candidate, b=update_gate) + + return output + + @wrap_name_default() @layer_support() def get_output_layer(input, arg_name, name=None, layer_attr=None): diff --git a/python/paddle/trainer_config_helpers/networks.py b/python/paddle/trainer_config_helpers/networks.py index cadde11ff8..fb533a47e0 100755 --- a/python/paddle/trainer_config_helpers/networks.py +++ b/python/paddle/trainer_config_helpers/networks.py @@ -825,7 +825,8 @@ def gru_unit(input, gru_param_attr=None, act=None, gate_act=None, - gru_layer_attr=None): + gru_layer_attr=None, + naive=False): """ Define calculations that a gated recurrent unit performs in a single time step. This function itself is not a recurrent layer, so that it can not be @@ -857,7 +858,12 @@ def gru_unit(input, out_mem = memory(name=name, size=size) - gru_out = gru_step_layer( + if naive: + __step__ = gru_step_naive_layer + else: + __step__ = gru_step_layer + + gru_out = __step__( name=name, input=input, output_mem=out_mem, @@ -879,7 +885,8 @@ def gru_group(input, gru_param_attr=None, act=None, gate_act=None, - gru_layer_attr=None): + gru_layer_attr=None, + naive=False): """ gru_group is a recurrent layer group version of Gated Recurrent Unit. It does exactly the same calculation as the grumemory layer does. A promising @@ -928,7 +935,8 @@ def gru_group(input, gru_param_attr=gru_param_attr, act=act, gate_act=gate_act, - gru_layer_attr=gru_layer_attr) + gru_layer_attr=gru_layer_attr, + naive=naive) return recurrent_group( name='%s_recurrent_group' % name, @@ -949,7 +957,8 @@ def simple_gru(input, gru_param_attr=None, act=None, gate_act=None, - gru_layer_attr=None): + gru_layer_attr=None, + naive=False): """ You maybe see gru_step_layer, grumemory in layers.py, gru_unit, gru_group, simple_gru in network.py. The reason why there are so many interfaces is @@ -1018,7 +1027,8 @@ def simple_gru(input, gru_param_attr=gru_param_attr, act=act, gate_act=gate_act, - gru_layer_attr=gru_layer_attr) + gru_layer_attr=gru_layer_attr, + naive=naive) @wrap_name_default('simple_gru2') From c6a8e23a9e68b7121c6bfd94eb6a9b1aea0cf6e3 Mon Sep 17 00:00:00 2001 From: Yu Yang Date: Wed, 26 Apr 2017 10:40:24 +0800 Subject: [PATCH 03/15] Fix unittests --- paddle/gserver/tests/sequence_layer_group.conf | 3 +-- .../tests/configs/protostr/projections.protostr | 1 + 2 files changed, 2 insertions(+), 2 deletions(-) diff --git a/paddle/gserver/tests/sequence_layer_group.conf b/paddle/gserver/tests/sequence_layer_group.conf index 68d150d553..50f2d89d02 100644 --- a/paddle/gserver/tests/sequence_layer_group.conf +++ b/paddle/gserver/tests/sequence_layer_group.conf @@ -48,8 +48,7 @@ lstm = lstmemory_group( size=hidden_dim, act=TanhActivation(), gate_act=SigmoidActivation(), - state_act=TanhActivation(), - lstm_layer_attr=ExtraLayerAttribute(error_clipping_threshold=50)) + state_act=TanhActivation()) lstm_last = last_seq(input=lstm) diff --git a/python/paddle/trainer_config_helpers/tests/configs/protostr/projections.protostr b/python/paddle/trainer_config_helpers/tests/configs/protostr/projections.protostr index 2afc3afef6..d8bd7b9dfb 100644 --- a/python/paddle/trainer_config_helpers/tests/configs/protostr/projections.protostr +++ b/python/paddle/trainer_config_helpers/tests/configs/protostr/projections.protostr @@ -320,6 +320,7 @@ layers { } } drop_rate: 0.5 + error_clipping_threshold: 40.0 } parameters { name: "___embedding_0__.w0" From 11c8ab80ec806635b6b010a425edca34292456e9 Mon Sep 17 00:00:00 2001 From: Yu Yang Date: Wed, 26 Apr 2017 10:48:59 +0800 Subject: [PATCH 04/15] Revert unchanged files --- demo/seqToseq/translation/train.conf | 1 + 1 file changed, 1 insertion(+) diff --git a/demo/seqToseq/translation/train.conf b/demo/seqToseq/translation/train.conf index 0718f00f68..72b7ccdbb9 100644 --- a/demo/seqToseq/translation/train.conf +++ b/demo/seqToseq/translation/train.conf @@ -28,6 +28,7 @@ train_conf = seq_to_seq_data(data_dir = data_dir, ### Algorithm Configuration settings( + learning_method = AdamOptimizer(), batch_size = 50, learning_rate = 5e-4) From da2adea964180147bdd26f7f953b6760476d8108 Mon Sep 17 00:00:00 2001 From: Yu Yang Date: Wed, 26 Apr 2017 11:42:36 +0800 Subject: [PATCH 05/15] Fix unittest --- paddle/gserver/tests/sequence_nest_layer_group.conf | 3 +-- 1 file changed, 1 insertion(+), 2 deletions(-) diff --git a/paddle/gserver/tests/sequence_nest_layer_group.conf b/paddle/gserver/tests/sequence_nest_layer_group.conf index 88cb42798b..c01b95f7a2 100644 --- a/paddle/gserver/tests/sequence_nest_layer_group.conf +++ b/paddle/gserver/tests/sequence_nest_layer_group.conf @@ -51,8 +51,7 @@ def lstm_group(lstm_group_input): size=hidden_dim, act=TanhActivation(), gate_act=SigmoidActivation(), - state_act=TanhActivation(), - lstm_layer_attr=ExtraLayerAttribute(error_clipping_threshold=50)) + state_act=TanhActivation()) return lstm_output From 8bc522a1cabe4a0149315ed294a7fc57bf48e85b Mon Sep 17 00:00:00 2001 From: dangqingqing Date: Wed, 26 Apr 2017 14:22:15 +0800 Subject: [PATCH 06/15] release 0.10.0 note --- RELEASE.md | 13 +++++++++++++ 1 file changed, 13 insertions(+) diff --git a/RELEASE.md b/RELEASE.md index 11b40cf7a8..c45fcedb02 100644 --- a/RELEASE.md +++ b/RELEASE.md @@ -5,6 +5,10 @@ * Support rectangle input for CNN. * Support stride pooling for seqlastin and seqfirstin. * Expose seq_concat_layer/seq_reshape_layer in `trainer_config_helpers`. +* Add dataset package + - CIFAR, MNIST, IMDB, WMT14, CONLL05, movielens, imikolov. +* Add Priorbox layer for Single Shot Multibox Detection. +* Add smooth L1 cost. ## Improvements @@ -13,6 +17,12 @@ * Add Travis-CI for checking dead links. * Add a example for explaining sparse_vector. * Add Relu in layer_math.py +* Simplify data processing flow for quick start. +* Support CUDNN Deconv. +* Add data feeder for v2 API. +* Support predicting the samples from sys.stdin for sentiment demo. +* Provide multi-proccess interface for image preprocessing. +* Add benchmark document for v1 API. ## Bug Fixes @@ -21,6 +31,9 @@ * Fix LogActivation which is not defined. * Fix bug when run test_layerHelpers multiple times. * Fix protobuf size limit on seq2seq demo. +* Fix bug for dataprovider converter in GPU mode. +* Fix bug in GatedRecurrentLayer which only occurs in predicting or `job=test` mode. +* Fix bug for BatchNorm when testing more than models in test mode. # Release v0.9.0 From 219d9d51d1ac01791570647c5778c23876acaf97 Mon Sep 17 00:00:00 2001 From: Yu Yang Date: Wed, 26 Apr 2017 18:58:03 +0800 Subject: [PATCH 07/15] Fix document search in sphinx * It because we using a old version of theme, but sphinx is up to date. Manually add field in layout.html. * Fix #1904 --- doc_theme/templates/layout.html | 3 ++- 1 file changed, 2 insertions(+), 1 deletion(-) diff --git a/doc_theme/templates/layout.html b/doc_theme/templates/layout.html index 034740369e..5a12a01394 100644 --- a/doc_theme/templates/layout.html +++ b/doc_theme/templates/layout.html @@ -168,7 +168,8 @@ VERSION:'{{ release|e }}', COLLAPSE_INDEX:false, FILE_SUFFIX:'{{ '' if no_search_suffix else file_suffix }}', - HAS_SOURCE: {{ has_source|lower }} + HAS_SOURCE: {{ has_source|lower }}, + SOURCELINK_SUFFIX: ".txt", }; {%- for scriptfile in script_files %} From 4dafa6987c89a6546c8eacfa8c49e2fa3404b279 Mon Sep 17 00:00:00 2001 From: qijun Date: Wed, 26 Apr 2017 21:14:38 +0800 Subject: [PATCH 08/15] fix gru_step_naive_layer name --- python/paddle/trainer_config_helpers/layers.py | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/python/paddle/trainer_config_helpers/layers.py b/python/paddle/trainer_config_helpers/layers.py index 635e280ca5..3a0c5cb27c 100755 --- a/python/paddle/trainer_config_helpers/layers.py +++ b/python/paddle/trainer_config_helpers/layers.py @@ -3089,7 +3089,7 @@ def gru_step_layer(input, @wrap_param_attr_default() @wrap_act_default(param_names=['gate_act'], act=SigmoidActivation()) @wrap_act_default(act=TanhActivation()) -@wrap_name_default('gru_step') +@wrap_name_default('gru_step_naive') @layer_support(ERROR_CLIPPING, DROPOUT) def gru_step_naive_layer(input, output_mem, From d246d20f76680542c7c21d30fe739b75d658ac99 Mon Sep 17 00:00:00 2001 From: Yu Yang Date: Thu, 27 Apr 2017 13:43:06 +0800 Subject: [PATCH 09/15] Disable some unit tests when PYTHON or SWIG_PY are not enabled. * When SWIG_PY is not enabled, paddle.v2 package cannot be used. * When PYTHON is not enabled, PyDataProvider cannot be used. Fix issue #1920 --- paddle/trainer/tests/CMakeLists.txt | 19 +++++++++++-------- python/CMakeLists.txt | 9 ++++++--- 2 files changed, 17 insertions(+), 11 deletions(-) diff --git a/paddle/trainer/tests/CMakeLists.txt b/paddle/trainer/tests/CMakeLists.txt index c5c76a030d..08b2d8a38e 100644 --- a/paddle/trainer/tests/CMakeLists.txt +++ b/paddle/trainer/tests/CMakeLists.txt @@ -17,14 +17,17 @@ add_test(NAME test_Trainer WORKING_DIRECTORY ${PROJ_ROOT}/paddle/) ############### test_TrainerOnePass ########################## -add_unittest_without_exec(test_TrainerOnePass - test_TrainerOnePass.cpp) -add_test(NAME test_TrainerOnePass - COMMAND ${PROJ_ROOT}/paddle/.set_python_path.sh -d - ${PROJ_ROOT}/python/:${PROJ_ROOT}/paddle/trainer/tests - ${PROJ_ROOT}/paddle/.set_port.sh -p port ${CMAKE_CURRENT_BINARY_DIR}/test_TrainerOnePass - WORKING_DIRECTORY ${PROJ_ROOT}/paddle/) - +if(WITH_PYTHON) + # only run test_TrainerOnePass when PYTHON is enabled, because train one pass + # is using PyDataProvider2. + add_unittest_without_exec(test_TrainerOnePass + test_TrainerOnePass.cpp) + add_test(NAME test_TrainerOnePass + COMMAND ${PROJ_ROOT}/paddle/.set_python_path.sh -d + ${PROJ_ROOT}/python/:${PROJ_ROOT}/paddle/trainer/tests + ${PROJ_ROOT}/paddle/.set_port.sh -p port ${CMAKE_CURRENT_BINARY_DIR}/test_TrainerOnePass + WORKING_DIRECTORY ${PROJ_ROOT}/paddle/) +endif() ################ test_CompareTwoNets ###################### add_unittest_without_exec(test_CompareTwoNets test_CompareTwoNets.cpp) diff --git a/python/CMakeLists.txt b/python/CMakeLists.txt index e7a0895533..bfa19d5ecc 100644 --- a/python/CMakeLists.txt +++ b/python/CMakeLists.txt @@ -24,9 +24,12 @@ add_custom_target(paddle_python ALL DEPENDS ${OUTPUT_DIR}/.timestamp) add_subdirectory(paddle/trainer_config_helpers/tests) -add_subdirectory(paddle/v2/tests) -add_subdirectory(paddle/v2/reader/tests) -add_subdirectory(paddle/v2/plot/tests) +if (WITH_SWIG_PY) + # enable v2 API unittest only when paddle swig api is compiled + add_subdirectory(paddle/v2/tests) + add_subdirectory(paddle/v2/reader/tests) + add_subdirectory(paddle/v2/plot/tests) +endif() install(DIRECTORY ${CMAKE_CURRENT_BINARY_DIR}/dist/ DESTINATION opt/paddle/share/wheels From 437c15ae6f10bc04462a1865b4d5a5a3ffd53c1e Mon Sep 17 00:00:00 2001 From: livc Date: Tue, 25 Apr 2017 17:39:53 +0800 Subject: [PATCH 10/15] pass pre-commit --- doc/howto/dev/contribute_to_paddle_cn.md | 222 +++++++++++++---------- 1 file changed, 131 insertions(+), 91 deletions(-) diff --git a/doc/howto/dev/contribute_to_paddle_cn.md b/doc/howto/dev/contribute_to_paddle_cn.md index ee1b3213ea..87f214e6be 100644 --- a/doc/howto/dev/contribute_to_paddle_cn.md +++ b/doc/howto/dev/contribute_to_paddle_cn.md @@ -1,130 +1,170 @@ -# 如何贡献代码 - -我们真诚地感谢您的贡献，欢迎通过 GitHub 的 fork 和 pull request 流程来提交代码。 - -## 代码要求 -- 你的代码必须完全遵守 [doxygen](http://www.stack.nl/~dimitri/doxygen/) 的样式。 -- 确保编译器选项 WITH\_STYLE\_CHECK 已打开，并且编译能通过代码样式检查。 -- 所有代码必须具有单元测试。 -- 通过所有单元测试。 - -以下教程将指导您提交代码。 - -## [Fork](https://help.github.com/articles/fork-a-repo/) - -跳转到[PaddlePaddle](https://github.com/PaddlePaddle/Paddle) GitHub首页，然后单击 `Fork` 按钮。 +# Git 开发指南 + +这个指南将完成一次完整的代码贡献流程。 + +## Fork + +首先 Fork ，生成自己目录下的仓库，比如 。 ## 克隆（Clone） -Paddle 目前使用[git流分支模型](http://nvie.com/posts/a-successful-git-branching-model/)进行开发，测试，发行和维护。 -**develop** 是主分支，其他用户分支是特征分支（feature branches）。 -一旦你创建了一个fork，你可以使用你最喜欢的 git 客户端克隆你的仓库（repo）或只是直接在命令行输入： -```shell -# 克隆 fork 到本地 -git clone --branch develop https://github.com/USERNAME/Paddle.git -``` -如果你的仓库不包含 **develop** 分支，你只需自己创建它。 - -```shell -git clone https://github.com/USERNAME/Paddle.git Paddle -cd Paddle -git checkout -b develop # 创建 develop 分支 -git remote add upstream https://github.com/PaddlePaddle/Paddle.git # 添加 upstream 到 baidu/Paddle -git pull upstream develop # 更新 upstream +## 创建本地分支 + +所有的 feature 和 bug_fix 的开发工作都应该在一个新的分支上完成，一般从 `develop` 分支上创建新分支。 + +```bash +# （从当前分支）创建名为 MY_COOL_STUFF_BRANCH 的新分支 +➜ git branch MY_COOL_STUFF_BRANCH + +# 切换到这个分支上 +➜ git checkout MY_COOL_STUFF_BRANCH ``` -然后你可以通过做一个本地开发分支开始开发 +也可以通过 `git checkout -b` 一次性创建并切换分支。 -```shell -git checkout -b MY_COOL_STUFF_BRANCH +```bash +➜ git checkout -b MY_COOL_STUFF_BRANCH ``` -## 使用 `pre-commit` 钩子 +值得注意的是，在 checkout 之前，需要保持当前分支目录 clean，否则会把 untracked 的文件也带到新分支上，这可以通过 `git status` 查看。 + +## 开始开发 -Paddle 开发人员使用 [pre-commit](http://pre-commit.com/) 工具来管理git预提交钩子。 它可以帮助我们格式化源代码（cpp，python），在提交前检查一些基本事宜（每个文件只有一个 EOL -，git 中不要添加大文件）。 `pre-commit`测试是 Travis-CI 中单元测试的一部分，不满足钩子 -的 PR 不能提交代码到 Paddle。 +在本例中，我删除了 README.md 中的一行，并创建了一个新文件。 -你可以通过 `pip install pre-commit` 安装 [pre-commit](http://pre-commit.com/)， -目前 Paddle 使用 `clang-format` 来调整C/C++源代码格式。请确保 clang-format 版本在3.8以上。 +通过 `git status` 查看当前状态，这会提示当前目录的一些变化，同时也可以通过 `git diff` 查看文件具体被修改的内容。 -然后只需在 Paddle clone 目录中运行 `pre-commit install` 。当你 -提交你的代码时，pre-commit 钩子会检查本地代码是否存在 -不适合提交的东西，等等。 +```bash +➜ git status +On branch test +Changes not staged for commit: + (use "git add ..." to update what will be committed) + (use "git checkout -- ..." to discard changes in working directory) -## 提交（Commit） + modified: README.md -提交你的代码： +Untracked files: + (use "git add ..." to include in what will be committed) -```shell -# 显示工作树状态 -git status -# 添加修改过的文件 -git add xx -env EDITOR=vim git commit # 你可以用 vim/nano/emacs 写下你的注释 + test + +no changes added to commit (use "git add" and/or "git commit -a") ``` -提交信息的第一行是标题，其他行可以添加一些细节（如果有必要的话）。 -## 保持 Fork 状态最新 +## 提交（commit） + +接下来我们取消对 README.md 文件的改变，然后提交新添加的 test 文件。 -在拉（pull）你的请求（request）之前，你应该从最新的 PaddlePaddle 同步代码。 -为此，你需要首先添加远程（remote）： +```bash +➜ git checkout -- README.md +➜ git status +On branch test +Untracked files: + (use "git add ..." to include in what will be committed) -```shell -# 观察当前远程仓库配置 -git remote -v -# 添加上游（upstream）仓库 -git remote add upstream https://github.com/PaddlePaddle/Paddle.git -# 验证新的 upstream -git remote -v + test + +nothing added to commit but untracked files present (use "git add" to track) +➜ git add test ``` -用最新的 upstream 更新你的 fork： +Paddle 使用 [pre-commit](http://pre-commit.com) 完成代码风格检查的自动化，它会在每次 commit 时自动检查代码是否符合规范，并检查一些基本事宜，因此我们首先安装并在当前目录运行它。 -```shell -git pull --rebase upstream develop +```bash +➜ pip install pre-commit +➜ pre-commit install ``` -如果本地没有提交，git 将简单地执行快进。但是，如果你一直在做一些改变（绝大多数情况下不应该），你可能要处理冲突。 -现在，你的本地主分支与上游修改的一致并是最新的。 +Git 每次提交代码，都需要写提交说明，这可以让其他人知道这次提交做了哪些改变，这可以通过`git commit -m` 完成。 + +```bash +➜ git commit -m "add test file" +CRLF end-lines remover...............................(no files to check)Skipped +yapf.................................................(no files to check)Skipped +Check for added large files..............................................Passed +Check for merge conflicts................................................Passed +Check for broken symlinks................................................Passed +Detect Private Key...................................(no files to check)Skipped +Fix End of Files.....................................(no files to check)Skipped +clang-formater.......................................(no files to check)Skipped +[MY_COOL_STUFF_BRANCH c703c041] add test file + 1 file changed, 0 insertions(+), 0 deletions(-) + create mode 100644 233 +``` + +## 保持本地仓库最新 + +在准备发起 Pull Request 之前，需要同步原仓库（）最新的代码。 + +首先通过 `git remote` 查看当前远程仓库的名字。 -## 推送（Push）到 GitHub +```bash +➜ git remote +origin +➜ git remote -v +origin https://github.com/USERNAME/Paddle (fetch) +origin https://github.com/USERNAME/Paddle (push) +``` + +这里 origin 是我们 clone 的远程仓库的名字，也就是自己用户名下的 Paddle，接下来我们创建一个原始 Paddle 仓库的远程主机，命名为 upstream。 -```shell -# 在 GitHub 上 push 你的仓库 -git push -u origin MY_COOL_STUFF_BRANCH # 创建远程分支 MY_COOL_STUFF_BRANCH 到 origin. +```bash +➜ git remote add upstream https://github.com/PaddlePaddle/Paddle +➜ git remote +origin +upstream ``` -## 拉取请求（Pull Request） +获取 upstream 的最新代码并更新当前分支。 -转到 GitHub上 你 fork 的页面，选择你的开发分支并单击 **pull request 按钮**。 +```bash +➜ git fetch upstream +➜ git pull --rebase upstream develop +``` -## 使用最新版本更新你的 pull 请求 +## Push 到远程仓库 -在代码审查（code review）期间，由于 baidu/Paddle 中新的提交导致你的 pull 请求可能会失效。如果没有冲突，GitHub允许自动更新。 你可以点击 pull request 页面中的“更新分支（Update Branch）”按钮。 但是如果存在代码冲突，你需要手动进行更新。你需要在本地仓库执行如下命令： +将本地的修改推送到 GitHub 上，也就是 https://github.com/USERNAME/Paddle。 -```shell -git checkout MY_COOL_STUFF_BRANCH -git pull upstream develop -# 你可能需要根据git提示解决冲突 -# 创建并测试你的代码 -git push origin MY_COOL_STUFF_BRANCH +```bash +# 推送到远程仓库 origin 的 MY_COOL_STUFF_BRANCH 分支上 +➜ git push origin MY_COOL_STUFF_BRANCH ``` -现在你的 Pull Request 是最新的了。 -## 修改你的 pull request +## 建立 Issue 并完成 PR + +建立一个 Issue 描述问题，记录它的编号。 + +在 Push 新分支后， https://github.com/USERNAME/Paddle 中会出现新分支提示，点击绿色按钮发起 PR。 + +![](https://ws1.sinaimg.cn/large/9cd77f2egy1fez1jq9mwdj21js04yq3m.jpg) + +选择目标分支： + +![](https://ws1.sinaimg.cn/large/9cd77f2egy1fez1ku4a5vj21am04st9l.jpg) -当根据审阅者的意见修改 pull 请求时，请使用“git commit”而不是“git commit --amend”来提交更改，以便审阅者可以看到新的请求和旧的请求之间的区别。 +在 PR 的说明中，填写 `solve #Issue编号` 可以在这个 PR 被 merge 后，自动关闭对应的 Issue，具体请见 。 -可能的命令是 +接下来等待 review，如果有需要修改的地方，参照上述步骤更新 origin 中的对应分支即可。 -```shell -git checkout MY_COOL_STUFF_BRANCH -git pull upstream develop # 将本地更新到最新的代码库 -# 可能会发生一些冲突 -# 开始开发吧！ -env EDITOR=vim git commit # 添加修改日志 -git push origin MY_COOL_STUFF_BRANCH +## 删除远程分支 + +在 PR 被 merge 进主仓库后，我们可以在 PR 的页面删除远程仓库的分支。 + +![](https://ws1.sinaimg.cn/large/9cd77f2egy1fez1pkqohzj217q05c0tk.jpg) + +## 删除本地分支 + +最后，删除本地分支。 + +```bash +# 切换到 develop 分支 +git checkout develop + +# 删除 MY_COOL_STUFF_BRANCH 分支 +git branch -D MY_COOL_STUFF_BRANCH ``` + +至此，我们就完成了一次代码贡献的过程。 From f1a97b8fa668d830d94dc15fd36719eadefecfa1 Mon Sep 17 00:00:00 2001 From: livc Date: Tue, 25 Apr 2017 17:50:25 +0800 Subject: [PATCH 11/15] update --- doc/howto/dev/contribute_to_paddle_cn.md | 25 +++++++++++++++++++----- 1 file changed, 20 insertions(+), 5 deletions(-) diff --git a/doc/howto/dev/contribute_to_paddle_cn.md b/doc/howto/dev/contribute_to_paddle_cn.md index 87f214e6be..c95d034c98 100644 --- a/doc/howto/dev/contribute_to_paddle_cn.md +++ b/doc/howto/dev/contribute_to_paddle_cn.md @@ -1,18 +1,33 @@ -# Git 开发指南 +# 如何贡献代码 -这个指南将完成一次完整的代码贡献流程。 +我们真诚地感谢您的贡献，欢迎通过 GitHub 的 fork 和 pull request 流程来提交代码。 -## Fork +## 代码要求 +- 你的代码必须完全遵守 [doxygen](http://www.stack.nl/~dimitri/doxygen/) 的样式。 +- 确保编译器选项 WITH\_STYLE\_CHECK 已打开，并且编译能通过代码样式检查。 +- 所有代码必须具有单元测试。 +- 通过所有单元测试。 -首先 Fork ，生成自己目录下的仓库，比如 。 +以下教程将指导您提交代码。 +## [Fork](https://help.github.com/articles/fork-a-repo/) + +跳转到[PaddlePaddle](https://github.com/PaddlePaddle/Paddle) GitHub首页，然后单击 `Fork` 按钮，生成自己目录下的仓库，比如 。 ## 克隆（Clone） +将远程仓库 clone 到本地。 + +```bash +➜ git clone https://github.com/USERNAME/Paddle +➜ cd Paddle +``` ## 创建本地分支 -所有的 feature 和 bug_fix 的开发工作都应该在一个新的分支上完成，一般从 `develop` 分支上创建新分支。 +Paddle 目前使用[Git流分支模型](http://nvie.com/posts/a-successful-git-branching-model/)进行开发，测试，发行和维护。**develop** 是主分支，其他用户分支是特征分支（feature branches）。 + +所有的 feature 和 bug fix 的开发工作都应该在一个新的分支上完成，一般从 `develop` 分支上创建新分支。 ```bash # （从当前分支）创建名为 MY_COOL_STUFF_BRANCH 的新分支 From 73237d375fc834ead1191fbb65226cdddb894b99 Mon Sep 17 00:00:00 2001 From: livc Date: Wed, 26 Apr 2017 21:24:57 +0800 Subject: [PATCH 12/15] update doc as comments --- doc/howto/dev/contribute_to_paddle_cn.md | 104 +++++++++++++++-------- 1 file changed, 69 insertions(+), 35 deletions(-) diff --git a/doc/howto/dev/contribute_to_paddle_cn.md b/doc/howto/dev/contribute_to_paddle_cn.md index c95d034c98..64227352c3 100644 --- a/doc/howto/dev/contribute_to_paddle_cn.md +++ b/doc/howto/dev/contribute_to_paddle_cn.md @@ -3,8 +3,8 @@ 我们真诚地感谢您的贡献，欢迎通过 GitHub 的 fork 和 pull request 流程来提交代码。 ## 代码要求 -- 你的代码必须完全遵守 [doxygen](http://www.stack.nl/~dimitri/doxygen/) 的样式。 -- 确保编译器选项 WITH\_STYLE\_CHECK 已打开，并且编译能通过代码样式检查。 +- 代码注释请遵守 [Doxygen](http://www.stack.nl/~dimitri/doxygen/) 的样式。 +- 确保编译器选项 `WITH_STYLE_CHECK` 已打开，并且编译能通过代码样式检查。 - 所有代码必须具有单元测试。 - 通过所有单元测试。 @@ -15,7 +15,7 @@ ## 克隆（Clone） -将远程仓库 clone 到本地。 +将远程仓库 clone 到本地： ```bash ➜ git clone https://github.com/USERNAME/Paddle @@ -25,25 +25,30 @@ ## 创建本地分支 -Paddle 目前使用[Git流分支模型](http://nvie.com/posts/a-successful-git-branching-model/)进行开发，测试，发行和维护。**develop** 是主分支，其他用户分支是特征分支（feature branches）。 +Paddle 目前使用[Git流分支模型](http://nvie.com/posts/a-successful-git-branching-model/)进行开发，测试，发行和维护，具体请参考 [Paddle 分支规范](https://github.com/PaddlePaddle/Paddle/blob/develop/doc/design/releasing_process.md#paddle-分支规范)。 所有的 feature 和 bug fix 的开发工作都应该在一个新的分支上完成，一般从 `develop` 分支上创建新分支。 -```bash -# （从当前分支）创建名为 MY_COOL_STUFF_BRANCH 的新分支 -➜ git branch MY_COOL_STUFF_BRANCH +使用 `git checkout -b` 创建并切换到新分支。 -# 切换到这个分支上 -➜ git checkout MY_COOL_STUFF_BRANCH +```bash +➜ git checkout -b my-cool-stuff ``` -也可以通过 `git checkout -b` 一次性创建并切换分支。 +值得注意的是，在 checkout 之前，需要保持当前分支目录 clean，否则会把 untracked 的文件也带到新分支上，这可以通过 `git status` 查看。 + +## 使用 `pre-commit` 钩子 + +Paddle 开发人员使用 [pre-commit](http://pre-commit.com/) 工具来管理 Git 预提交钩子。 它可以帮助我们格式化源代码（C++，Python），在提交（commit）前自动检查一些基本事宜（如每个文件只有一个 EOL，Git 中不要添加大文件等）。 + +`pre-commit`测试是 Travis-CI 中单元测试的一部分，不满足钩子的 PR 不能被提交到 Paddle，首先安装并在当前目录运行它： ```bash -➜ git checkout -b MY_COOL_STUFF_BRANCH +➜ pip install pre-commit +➜ pre-commit install ``` -值得注意的是，在 checkout 之前，需要保持当前分支目录 clean，否则会把 untracked 的文件也带到新分支上，这可以通过 `git status` 查看。 +Paddle 使用 `clang-format` 来调整 C/C++ 源代码格式，请确保 `clang-format` 版本在 3.8 以上。 ## 开始开发 @@ -68,6 +73,36 @@ Untracked files: no changes added to commit (use "git add" and/or "git commit -a") ``` +## 构建和测试 + +编译 PaddlePaddle 的源码以及生成文档需要多种开发工具。为了方便大家，我们的标准开发流程是把这些工具都装进一个Docker image，称为*开发镜像*，通常名字是 `paddle:dev`。然后所有用 `cmake && make` 的地方（比如IDE配置里）都用 `docker run paddle:dev`来代替。 + +如要build这个开发镜像，在源码目录树的根目录中运行： + +```bash +➜ docker build -t paddle:dev . +``` + +随后可以用这个开发镜像开build PaddlePaddle的源码。比如如果要build一个不依赖GPU，但是支持AVX指令集，并且包括unit tests的PaddlePaddle，可以： + +```bash +➜ docker run -v $(pwd):/paddle -e "WITH_GPU=OFF" -e "WITH_AVX=ON" -e "WITH_TEST=ON" paddle:dev +``` + +这个过程除了编译PaddlePaddle为 `./build/libpaddle.so`，并且输出一个 `./build/paddle.deb`文件之外，还会输出一个 `build/Dockerfile`。我们只需要运行下面命令把编译好的PaddlePaddle打包成一个*生产镜像*（`paddle:prod`）： + +```bash +➜ docker build -t paddle:prod -f build/Dockerfile . +``` + +如果要运行所有的单元测试，可以用如下命令： + +```bash +➜ docker run -it -v $(pwd):/paddle paddle:dev bash -c "cd /paddle/build && ctest" +``` + +关于构建和测试的更多信息，请参见[这篇文档](https://github.com/PaddlePaddle/Paddle/blob/develop/doc/getstarted/build_and_install/docker_install_cn.rst)。 + ## 提交（commit） 接下来我们取消对 README.md 文件的改变，然后提交新添加的 test 文件。 @@ -85,17 +120,10 @@ nothing added to commit but untracked files present (use "git add" to track) ➜ git add test ``` -Paddle 使用 [pre-commit](http://pre-commit.com) 完成代码风格检查的自动化，它会在每次 commit 时自动检查代码是否符合规范，并检查一些基本事宜，因此我们首先安装并在当前目录运行它。 +Git 每次提交代码，都需要写提交说明，这可以让其他人知道这次提交做了哪些改变，这可以通过`git commit` 完成。 ```bash -➜ pip install pre-commit -➜ pre-commit install -``` - -Git 每次提交代码，都需要写提交说明，这可以让其他人知道这次提交做了哪些改变，这可以通过`git commit -m` 完成。 - -```bash -➜ git commit -m "add test file" +➜ git commit CRLF end-lines remover...............................(no files to check)Skipped yapf.................................................(no files to check)Skipped Check for added large files..............................................Passed @@ -104,7 +132,7 @@ Check for broken symlinks................................................Passed Detect Private Key...................................(no files to check)Skipped Fix End of Files.....................................(no files to check)Skipped clang-formater.......................................(no files to check)Skipped -[MY_COOL_STUFF_BRANCH c703c041] add test file +[my-cool-stuff c703c041] add test file 1 file changed, 0 insertions(+), 0 deletions(-) create mode 100644 233 ``` @@ -136,7 +164,7 @@ upstream ```bash ➜ git fetch upstream -➜ git pull --rebase upstream develop +➜ git pull upstream develop ``` ## Push 到远程仓库 @@ -144,23 +172,23 @@ upstream 将本地的修改推送到 GitHub 上，也就是 https://github.com/USERNAME/Paddle。 ```bash -# 推送到远程仓库 origin 的 MY_COOL_STUFF_BRANCH 分支上 -➜ git push origin MY_COOL_STUFF_BRANCH +# 推送到远程仓库 origin 的 my-cool-stuff 分支上 +➜ git push origin my-cool-stuff ``` -## 建立 Issue 并完成 PR +## 建立 Issue 并完成 Pull Request -建立一个 Issue 描述问题，记录它的编号。 +建立一个 Issue 描述问题，并记录它的编号。 -在 Push 新分支后， https://github.com/USERNAME/Paddle 中会出现新分支提示，点击绿色按钮发起 PR。 +切换到所建分支，然后点击 `New pull request`。 -![](https://ws1.sinaimg.cn/large/9cd77f2egy1fez1jq9mwdj21js04yq3m.jpg) +screen shot 2017-04-26 at 9 09 28 pm 选择目标分支： -![](https://ws1.sinaimg.cn/large/9cd77f2egy1fez1ku4a5vj21am04st9l.jpg) +screen shot 2017-04-26 at 9 11 52 pm -在 PR 的说明中，填写 `solve #Issue编号` 可以在这个 PR 被 merge 后，自动关闭对应的 Issue，具体请见 。 +在 PR 的描述说明中，填写 `solve #Issue编号` 可以在这个 PR 被 merge 后，自动关闭对应的 Issue，具体请见 。 接下来等待 review，如果有需要修改的地方，参照上述步骤更新 origin 中的对应分支即可。 @@ -168,7 +196,13 @@ upstream 在 PR 被 merge 进主仓库后，我们可以在 PR 的页面删除远程仓库的分支。 -![](https://ws1.sinaimg.cn/large/9cd77f2egy1fez1pkqohzj217q05c0tk.jpg) +screen shot 2017-04-26 at 9 18 24 pm + +也可以使用 `git push origin :分支名` 删除远程分支，如： + +```bash +➜ git push origin :my-cool-stuff +``` ## 删除本地分支 @@ -176,10 +210,10 @@ upstream ```bash # 切换到 develop 分支 -git checkout develop +➜ git checkout develop -# 删除 MY_COOL_STUFF_BRANCH 分支 -git branch -D MY_COOL_STUFF_BRANCH +# 删除 my-cool-stuff 分支 +➜ git branch -D my-cool-stuff ``` 至此，我们就完成了一次代码贡献的过程。 From 0f8ff87e13ecbb2074821c2a70d9d4f5d431aadc Mon Sep 17 00:00:00 2001 From: livc Date: Thu, 27 Apr 2017 14:44:22 +0800 Subject: [PATCH 13/15] fix typo --- doc/howto/dev/contribute_to_paddle_cn.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/doc/howto/dev/contribute_to_paddle_cn.md b/doc/howto/dev/contribute_to_paddle_cn.md index 64227352c3..775938612e 100644 --- a/doc/howto/dev/contribute_to_paddle_cn.md +++ b/doc/howto/dev/contribute_to_paddle_cn.md @@ -188,7 +188,7 @@ upstream screen shot 2017-04-26 at 9 11 52 pm -在 PR 的描述说明中，填写 `solve #Issue编号` 可以在这个 PR 被 merge 后，自动关闭对应的 Issue，具体请见 。 +在 PR 的描述说明中，填写 `resolve #Issue编号` 可以在这个 PR 被 merge 后，自动关闭对应的 Issue，具体请见 。 接下来等待 review，如果有需要修改的地方，参照上述步骤更新 origin 中的对应分支即可。 From fe496f171db8d72e27c32e20ff75271fcb348d75 Mon Sep 17 00:00:00 2001 From: Luo Tao Date: Thu, 27 Apr 2017 15:01:35 +0800 Subject: [PATCH 14/15] auto deploy doc on release branch, and refine doc --- doc/getstarted/index_cn.rst | 5 ++-- doc/getstarted/index_en.rst | 5 ++-- .../deep_model/rnn/hierarchical_layer_cn.rst | 28 +++++++++---------- doc/howto/deep_model/rnn/index_cn.rst | 1 - doc/howto/deep_model/rnn/index_en.rst | 5 ---- doc/howto/usage/k8s/k8s_basis_cn.md | 10 +++---- doc/index_cn.rst | 1 - doc/index_en.rst | 2 -- doc_theme/templates/layout.html | 3 -- paddle/scripts/travis/docs.sh | 1 + 10 files changed, 26 insertions(+), 35 deletions(-) diff --git a/doc/getstarted/index_cn.rst b/doc/getstarted/index_cn.rst index c6a4d3121c..cadf092f8f 100644 --- a/doc/getstarted/index_cn.rst +++ b/doc/getstarted/index_cn.rst @@ -2,7 +2,8 @@ ============ .. toctree:: - :maxdepth: 2 + :maxdepth: 1 build_and_install/index_cn.rst - basic_usage/index_cn.rst + +- `深度学习入门课程 `_ diff --git a/doc/getstarted/index_en.rst b/doc/getstarted/index_en.rst index 55d95d8015..9f771e93e8 100644 --- a/doc/getstarted/index_en.rst +++ b/doc/getstarted/index_en.rst @@ -2,7 +2,8 @@ GET STARTED ============ .. toctree:: - :maxdepth: 2 + :maxdepth: 1 build_and_install/index_en.rst - basic_usage/index_en.rst + +- `Deep Learning 101 `_ diff --git a/doc/howto/deep_model/rnn/hierarchical_layer_cn.rst b/doc/howto/deep_model/rnn/hierarchical_layer_cn.rst index 4b328fc9d3..79048e9248 100644 --- a/doc/howto/deep_model/rnn/hierarchical_layer_cn.rst +++ b/doc/howto/deep_model/rnn/hierarchical_layer_cn.rst @@ -19,18 +19,18 @@ 在 PaddlePaddle中，下面这些Layer能够接受双层序列作为输入，完成相应的计算。 -pooling_layer -============== +pooling +======== -pooling_layer 的使用示例如下，详细见 :ref:`api_trainer_config_helpers_layers_pooling_layer` 配置API。 +pooling 的使用示例如下，详细见 :ref:`api_v2.layer_pooling` 配置API。 .. code-block:: bash - seq_pool = pooling_layer(input=layer, - pooling_type=AvgPooling(), - agg_level=AggregateLevel.EACH_SEQUENCE) + seq_pool = pooling(input=layer, + pooling_type=pooling.Max(), + agg_level=AggregateLevel.EACH_SEQUENCE) -- `pooling_type` 目前支持两种，分别是：MaxPooling()和AvgPooling()。 +- `pooling_type` 目前支持两种，分别是：pooling.Max()和pooling.Avg()。 - `agg_level=AggregateLevel.EACH_TIMESTEP` 时（默认值）： @@ -47,7 +47,7 @@ pooling_layer 的使用示例如下，详细见 :ref:`api_trainer_config_helpers last_seq 和 first_seq ===================== -last_seq 的使用示例如下（ :ref:`api_trainer_config_helpers_layers_first_seq` 类似），详细见 :ref:`api_trainer_config_helpers_layers_last_seq` 配置API。 +last_seq 的使用示例如下（ :ref:`api_v2.layer_first_seq` 类似），详细见 :ref:`api_v2.layer_last_seq` 配置API。 .. code-block:: bash @@ -65,16 +65,16 @@ last_seq 的使用示例如下（ :ref:`api_trainer_config_helpers_layers_first_ - 输入：必须是一个双层序列 - 输出：一个单层序列，其中每个元素是双层序列中每个subseq最后一个（或第一个）元素。 -expand_layer -============ +expand +====== -expand_layer 的使用示例如下，详细见 :ref:`api_trainer_config_helpers_layers_expand_layer` 配置API。 +expand 的使用示例如下，详细见 :ref:`api_v2.layer_expand` 配置API。 .. code-block:: bash - expand = expand_layer(input=layer1, - expand_as=layer2, - expand_level=ExpandLevel.FROM_TIMESTEP) + ex = expand(input=layer1, + expand_as=layer2, + expand_level=ExpandLevel.FROM_TIMESTEP) - `expand_level=ExpandLevel.FROM_TIMESTEP` 时（默认值）： diff --git a/doc/howto/deep_model/rnn/index_cn.rst b/doc/howto/deep_model/rnn/index_cn.rst index 9ecab5594c..9e805ca851 100644 --- a/doc/howto/deep_model/rnn/index_cn.rst +++ b/doc/howto/deep_model/rnn/index_cn.rst @@ -4,7 +4,6 @@ RNN相关模型 .. toctree:: :maxdepth: 1 - rnn_config_cn.rst recurrent_group_cn.md hierarchical_layer_cn.rst hrnn_rnn_api_compare_cn.rst diff --git a/doc/howto/deep_model/rnn/index_en.rst b/doc/howto/deep_model/rnn/index_en.rst index 7adc79873d..13a153b05c 100644 --- a/doc/howto/deep_model/rnn/index_en.rst +++ b/doc/howto/deep_model/rnn/index_en.rst @@ -1,7 +1,2 @@ RNN Models ========== - -.. toctree:: - :maxdepth: 1 - - rnn_config_en.rst diff --git a/doc/howto/usage/k8s/k8s_basis_cn.md b/doc/howto/usage/k8s/k8s_basis_cn.md index 6278dacb17..4c3dc81ed3 100644 --- a/doc/howto/usage/k8s/k8s_basis_cn.md +++ b/doc/howto/usage/k8s/k8s_basis_cn.md @@ -14,7 +14,7 @@ - [*PersistentVolume*](https://kubernetes.io/docs/user-guide/persistent-volumes/): 和[*PersistentVolumeClaim*](https://kubernetes.io/docs/user-guide/persistent-volumes/#persistentvolumeclaims)结合，将外部的存储服务在Kubernetes中描述成为统一的资源形式，便于存储资源管理和Pod引用。 -# 部署Kubernetes集群 +## 部署Kubernetes集群 Kubernetes提供了多种集群部署的方案，本文档内不重复介绍。这里给出集中常见的部署方法： @@ -25,7 +25,7 @@ Kubernetes提供了多种集群部署的方案，本文档内不重复介绍。 可以参考[这个表格](https://kubernetes.io/docs/getting-started-guides/#table-of-solutions)选择适合您的场景的合适方案。 -# 选择存储方案 +## 选择存储方案 容器不会保留在运行时生成的数据，job或者应用程序在容器中运行时生成的数据会在容器销毁时消失。为了完成分布式机器学习训练任务，需要有一个外部的存储服务来保存训练所需数据和训练输出。 常见的可选存储服务包括： @@ -35,9 +35,9 @@ Kubernetes提供了多种集群部署的方案，本文档内不重复介绍。 - [*Ceph*](http://docs.ceph.com/docs/master/): 分布式文件系统，支持rbd，POSIX API接口(ceph fs)和对象存储API，参考[这里](https://kubernetes.io/docs/user-guide/volumes/#rbd)。 - [*MooseFS*](https://moosefs.com/documentation.html): 一个分布式的存储系统。需要先挂载到服务器Node上再通过kubernetes hostPath Volume挂载到容器中。 -# 配置kubectl +## 配置kubectl -## 安装kubectl +### 安装kubectl ``` # OS X curl -LO https://storage.googleapis.com/kubernetes-release/release/$(curl -s https://storage.googleapis.com/kubernetes-release/release/stable.txt)/bin/darwin/amd64/kubectl @@ -49,7 +49,7 @@ curl -LO https://storage.googleapis.com/kubernetes-release/release/$(curl -s htt curl -LO https://storage.googleapis.com/kubernetes-release/release/$(curl -s https://storage.googleapis.com/kubernetes-release/release/stable.txt)/bin/windows/amd64/kubectl.exe ``` -## 配置kubectl访问你的kubernetes集群 +### 配置kubectl访问你的kubernetes集群 编辑`~/.kube/config`这个配置文件，修改`Master-IP`的地址。如果使用SSL认证，则需要配置`certificate-authority`和`users`中的用户证书。如果是使用非SSL方式访问（比如通过8080端口），也可以去掉这些证书的配置。 ``` diff --git a/doc/index_cn.rst b/doc/index_cn.rst index 460fedb565..9279bac7f4 100644 --- a/doc/index_cn.rst +++ b/doc/index_cn.rst @@ -5,7 +5,6 @@ PaddlePaddle 文档 :maxdepth: 1 getstarted/index_cn.rst - tutorials/index_cn.md howto/index_cn.rst api/index_cn.rst faq/index_cn.rst diff --git a/doc/index_en.rst b/doc/index_en.rst index 1d9cca7de7..168c7667c6 100644 --- a/doc/index_en.rst +++ b/doc/index_en.rst @@ -5,8 +5,6 @@ PaddlePaddle Documentation :maxdepth: 1 getstarted/index_en.rst - tutorials/index_en.md howto/index_en.rst api/index_en.rst about/index_en.rst - \ No newline at end of file diff --git a/doc_theme/templates/layout.html b/doc_theme/templates/layout.html index 352237b6e5..65e61c5f29 100644 --- a/doc_theme/templates/layout.html +++ b/doc_theme/templates/layout.html @@ -115,9 +115,6 @@
diff --git a/paddle/scripts/travis/docs.sh b/paddle/scripts/travis/docs.sh index c784293695..67b89adb4d 100755 --- a/paddle/scripts/travis/docs.sh +++ b/paddle/scripts/travis/docs.sh @@ -60,6 +60,7 @@ function deploy_docs() { deploy_docs "master" "." deploy_docs "develop" "./develop/" +deploy_docs "release/0.10.0" "./release/0.10.0/" # Check is there anything changed. set +e From 3681af2750fd3c1cabc6cf8f9a6ac65d3e71fcaf Mon Sep 17 00:00:00 2001 From: Luo Tao Date: Thu, 27 Apr 2017 18:07:31 +0800 Subject: [PATCH 15/15] add missing doc of v2 api --- python/paddle/v2/layer.py | 10 ++++++++++ 1 file changed, 10 insertions(+) diff --git a/python/paddle/v2/layer.py b/python/paddle/v2/layer.py index 384de9b9d5..89cca7acd3 100644 --- a/python/paddle/v2/layer.py +++ b/python/paddle/v2/layer.py @@ -356,6 +356,9 @@ def mixed(size=0, return MixedLayerV2(size, input, name, act, bias_attr, layer_attr) +mixed.__doc__ = conf_helps.mixed_layer.__doc__ + + class RecurrentLayerInput(Layer): def __init__(self, recurrent_name, index, parent_layers): parents_len = len(parent_layers) @@ -404,6 +407,8 @@ data.__name__ = 'data' AggregateLevel = conf_helps.layers.AggregateLevel ExpandLevel = conf_helps.layers.ExpandLevel memory = MemoryV2 +memory.__name__ = 'memory' +memory.__doc__ = conf_helps.memory.__doc__ def __layer_name_mapping__(inname): @@ -512,6 +517,9 @@ def recurrent_group(step, input, name=None): return retv +recurrent_group.__doc__ = conf_helps.recurrent_group.__doc__ + + @wrap_name_default() def beam_search(step, input, @@ -579,6 +587,8 @@ def beam_search(step, return tmp +beam_search.__doc__ = conf_helps.beam_search.__doc__ + __projection_names__ = filter(lambda x: x.endswith('_projection'), dir(conf_helps))