Commit Graph

199 Commits (21ee30595b5e60fe08a27d13d114fe86b6ba11af)

Author SHA1 Message Date
Yu Yang 5c333e4143 Add dctor for dev_ctx
8 years ago
Yu Yang 15f5f10ed5 AddInput/AddOutput for OpHandle
8 years ago
Yu Yang 5368e50d84 Reorganize code
8 years ago
Yu Yang fe7ed285d1 Extract NCCLCtxMap
8 years ago
Yu Yang 6ebc6bf533 ReorganizeCode
8 years ago
Yu Yang a478a11e0b NCCL Guard for bcast
8 years ago
Yu Yang f2685bed81 Clean code
8 years ago
Yu Yang 41ad632341 Add NCCL Group Guard
8 years ago
Yu Yang 99fe83a020 Move nccl helper
8 years ago
Yu Yang 90f980167d Do not wait computation stream
8 years ago
Yu Yang 7ac969b88c Debug
8 years ago
Yu Yang 599f7a87ba Refine code
8 years ago
Yu Yang 43e54079a8 Debug code
8 years ago
Yu Yang e335f01826 Add more logs
8 years ago
Yu Yang 82693e7227 Wait nccl all reduce
8 years ago
Yu Yang eb0a580e78 Add enforce
8 years ago
Yu Yang 65bc7d17d5 Add mtx to ncclAllReduce
8 years ago
Yu Yang ba227df941 Expose num_threads
8 years ago
Yu Yang 1533bf12df Use event and single thread
8 years ago
Yu Yang 95a0d7c7c1 Illegal memory access
8 years ago
Yu Yang 798e6907b4 Change mem order
8 years ago
Yu Yang 1c2b6100b0 Add
8 years ago
Yu Yang 4e43b71377 Add wait log
8 years ago
Yu Yang dbed123382 Debug
8 years ago
Yu Yang e53b6aba63 Use no thread
8 years ago
Yu Yang a8bd7b9809 Add log
8 years ago
Yu Yang 3c9cea597e Add more log
8 years ago
Yu Yang f8f1a963d9 Add debug code
8 years ago
Yu Yang fbbcedda01 Fix bug
8 years ago
Yu Yang 7643c2cbab Add flag for use event
8 years ago
Yu Yang ca4b3d2532 Use 12 threads
8 years ago
Yu Yang f251a58e85 Use base class manage events
8 years ago
Yu Yang 1dd216dc3b Wait bcast param
8 years ago
Yu Yang 4185dd48e4 Disable multi-thread
8 years ago
Yu Yang 631aa3d10a Wait all inputs ready
8 years ago
Yu Yang 9b1f4d5d62 After nccl add event
8 years ago
Yu Yang feb569f8ea Add log
8 years ago
Yu Yang 260cfe3b86 Stop Wait NCCL Stream
8 years ago
Yu Yang e025e284c6 Exchange wait op
8 years ago
Yu Yang 3238ce0672 Add wait
8 years ago
Yu Yang 8a9de67e17 Remove wait
8 years ago
Yu Yang d2cb3790e9 Wait all evernts
8 years ago
Yu Yang 4137bb4eda Add wait
8 years ago
Yu Yang 3da4159f88 Add run iter
8 years ago
Yu Yang d3c82c356e Wait multiple stream
8 years ago
Yu Yang c18c2f6ab0 Sync all computation streams at the end of run
8 years ago
Yu Yang c372ce2885 Add event for computational op
8 years ago
Yu Yang b94ffacbd7 SetDev
8 years ago
Yu Yang 99f85a9fbc Set dev
8 years ago
Yu Yang d26f093f9d Log
8 years ago
Yu Yang d55a03d916 Scale loss on place
8 years ago
Yu Yang 932364a275 Sync dev
8 years ago
Yu Yang dad7bdabd4 Add setDev
8 years ago
Yu Yang 7fd0d24e0c Add lgo
8 years ago
Yu Yang bade579826 Wait code
8 years ago
Yu Yang 4a330094f9 Add log
8 years ago
Yu Yang 9824e8f311 Scale loss op use event
8 years ago
Yu Yang 071043c388 Add paddle enforce
8 years ago
Yu Yang 8af57706e2 Only wait same device
8 years ago
Yu Yang 29cc9f308d SetDev for nccl
8 years ago
Yu Yang d7badb3ed2 Use event to sync stream
8 years ago
Yu Yang 1f53193a63 Use atomic code
8 years ago
Yu Yang c7beac1426 Add dummy var
8 years ago
Yu Yang 5fa535b717 Wait all thread done
8 years ago
Yu Yang 7bff02b2ca Change to pending op
8 years ago
Yu Yang 866f6f1be0 Debug
8 years ago
Yu Yang a5ba704de0 Counter
8 years ago
Yu Yang a87ce91c4b Use mtx
8 years ago
Yu Yang ea11a0a853 Use volitie
8 years ago
Yu Yang 515e516e77 Add more log
8 years ago
Yu Yang 1f063d0900 Memorder
8 years ago
Yu Yang b1cb8bbd40 Debug
8 years ago
Yu Yang b57b880b05 Debug
8 years ago
Yu Yang f3e983e499 Memory order
8 years ago
Yu Yang 36e0415220 Single Thread
8 years ago
Yu Yang 5957f28b86 Debug
8 years ago
Yu Yang f52714d391 Debug
8 years ago
Yu Yang 0023c3bcf5 Use atomic bool
8 years ago
Yu Yang 09935ab936 Debug
8 years ago
Yu Yang f8141d90c8 Debug
8 years ago
Yu Yang e18a269705 Add debug code
8 years ago
Yu Yang 9cb8f50302 Complete fetch op
8 years ago
Yu Yang 254d7ff4f5 Refactor local_scopes
8 years ago
Yu Yang b2c7a9b828 Wait by stream
8 years ago
Yu Yang e8a7e5d1e6 Update
8 years ago
Yu Yang 8f0590e7c5 Add ncclAllReduce
8 years ago
Yu Yang c15d2c9edc Update
8 years ago
Yu Yang d470763f6c Stash
8 years ago
Yu Yang 9fc0b596a9 Test more
8 years ago
Yu Yang 0ef9edf566 Stash
8 years ago
Yu Yang 8c9cd369dc Polish code style
8 years ago
Yu Yang 6f0dfd89a4 Single GPU ParallelExecutor complete
8 years ago
Yu Yang d84ddcf123 Stash
8 years ago
Yu Yang 193c0a7e43 Handle var hazard
8 years ago
Yu Yang 35744e7b36 Polish code
8 years ago
Yu Yang ae88fdefb7 Use thread pool
8 years ago
Yu Yang 692a0f7425 Better name
8 years ago
Yu Yang baef1124fb ParallelExecutor And dependency engine
8 years ago
Yang Yang 0621c327f1 init commit
8 years ago