Commit Graph

415 Commits (6ebc6bf5337bb7b30c379bb242d00ae15f53ee82)

Author SHA1 Message Date
Yu Yang 6ebc6bf533 ReorganizeCode
7 years ago
Yu Yang a478a11e0b NCCL Guard for bcast
7 years ago
Yu Yang f2685bed81 Clean code
7 years ago
Yu Yang 41ad632341 Add NCCL Group Guard
7 years ago
Yu Yang 99fe83a020 Move nccl helper
7 years ago
Yu Yang 90f980167d Do not wait computation stream
7 years ago
Yu Yang 7ac969b88c Debug
7 years ago
Yu Yang 599f7a87ba Refine code
7 years ago
Yu Yang 43e54079a8 Debug code
7 years ago
Yu Yang e335f01826 Add more logs
7 years ago
Yu Yang 82693e7227 Wait nccl all reduce
7 years ago
Yu Yang eb0a580e78 Add enforce
7 years ago
Yu Yang 65bc7d17d5 Add mtx to ncclAllReduce
7 years ago
Yu Yang d42117e742 Set NumThreads
7 years ago
Yu Yang ba227df941 Expose num_threads
7 years ago
Yu Yang 1533bf12df Use event and single thread
7 years ago
Yu Yang 176277b824 Add log
7 years ago
Yu Yang ed7727e8f0 Fix bug in system allocator
7 years ago
Yu Yang 95a0d7c7c1 Illegal memory access
7 years ago
Yu Yang 798e6907b4 Change mem order
7 years ago
Yu Yang 1c2b6100b0 Add
7 years ago
Yu Yang a0494f8e55 Mutex lock wait
7 years ago
Yu Yang 4e43b71377 Add wait log
7 years ago
Yu Yang dbed123382 Debug
7 years ago
Yu Yang e53b6aba63 Use no thread
7 years ago
Yu Yang a8bd7b9809 Add log
7 years ago
Yu Yang 3c9cea597e Add more log
7 years ago
Yu Yang f8f1a963d9 Add debug code
7 years ago
Yu Yang fbbcedda01 Fix bug
7 years ago
Yu Yang 7643c2cbab Add flag for use event
7 years ago
Yu Yang ca4b3d2532 Use 12 threads
7 years ago
Yu Yang f251a58e85 Use base class manage events
7 years ago
Yu Yang 1dd216dc3b Wait bcast param
7 years ago
Yu Yang 4185dd48e4 Disable multi-thread
7 years ago
Yu Yang 631aa3d10a Wait all inputs ready
7 years ago
Yu Yang 9b1f4d5d62 After nccl add event
7 years ago
Yu Yang feb569f8ea Add log
7 years ago
Yu Yang 260cfe3b86 Stop Wait NCCL Stream
7 years ago
Yu Yang e025e284c6 Exchange wait op
7 years ago
Yu Yang 3238ce0672 Add wait
7 years ago
Yu Yang 8a9de67e17 Remove wait
7 years ago
Yu Yang d2cb3790e9 Wait all evernts
7 years ago
Yu Yang 4137bb4eda Add wait
7 years ago
Yu Yang 3da4159f88 Add run iter
7 years ago
Yu Yang d3c82c356e Wait multiple stream
7 years ago
Yu Yang c18c2f6ab0 Sync all computation streams at the end of run
7 years ago
Yu Yang c372ce2885 Add event for computational op
7 years ago
Yu Yang b94ffacbd7 SetDev
7 years ago
Yu Yang 99f85a9fbc Set dev
7 years ago
Yu Yang d26f093f9d Log
7 years ago