本文介绍了MPI中的多点通信操作，包括allgather、allreduce、alltoall、scan和barrier。allgather是对gather的扩展，所有进程都能获取所有数据；allreduce在reduce基础上进行广播；alltoall实现数据矩阵转置；scan则进行部分累加并返回给对应进程；barrier用于全局同步，确保所有进程按顺序执行。注意在使用barrier时，因OS的IO缓冲可能导致预期输出顺序混乱，可通过flush解决。
在多点通信里我们已经学习了广播bcast,散播scatter,收集gather,规约reduce.
今天我们再来简略看一些可能更为少用的多点通信.
1.allgather
简单来说就是收集+广播.
gather中只有根进程会得到收集到的信息,而allgather则是所有进程都会得到收集到的信息,就相当于收集后再广播一次.
2.allreduce
reduce与allreduce的关系,和gather与allreduce类似.
也就是说,allreduce就是reduce之后得到的值会再广播一次,即allreduce=reduce+bcast.
扫一扫
6227
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
