使用支持CUDA的MPI的要求

我想通过支持CUDA的MPI在不同的CUDA设备之间交换数据，如this article中所述。根据我的理解，下面的代码应该可以完成这项工作：

#include <mpi.h>

int main( int argc, char *argv[] )
{
  int rank;
  float *ptr = NULL;
  const size_t elements = 32;
  MPI_Status status;

  MPI_Init( NULL, NULL );
  MPI_Comm_rank( MPI_COMM_WORLD, &rank );
  cudaMalloc( (void**)&ptr, elements * sizeof(float) );

  if( rank == 0 )
    MPI_Send( ptr, elements, MPI_FLOAT, 1, 0, MPI_COMM_WORLD );
  if( rank == 1 )
    MPI_Recv( ptr, elements, MPI_FLOAT, 0, 0, MPI_COMM_WORLD, &status );

  cudaFree( ptr );
  MPI_Finalize();

  return 0;
}

遗憾的是，此程序在两个进程上执行时崩溃，并显示以下消息：

*** Process received signal ***
Signal: Segmentation fault (11)
Signal code: Address not mapped (1)
Failing at address: 0x210000
[ 0] /lib64/libc.so.6[0x39d94326a0]
[ 1] /lib64/libc.so.6(memcpy+0xd2)[0x39d9489742]
[ 2] /usr/lib64/openmpi/lib/libopen-pal.so.6(opal_convertor_pack+0x18e)[0x2b750326cb1e]
[ 3] /usr/lib64/openmpi/lib/openmpi/mca_btl_smcuda.so(mca_btl_smcuda_sendi+0x3dc)[0x2b7507c2252c]
[ 4] /usr/lib64/openmpi/lib/openmpi/mca_pml_ob1.so(+0x890f)[0x2b75086ec90f]
[ 5] /usr/lib64/openmpi/lib/openmpi/mca_pml_ob1.so(mca_pml_ob1_send+0x499)[0x2b75086ed939]
[ 6] /usr/lib64/openmpi/lib/libmpi.so.1(PMPI_Send+0x1dd)[0x2b7502d3ef8d]
[ 7] prog(main+0x98)[0x400d51]
[ 8] /lib64/libc.so.6(__libc_start_main+0xfd)[0x39d941ed5d]
[ 9] prog[0x400be9]
*** End of error message ***

我用的是OpenMPI 1.8.2和NVCC 6.5，据我所知，这两个版本都应该支持这个功能。

那么，我的问题是：我做错了什么？我是不是错过了什么要点？如果有任何关于如何获取最小工作示例的提示！

，我将不胜感激。

---

解决方案

我将简单总结一下讨论。代码正确，但可能会出现以下问题：

1. MPI尚未使用CUDA支持构建(请参阅@Robert Crovella回答)。这可以通过调用以下命令进行检查：

   ompi_info --parsable -l 9 --all | grep mpi_built_with_cuda_support:value

   万一一切正常，应该给出：

   mca:mpi:base:param:mpi_built_with_cuda_support:value:true

2. GPU的架构不支持该功能。需要费米或更高版本(请参阅@Christian Sarofeen的评论)

原来第二个问题适用于我的情况。