并行计算程序怎么运行

并行计算程序如何运行
用MPI写的并行计算程序如何在机群或是其它的并行机上运行？？ 

普通的串行程序在单一的操作系统中调用，单一的内存中执行。 

虽然并行程序也是分别在不同的内存中执行的，但是最初的调用实在哪个节点进行的？？ 

还是说在所有需要运行该程序的节点上都调用一遍？？

------解决方案--------------------------------------------------------
一般会有一个是管理节点,在管理节点上运行,然后程序就会调用其他节点,然后一起来完成运算