深度学习框架Caffe-MPI和Caffe

inspurhpcinspur

Caffe是目前最受欢迎的深度学习框架之一，由美国伯克利开发。Caffe-MPI是一款高性能高可扩展的深度学习计算框架,是由浪潮的HPC应用开发团队进行开发。Caffe-MPI是一款分布式集群版本，目前支持GPU集群并行计算，该版本在伯克利单机单卡GPU版本上进行开发。目前浪潮将其代码开源发布在了GitHub上，大家可以免费下载。

那么Caffe-MPI有哪些特点？我们先看一下官方介绍，详细的大家可以下载代码进行体验:https://github.com/Caffe-MPI/Caffe-MPI.github.io

(1)        基于HPC系统设计
Caffe-MPI针对HPC系统架构技术设计，硬件系统采用Lustre存储+IB网络+GPU集群，基于Lustre并行存储采用多进程+多线程机制并行读取训练数据，实现较高的IO吞吐；采用IB网络实现高速互联网，实现参数的快速传输和模型更新；采用数据并行机制，利用GPU集群实现大规模训练。软件编程模型采用MPI+ Multi thread+CUDA，节点间采用MPI通信，节点内实现CPU多线程并行和CUDA线程并行。

(2)        高性能与高可扩展性
Caffe-MPI可以采用多机多GPU卡同时训练，每秒可以训练2000张图片，较BVLC单GPU卡性能实现大幅提升，并可以部署到大规模训练平台上，实现对大规模数据样本的训练，如Googlenet模型,Caffe-MPI较单GPU版本性能提升16倍以上，并支持24+ GPUs的扩展，并行效率达到72%以上。

(3)        良好的继承性与易用性
Caffe-MPI计算框架基于伯克利的Caffe架构进行开发，完全保留了原始Caffe架构的特性和最新功能，并支持最新的cuDNN 5.1，即纯粹的C++/CUDA架构，支持命令行、Python和MATLAB接口等多种编程方式，具备上手快、速度快、模块化、开放性等众多特性，为用户提供了最佳的应用体验。

下面还有个性能报告