忘记密码   免费注册 查看新帖 | 论坛精华区

ChinaUnix.net

  平台 论坛 博客 认证专区 大话IT 视频 徽章 文库 沙龙 自测 下载 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
最近访问板块 发新帖
查看: 396 | 回复: 0

深度学习框架Caffe-MPI和Caffe [复制链接]

论坛徽章:
0
发表于 2016-12-22 11:05 |显示全部楼层
本帖最后由 inspurhpcinspur 于 2016-12-22 11:07 编辑

Caffe是目前最受欢迎的深度学习框架之一,由美国伯克利开发。Caffe-MPI是一款高性能高可扩展的深度学习计算框架,是由浪潮的HPC应用开发团队进行开发。Caffe-MPI是一款分布式集群版本,目前支持GPU集群并行计算,该版本在伯克利单机单卡GPU版本上进行开发。目前浪潮将其代码开源发布在了GitHub上,大家可以免费下载。

那么Caffe-MPI有哪些特点?我们先看一下官方介绍,详细的大家可以下载代码进行体验:https://github.com/Caffe-MPI/Caffe-MPI.github.io

(1)        基于HPC系统设计
Caffe-MPI针对HPC系统架构技术设计,硬件系统采用Lustre存储+IB网络+GPU集群,基于Lustre并行存储采用多进程+多线程机制并行读取训练数据,实现较高的IO吞吐;采用IB网络实现高速互联网,实现参数的快速传输和模型更新;采用数据并行机制,利用GPU集群实现大规模训练。软件编程模型采用MPI+ Multi thread+CUDA,节点间采用MPI通信,节点内实现CPU多线程并行和CUDA线程并行。

(2)        高性能与高可扩展性
Caffe-MPI可以采用多机多GPU卡同时训练,每秒可以训练2000张图片,较BVLC单GPU卡性能实现大幅提升,并可以部署到大规模训练平台上,实现对大规模数据样本的训练,如Googlenet模型,Caffe-MPI较单GPU版本性能提升16倍以上,并支持24+ GPUs的扩展,并行效率达到72%以上。

(3)        良好的继承性与易用性
Caffe-MPI计算框架基于伯克利的Caffe架构进行开发,完全保留了原始Caffe架构的特性和最新功能,并支持最新的cuDNN 5.1,即纯粹的C++/CUDA架构,支持命令行、Python和MATLAB接口等多种编程方式,具备上手快、速度快、模块化、开放性等众多特性,为用户提供了最佳的应用体验。

下面还有个性能报告

Caffe-MPI

Caffe-MPI


您需要登录后才可以回帖 登录 | 注册

本版积分规则

  

北京皓辰网域网络信息技术有限公司. 版权所有 京ICP证:060528号 北京市公安局海淀分局网监中心备案编号:1101082001
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP