华山论剑新解--软件硬件谁在引领IT技术革命？（获奖名单已公布-2014-6-5）

冬瓜头

AMD μUMA嚷嚷了好久没动静。Intel和NVIDIA又同床异梦。还是Power8给力了。Openpower，好戏有的看了。

CUTianrui007

Heng_Liao 发表于 2014-05-12 13:35
楼主的第2点很有代表性，变化是不情愿的。不过对大型网站来说，数据中心要添置成千上万的设备，要耗电， ...

个人PC机，性能很强，但是我们使用的功能并不多，也就是上网，看电影，打游戏，最多也就写代码画板子。但是在公司的机群那不一样了，那是耗电大户，所以一点点的节点和改进就很必要了。所以，均衡其资源，实现综合利用，这个完全可以作为一个软件需求来推进硬件变化。
总体来说，我觉得技术进步的公式就是：原来软件做的技术，现在由硬件来做，换句话就，软件是硬件的前世，硬件是软件的当今。

beyondfly

回复 68# Heng_Liao


      大数据时代，电子商务、互联网、金融、零售等企业，他们会收集越来越多的数据，这个量是越多越好，如果数据量不够大，不够多，那么就不叫做大数据，分析起来也没有意义，找到数据的价值所在。大数据的本质是利用所有的数据，从中找出各种相关关系。
      这些企业一是自身会产生大量的数据，二是接受用户的大量数据，这么巨大量的数据写入，对于存储也会是一个挑战，在这种情况下，就要求存储有更好的数据写入性能，同时，巨大的数据量，对存储容易也是一个巨大的挑战，各种云存储，分布式存储将会得一个很好的机会

Heng_Liao

CUTianrui007 发表于 2014-05-12 17:57
但是在公司的机群那不一样了，那是耗电大户，所以一点点的节点和改进就很必要了。所以，均衡其资源，实现综合利用，这个完全可以作为一个软件需求来推进硬件变化。
总体来说，我觉得技术进步的公式就是：原来软件做的技术，现在由硬件来做，换句话就，软件是硬件的前世，硬件是软件的当今。 ...

楼主提出了一个有趣的观点：软件是硬件的前世。我们来看看是否能普遍适用。确实有很多这样的例子 --- 原来用软件操作显卡的像素，后来图形的性能要求高了就变成了硬件加速的GPU， 原来用软件实现的网络协议，现在也由网卡的硬件加速来提升性能。是否可以说，对某个软件性能要求很高时就推向硬件实现呢？反过来，也我们可以找到一些例子：原来的电话modem和fax是个专用芯片实现的硬件，当ＣＰＵ速度够快来用软件实现modem的算法，现在PC上的modem和fax功能都是纯软件实现的（消除了硬件芯片的成本）。所以当应用的性能需求比起软件处理性能足够低时，软件可以取代硬件。可否修正你的公式为：当需要的处理性能足够高时，原来软件做的技术，现在由硬件来做，　反之亦然。

把该公式应用在机架内的存储架构，随着大数据处理的高效能要求不断攀升，SSD I/O性能的突破，我们是否可得出硬件取代软件实现分布式共享存储(FDIO)的迫切性？　

Heng_Liao

冬瓜头 发表于 2014-05-12 15:22
AMD μUMA嚷嚷了好久没动静。Intel和NVIDIA又同床异梦。还是Power8给力了。Openpower，好戏有的看了。

外设直接采用虚拟地址做DMA真的很有用哦。总线的root complex上大概加了TLB做地址转换，还要保证TLB和Cache的一致性。实在是复杂。
那TLB miss, 或该虚地址未锁定在物理内存时，该怎样处理呢？

冬瓜头

Heng_Liao 发表于 2014-05-13 15:08
外设直接采用虚拟地址做DMA真的很有用哦。总线的root complex上大概加了TLB做地址转换，还要保证TLB和C ...

想请廖博从技术角度指正一下我的理解是否正确：
拿PCIE显卡来讲，常规做法是由驱动程序在Host地址空间申请供DMA用的内存，上层应用的数据比如游戏引擎需要渲染的数据，先从应用缓存拷贝到供DMA使用的缓存，然后显卡直接读取这块DMA空间将数去取走。这期间需要2次内存拷贝。而外设和CPU共享同一地址空间的好处是，无需内存拷贝，显卡直接在在主机内存中处理数据，当必须要在显卡内部显存内处理时，则一次拷贝即可。提高了性能。

hbsycw

软件硬件谁在引领IT技术革命？

这是一个有趣的话题，可能有人说，当然是硬件引领IT技术革命。因为，从机械计算机到电子计算机，从纸带到磁带、磁盘、光盘这些硬件的改变都极大的推动了IT的发展。然而，我们看到，传统的电子硬件技术（频率、集成度规模...）也似乎达到了一个增长的极限，而我们对于IT技术应用的需求却变大的更大，单纯靠硬件增长来引领计算和存储的IT时代似乎变的无法满足这种需求（考虑经济成本~）。而一种更自然的方式是通过软件来集成定义这一切，用规模硬件来解决规模问题。于是，在互联网发达的今天，在云计算、大数据，这些时代IT技术需求面前，SDN（软件定义网络）、SDS（软件定义存储）正成为一种有效而灵活的解决方案思路在引领IT技术变革。

因此，总结一下，IT技术的变革过去主要是硬件的升级换代在主导，而今天，在我们已经有了一定的基础硬件设施时，软件的灵活解决方案正在成为引领IT技术变革的主流！

CUTianrui007

Heng_Liao 发表于 2014-05-13 14:09
楼主提出了一个有趣的观点：软件是硬件的前世。我们来看看是否能普遍适用。确实有很多这样的例子 --- 原 ...

硬件取代软件实现分布式共享存储(FDIO)的迫切性，这个完全有可能的，当然这个要硬件本身有着新的设计理念。

另外，我觉得硬件和软件的发展关系可以修正为：成本和效率控制下的软件和硬件身份相互转换。

冬瓜头

CUTianrui007 发表于 2014-05-13 16:04
硬件取代软件实现分布式共享存储(FDIO)的迫切性，这个完全有可能的，当然这个要硬件本身有着新的设计理 ...

SAN其实是个好东西。目前传统存储面临窘境，并不意味着SAN不给力，如果有一种廉价的SAN，很多问题就解决了。互联网搞了这么久的分布式，其实很多问题是让人很头疼的，这正与传统领域的形态演进一样。互联网其实是迫切需要SAN的。欢迎探讨。

niugb

觉得这两个是相互促进的关系，只是说在某个阶段硬件或者软件更占主导地位吧，
硬件更多的是基础的架构搭建，存储互连方面，从原来的SATA，到SAS,再到目前的PCIE，都在不断的进步，但从硬件的进步 看，促进了软件的进步，现在看更多的是软件可以在高带宽的互连上，做的事更多，软件发挥的余地更大了，后续还会有更多提升，硬件提供的性能越好，软件就越能发挥出来更好的性能。
      软件的进步也促进了硬件进步，让硬件的设计更加专一，
      从云的角度出发，原来的软件更多的能够做出符合要求的一些方案，但随着云的发展，有更多的要求被提出来，比如：带宽要求更大，访问延时要求更低，IOPS的要求更高，数据不断的增加，要求存储与计算分享，也可能是处理器与内存分享等，这些要求的提出，仅凭软件的解决方案就不能完全解决，这时推动了硬件的一些解决方案，这些硬件的解决方案，推动了软件解决 方案重新审视我们现有的软件解决方案是否能够满足要求，是否需要新的软件架构来与新的硬件方案重新匹配，等，所有的硬件与软件架构的新的推出，都是基于某些应用或者需求来的。这些需求更多是新的模式的出现为推动因素。推动着软件和硬件的向某个方向发展。
总的来说，是软件与硬件共同的进步，螺旋式上升，相互的推进软件与硬件的共同进步。