Tilera公司的64核MIPS——Tile64

Cyberman.Wu

原帖由 beepbug 于 2009-6-9 20:24 发表

你这样说，就切实了。我们不能闭着眼睛说“嵌入式”。
1）这类芯片适合于计算量极大而I/O吞吐量不很大的场合；
2）这复杂计算要能分解成几十个子任务来协作完成。

呵呵，关于啥叫“嵌入式”咱就不讨论了，比较难有个很明确的概念。
1）这个也不完全正确吧，20GbE的流量对于DPI等也算挺大的流量了，当时从二层转发看就另说了。
2）的确是这样的，多核应用，不管是哪个多核，都面临一个任务分解的问题：
     第一是多核之间处理的数据的可分解性。如象图象处理许多是分块做之后再拼的，一旦分块几个处理的核之间就没有关系了，
     很容易做；或者处理比较复杂，可以用流水做，每一级的处理控制到比较简单。但有些东西如多个核之间共享一个数据区域，
     则设计上的难点就来了，我曾经测试过在大流量用多个核转发时，即使几个核用类似于spin_lock这样很高效的锁来加一个计
     数，也会因为锁的碰撞而导致处理能力急剧下降，甚至参与处理的核越多性能反而会下来。
     第二是有些任务有天然的不可分解性，既无法横向分解数据，也无法纵向分解功能。如MD5我曾想过很久，但好像没找到办法
     能利用多核来加速，因为从数据来说，它前面的数据计算结果是后面的输入，所以不能分开；而功能上来说每一步计算都要等
     前面一步的计算结果，如果分成流水，某一级计算的时候其它只能等它结果。所以感觉多核可以用来加速MD5加密的密码的
     破解，因为密码通常不长，但有一个比较大的字典空间，可以一个核分一部分独立去尝试；但对于一个很大的文件如4GB的
     文件计算一个MD5签名，好像真的没办法去加速它。

[ 本帖最后由 Cyberman.Wu 于 2009-6-11 18:08 编辑 ]

beepbug

MD5是可以做并行的。这个在山大做，详情不清楚。
我曾去看过上超、上交大、微软亚工，他们做的并行。
他们具体怎么做，我不明白。我是这样想的：
以你说的为例。流水步X11怎么做，要取决于前一步X10的结果。当然，一般来说，X10的结果可能是无数种的。但是，如果这无数种X10结果对X11的影响可以划分为N种，且这N小于64，就可以做并行了。用核00开始做X10时，可以同时启动核01-63分别做63种X11，等都完成后，按核00做的X10的结果，取这63种X11中的一种，其余丢弃。

beepbug

我说明一下，我在前面提出的质疑，本意是，我以为需求是第一位的。只要明确了需求，技术上迟早是能实现的。需求是启动器。我们与西方差距，有许多因素，第一条是对需求重视不够。
我在72楼说的，是猜想，也是从需求出发的猜想。
又譬如气象预报。能把气象预报做到N天后，这N，要取决于计算能力，因此，气象需要大机器。可大机器的主频并不高，它必须得并行，且是深度的并行。可能有许多并行算法，对我们门外汉来说，会觉得很变态。可仔细想想，不“变态”，这巨型机又如何发挥作用呢？

Cyberman.Wu

原帖由 beepbug 于 2009-6-11 21:15 发表
MD5是可以做并行的。这个在山大做，详情不清楚。
我曾去看过上超、上交大、微软亚工，他们做的并行。
他们具体怎么做，我不明白。我是这样想的：
以你说的为例。流水步X11怎么做，要取决于前一步X10的结果。 ...

山大你指王小云教授做的那个MD5破解工作吗？对于加解我算是外行，不过好像那个不是针对密码求逆的，主要是用于攻击签名吧，即已知明文的情况下制造另一段明文和它的MD5相同。
对于大文件如果能做到并行，应该把算法研究透了做的其它实现吧，我看过的代码分析来分析去的感觉挺难并和的。你提的方法我感觉可行性不大，因为前一步结果的可能性很大的，MD5是以128bit为单位算的，每一轮要接受的上一轮的结果是4个32bit值，这个可能性太大了，并且一轮的每步之间也是环环相扣的。

beepbug

你没仔细看我的话。就随着你说MD5吧。“是以128bit为单位算的”，没错。“上一轮的结果是4个32bit值”，也没错。但是，这2^128种结果，并不意味着对下一轮计算的影响也一定是2^128种。如果这2^128种结果对下一轮计算的影响，可以归结为N种，那就只需要N+1个核，我就可以做并行了。
如果这样还没说清楚，我说个极端的：譬如，结果如果是奇数，对下一轮是一种影响，结果是偶数，则是另一种影响，那我就只需要3个核就可以了。我在启动m步时，同时启动两个m+1步计算，一个是以奇数为参数，另一个则以偶数为参数。三个进程分别在三个核里跑。都完成时，判断第一个进程的结果，如果是奇数，就以第二个进程的结果为结果，否则以第三个进程的结果为结果。这样，这m步和m+1步就并行了。当然，没有这么幸运的事。这样简化，只是为了说明问题。
另外补充一点，山大不止王一人，有很多人在搞。不是签名攻击那么简单。他们做的事，有可能使我国在密码战中领先。

beepbug

原帖由 Cyberman.Wu 于 2009-3-12 12:03 发表
这个CPU主要还是针对嵌入式的，用于网络安全（如10GE的IDS/IPS）、视频编解码和无线的OFDM等。不过因为是基于软件的，所以也可以做许多其它的功能，比较灵活。目前国内接触过的人还比较少，呵呵。

我猜想，做视频处理应该比较合适吧？
譬如，要用插补技术提高视频信号的分辨率。一个核做解码，第二个核做插补，第三个核做编码。软件开发不需要并行开发工具，都是各管各的。你说已经有了基本的开发工具，这些就可以解决问题了。只需要一点内存共享与进程间通信。这个并行，相对来说比较简单。
如果本身分辨率较高、帧频较高，CPU跟不上，可以分段做插补，编码难度也相对算简单。
64核都动员起来，可以适应很高的信息流速。
请问，是不是这样？

Cyberman.Wu

原帖由 beepbug 于 2009-6-20 06:37 发表

我猜想，做视频处理应该比较合适吧？
譬如，要用插补技术提高视频信号的分辨率。一个核做解码，第二个核做插补，第三个核做编码。软件开发不需要并行开发工具，都是各管各的。你说已经有了基本的开发工具，这 ...

没错，不过视频只是它针对的三个领域之一，不过就算进程间通信多，这个芯片也能应付，因为核之间是高速的网络连接，直接传到CPU内部的FIFO的，不经过外部内存。

Cyberman.Wu

原帖由 beepbug 于 2009-6-12 20:17 发表
你没仔细看我的话。就随着你说MD5吧。“是以128bit为单位算的”，没错。“上一轮的结果是4个32bit值”，也没错。但是，这2^128种结果，并不意味着对下一轮计算的影响也一定是2^128种。如果这2^128种结果对下一轮 ...

我不是做安全的，所以我所说的无法并行是指目前的MD5算法实现，如果攻破了它的算法，即用另一种计算方式来得到和它同样的结果，应该就是并行的了。按你说的，下一轮不一定是2^128种，但你如何知道是几种？而且就算知道下一种是2^32种可能，那么第二个核也无法在后面完全第一步的计算时完全2^32种可能输入的计算吧？所以就算是第一步下去是收敛的，那第一步需要1个核，第二步需要2^32个核才能和它同步？

这个话题不讨论了吧。反正对于密码破解我只是一些常识性的概念而已，如果你和我一样，那就是两个门外汉讨论，没啥意义；如果你业内人士，那你和我交流就象一个9段高手和一个新入门的棋手交流，还是没啥意思。

beepbug

答77楼：
进程间通信，对这类肯定不会成问题。这芯片的瓶颈最大可能在I/O口。
答78楼：
这个密码只是举例。我完全是外行。我现在感兴趣的，只是如何做并行。“你如何知道是几种”，那是算法环节解决的事。
你不愿讨论，那也没办法。这并行事，说的人不少，愿讨论的真不多啊。

Cyberman.Wu

对于瓶颈在哪，我还是那句话，取决于应用和设计。对于应用而言，做为一个三层交换可能I/O算是瓶颈，因为一部分核就能做到10GbE的转发处理了；而对于复杂的加解密，则有可能所有核都狂转也跑不到10GbE。对于设计而已，就算这个芯片的核间I/O已经很高效的，但使用不当还是会使它成为瓶颈。

我很想讨论并行处理，但对于加解密这种话题，目前我还不具备论坛的资格。