Infiniband——替代TCP/IP的I/O革命者
双核以及多核技术的采用使得处理器的性能不断提升，网络带宽也在不断增加，但是你是否注意到了，为什么我们依然会感觉服务器不够快?问题就在于I/O。说到I/O，有关Infiniband技术应该引起用户的足够重视。身世InfiniBand是由InfiniBand行业协会(IBTA，InfiniBand Trade Association)定义的一项标准，它是一种基于通道的、采用交换结构的I/O体系。
IBTA成立于1999年8月31日，由Compaq、惠普、IBM、戴尔、英特尔、微软和Sun七家公司牵头，共同研究发展的高速先进的I/O标准。最初的命名为System I/O，1999年10月，正式改名为InfiniBand。InfiniBand是一种长缆线的连接方式，具有高速、低延迟的传输特性。据星盈科技李泌介绍，InfiniBand用于服务器系统内部，主要用于处理器/内存与I/O(如硬盘、网卡等)的连接，由于InfiniBand具有长缆线连接的特性，从而使得处理核心与I/O在保持运作一致性的同时，在实际的配置上，实现分离的配置。据李泌介绍，星盈科技推出的超级刀片计算机，就采用了类似的技术。
但是InfiniBand用于服务器系统内部并没有发展起来，原因在于英特尔和微软在2002年就退出了IBTA。在此之前，英特尔早已另行倡议Arapahoe，亦称为3GIO(3rd Generation I/O，第三代I/O)，即今日鼎鼎大名的PCI Express(PCI-E)，InfiniBand、3GIO经过一年的并行，英特尔终究还是选择了PCI-E。因此，现在应用InfiniBand，主要是用于在服务器集群，系统之间的互联。
需要说明的是，即使在系统之间的互联，InfiniBand也还面临着竞争对手，这是因为自英特尔、微软退出IBTA之后，IBM、惠普也在不久后退出，并在第二年提出RDMA(Remote Direct Memory Access，远程直接内存存取)技术，期望用10Gbps Ethernet搭配TOE(TCP/IP Offload Engine，TCP/IP负荷卸载引擎)的硬件加速设计，以更标准、低廉的方式与InfiniBand进行竞争。此外，由Broadcom、Chelsio、惠普、NetApp和微软等厂商推动的iWarp，一种用于远程直接内存访问、远程直接数据放置的保护协议，它淘汰了两端的网卡，也是一种标准的协议。另外，英特尔的I/O加速技术也与InfiniBand具有一定的竞争关系。工作原理
与其他网络协议(如TCP/IP)相比，InfiniBand具有更高的传输效率。原因在于许多网络协议具有转发损失的数据包的能力，但是由于要不断地确认与重发，基于这些协议的通信也会因此变慢，极大地影响了性能。
需要说明的是，TCP协议是一种被大量使用的传输协议，从冰箱到超级计算机等各种设备上都可以看到它的身影，但是使用它必须付出高昂的代价：TCP协议极其复杂、代码量巨大并且充满了各种特例，而且它很难卸载(所谓卸载就是不占用CPU的运行时间)。
与之相比，InfiniBand使用基于信任的、流控制的机制来确保连接的完整性，数据包极少丢失。使用InfiniBand，除非确认接收缓存具备足够的空间，否则不会传送数据。接受方在数据传输完毕之后， 返回信用来标示缓存空间的可用性。通过这种办法，InfiniBand消除了由于原数据包丢失而带来的重发延迟，从而提升了效率和整体性能。
目前,基于InfiniBand技术的网卡的单端口带宽最大可达到20Gbps，基于InfiniBand的交换机的单端口带宽最大可达60Gbps，单交换机芯片可以支持达480Gbps的带宽。在2005年的4月份，Cisco公司收购了InfiniBand方案提供商Topspin; 而专业存储厂商QLogic公司也陆续收购了InfiniBand技术厂商SilverStorm公司和PathScale公司，开始进军InfiniBand领域。
据曙光公司技术支持中心袁伟介绍，目前曙光的高性能计算机全部采用InfiniBand技术进行节点之间的互联，用InfiniBand替代了Myrinet。原因在于，Mrynet在2Gbps带宽之后，在向10Gbps技术的发展上，路线图不清晰，技术实现上也不好。与之相比，20Gbps InfiniBand技术已经非常成熟，在价格上也具有竞争力。 #p#page_title#e#
据宝德服务器事业部经理程佶透露， 宝德InfiniBand服务器的出货主要集中在高性能计算领域，占有30%～40%的份额，其余高性能计算采用千兆以太网的连接方案。程佶表示，除了高性能计算领域之外，其他领域应用InfiniBand服务器的前景并不十分看好。原因在于InfiniBand的价格还是比较高，仅InfiniBand的HCA(主通道适配器)卡就需要4000元～5000元人民币，而性能的提升仅在10%～15%之间。因此，价格将成为InfiniBand服务器进入企业市场的障碍。
据了解，目前IBM、惠普、戴尔、SUN等公司都对InfiniBand做出了积极的响应。在它们的InfiniBand服务器解决方案中，有的在用标准的InfiniBand HCA， 有的在用专门设计的Mezzanine卡，有的在用标准的InfiniBand交换机，有的在用专门设计的交换模块。目前InfiniBand服务器大多采用基于PCI-E的接口，如Arima(华宇)、Tyan(泰安)、SuperMicro(超微)等，因为PCI-E比PCI-X能够提供更高的带宽和更低的延时。
记者日前还采访了InfiniBand HCA卡以及交换机芯片的核心供应商—Mellanox公司亚洲区技术总监宋庆春。据他介绍，InfiniBand的应用领域已变得越来越广。从2005年InfiniBand开始进入存储市场以来，已有越来越多的存储客户开始使用InfiniBand技术。他预计到2008年～2009年，InfiniBand应该成为存储市场的主力。目前主流的存储厂商除了EMC之外，其余厂商都宣布了InfiniBand的存储解决方案。分析其中的原因，宋庆春认为，在带宽、价格方面，InfiniBand均比FC方案具有优势，其中InfiniBand带宽为20Gbps，而FC只有4 Gbps，在价格上，一块FC 网卡就要上万元，远比InfiniBand HCA卡昂贵。另外，更为主要的是：InfiniBand是一种标准开放的协议，具有更多的厂商支持。因此，InfiniBand在SAN存储应用里的优势非常明显。
对于InfiniBand而言，它所具有的整合特性，使得它在数据中心将会得到更多的应用。宋庆春表示，InfiniBand的一个端口可以虚拟成为8个虚拟的通道，而这些虚拟的通道可以分别与数据中心中的FC SAN存储模块、计算模块、管理模块以及通信模块进行连接，从而实现基于InfiniBand的统一管理。推广与应用InfiniBand作为一种高带宽、低延时的连接技术，在数据库集群，在金融分析、制造业、石油、气象、生物等仿真技术领域正在得到越来越多的应用，并成为市场的主流。据6月27日发布的全球HPC TOP 500排名情况来看，InfiniBand的份额实现了强有力的增长，从上届的78套增加到了现在的127套。
“十一五”期间，我国将会在明年推出两台具有百万亿次计算能力的超级计算机，一台在中科院计算所，一台在上海超级计算中心。据业内人士透露，从目前实现百万亿次计算能力的设计方案来看，绝大多数都采用了InfiniBand的方案。可以说，在高性能计算领域，InfiniBand已经占据了主流的地位。
上海超级计算中心副主任袁俊表示，对于InfiniBand而言，更多的考验是在商用计算领域，特别是在存储、在数据中心的应用。据介绍，在这些应用领域大多会采用一种混合计算的方案，在服务器、FC SAN存储，以及以太网之间部署InfiniBand交换机来提高通信的效率以及存储的吞吐量。此外，InfiniBand也被用于解决刀片服务器扩展能力受限的问题，通过提供与外部PCI 扩展模块的连接，InfiniBand 使多个刀片服务器或机箱能够共享原有的PCI 外部设备。这种方法不但节约了空间，而且使客户的多个服务器能够共用设备。编看编想 还是让市场来回答
从1999年推出以来，InfiniBand经历了太多的变迁，其中很多变化并不是技术决定的，因此，不是亲历者很难说得清楚。我接触InfiniBand是从接触HPC开始的，当时上海超算中心在应用HPC过程中，连接计算节点的Myrinet网络，存在交换机节点作业完成不释放的问题，为此，他们考虑采用更加可靠的互联方式，其中就提到了InfiniBand。 #p#page_title#e#
再次接触InfiniBand是在刀片服务器中。刀片服务器最初的用户主要是“两油”，也就是“石油”和“网游”，其中，石油是高性能计算的代表，网游则是电信应用的代表。刀片服务器为满足HPC应用的需要，需要支持具有更高带宽、更低延迟的InfiniBand交换机(刀片服务器中称网络模块)。这是我目前可以看到的InfiniBand的应用。
如今，在存储、数据中心、网络通信等领域，InfiniBand都有比较强烈的呼声，但不知道为什么，总感觉雷声大，雨点小。是不是InfiniBand技术有什么问题?我看不是，要知道市场不是单纯由技术决定的，未来InfiniBand在市场将有怎样的表现，还是让市场的发展来回答，现在断言为时尚早。
