光互连，愈发重要

随处可见的传感器增多以及人工智能/机器学习几乎渗透到所有事物中，导致数据爆炸式增长，这加大了数据中心利用光学互连来加速数据吞吐量并减少延迟的压力。

光通信已经使用了几十年，从长途通信开始，逐渐发展到将外部存储连接到服务器机架，然后再连接到这些机架内的服务器。最近，它被关注于不同模块和先进封装之间的通信，最终它可能成为一种以最少的热量和功率加速先进封装内部数据移动的方法。

挑战在于将光子与电子结合起来。从历史上看，该级别的互连很笨重且有些不可靠，但随着业界认识到对光学技术的需求，它们正在迅速改进。这种情况已经在超大规模数据中心中发生，它们的设计比企业数据中心更加统一，并且没有单点故障。“在企业数据中心，您每天都会看到变化，” Cadence杰出工程师 Mark Seymour 说道。“在超大规模企业中你看不到这一点。此外，在超大规模企业中，如果出现故障，也并不重要，因为它们只是转移工作负载。”

这有助于解释为什么超大规模厂商始终处于光学技术的前沿。但随着越来越多的人工智能/机器学习以及需要处理的数据越来越多，所有类型的数据中心内对更低延迟、更低功耗和更低热量的需求变得越来越普遍。

“在数据中心内部，光连接可以分为两种类型，” Synopsys技术营销经理 Jigesh Patel 说。“一个是机架间，另一个是背板或机架内。通常，多模光纤用于两者。由于光子学具有更好的热效率、光谱效率和能量效率，硅光子学正在迅速取代用于提供板载和片上连接的传统铜互连。该行业正在逐渐从片上系统设计方法转向单一封装中的芯片系统。”

除了这种转变之外，该行业从铜缆到光纤的转变只是基础数学。“以每秒 200 吉比特的速度运行的铜缆将会产生损耗，”是德科技IP 有线解决方案高级战略规划师 John Calvin 表示。“例如，1 米长的电缆将产生约 34 dB 的损耗。即 50:1 的信号损失。首先，发射器上有 50 毫伏信号。现在接收器处的电压已降至 1 毫伏。那就是问题所在。这种损失基本上是被燃烧成热量的电信号，这就是杀死数据中心的原因。[相比之下]，您可以在光纤上发送光信号数十公里，并且信号降低 1 dB。”

互连选择细分

我们来看一下当前互联的两种选择。

首先看铜选项：直连铜缆 两端都有一个高密度连接器，并通过铜差分传输线将两个连接器连接在一起。在数据中心的高速度下，DAC 适用于大约两米的互连。有源铜缆 可以处理铜缆和光纤之间的中等长度，比光纤更具成本效益。

其次看光学选项：当中可分为单模光纤，纤芯直径8至10μm；多模光纤，芯径50至100多毫米。虽然“多模”听起来可能更复杂，但实际上单模使用起来更棘手且成本更高，甚至不考虑与单独光纤的成本差异。

“单模光纤系统中使用的激光器和其他组件更加昂贵，”Patel指出。“由于光纤的纤芯直径要小得多，因此发射器与光纤之间以及光纤与光电探测器之间的耦合容差比基于多模光纤的系统中的容差更严格。另一方面，与多模光纤相比，单模光纤提供了更高的带宽，这意味着基于单模光纤的传输可以承载更大量的数据，传输更远的距离。”

出于最务实的原因，多模光纤仍然很受欢迎。

“您可以从线轴上拉出多模光纤，将其劈开，将其插入连接器，然后就可以使用了，”是德科技的 Calvin 解释道。“单模光纤需要精确的对准和光学器件，并且实际上是非常精确的切割。通常，您从供应商处购买单模光学器件时会考虑到特定的适配应用。您的数据中心没有单模光纤线轴，您可以在其中提取互连所需的数量。这就是让人疯狂的原因。他们需要灵活性，而多模光纤虽然效率较低且无法达到单模光纤那么远，但它是数据中心运营商最好的朋友，因为它很好、易于扩展且使用灵活。我们一直想知道多模式何时会消亡，但由于其灵活性，它永远不会消亡。”

这些基础技术还进行了其他修改，包括采用密集波分复用 的单模光纤以及相干光学。

“如果实施 802.3 CT 或 CW，它就是一个相干光链路，这是对光谱最有效的利用，可以连接 40 公里或更远的镜像数据中心，”Calvin 指出。

通信链中的下一个环节也面临着一系列挑战。

Broadcom 光学系统的营销和运营部门副总裁 Manish Mehta 解释说：“为了输入和输出数据，需要一小部分连接，即直铜缆，但其传输距离相当短，不超过几米。” “如果您想从交换机到另一台设备的距离超过几米，则必须进行光学传输。今天的方法是使用可插拔光纤收发器。作为参考，每个收发器的带宽为 400 GB/秒，其中一个交换机最多可插入 32 个收发器。这是一个 12.8 TB 的交换机。收发器的核心部件之一是半导体激光器，然后还有一些驱动该激光器的IC。但需要许多小型机械部件来固定不同的机械装置。例如，要将光纤从激光器连接到模块的前部，需要具有应力消除装置，以便可以在恶劣的环境条件下运行。”

这会导致扩展问题，从而推动行业的一些创新，例如共同封装光学器件。

Mehta说：“超大规模企业每年购买的约 1000 万个此类设备几乎都是在亚洲各地的工厂手动组装的。” “超大规模企业认为这是不可扩展的，尤其是随着时间的推移，因为铜线在数据中心所需的范围内传输数据的能力越来越差。每当您经历速度一代时，从 100Gb SerDes 到 200Gb SerDes 甚至更高，您都会根据物理定律减少铜的覆盖范围。数据中心需要更多的光纤连接。这就是必须解决的问题。现在，花在这些光收发器上的金额使 ASIC 相形见绌，而且它们并不是全行业最可靠的设备。处理这个问题的超大规模范例是，如果一个不起作用，他们将其拔出并插入另一根。光学器件硅化是绝对必要的。”

图 1A：光学互连的现在和未来

图 1B：Broadcom 的联合封装光学器件设计

重新思考互连

Broadcom 的解决方案是采用八个 800 Gb 收发器并将它们整合到单个光学 6.4T 光学引擎 中，并将它们与交换机 ASIC 集成在公共基板上，以提供系统所需的所有光学连接。对于 51.2T 交换机，您需要八个这样的 6.4T 光学引擎。

一些初创公司也在解决光学互连问题。例如，Lightmatter 提供了一个通信层，该层位于基板和 ASIC 之间。这提供了更多的布局选项，因为它解决了电信号衰减等问题。

Lightmatter 硬件工程副总裁 Richard Ho 解释说，该通信层的功能类似于 OCS，但位于硅上。“基本上，当我们配置它时，我们从通信层中的任何一个节点到该层中的所有其他节点都有直接的点对点连接，并且您可以动态地重新配置它。您可以将其设置为进行全方位通信，也可以将其设置为环，或者将其设置为 3D 超环形。有所有这些类型的配置，因为它是在硅中，我们有办法控制它，我们可以控制光的去向。但一旦我们以某种方式设置它，它就会变得像一根电线。它直接到达另一个位置——速度非常快。因此，您基本上能够在很短的时间内重新配置计算机包装内的电线。这是独特的技术。你不能用电力来做到这一点。你只能用硅光子学来做到这一点。”

图2：通道通信层

Celestial AI 还拥有光学互连解决方案，该公司声称该解决方案比目前用于传输光学信号的环形谐振器更热稳定，并且应该可以与 ASIC 进行更紧密的通信。“我们正在提供一直到计算点的光学连接，”Celestial AI 首席执行官 David Lazovsky 解释道。“许多共同封装光学领域的公司都在研究有线转发技术，这意味着你以电子方式向我发送信号，我要做的就是将其转换为光学信号，然后将其以电子方式发送出去。光纤另一端的信号。在Celestial AI，我们提供全栈解决方案。我们有一个协议自适应层，可以提供与客户现有基础设施的兼容性。”

图3：Photonic fabric configurations

直接光纤布线

虽然光子学领域的大多数创新工作都集中在光学收发器或精炼激光输出等工程组件上，但韩国初创企业 Lessengers 开发了一种新型光纤，作为其称为“直接光纤布线”方法的一部分。该材料目前作为该公司 HPC 解决方案的一部分进行销售，但正在考虑在未来可能获得许可。

Lessengers 首席营销官 Taeyong Kim 表示：“这种材料能够在室温下运行，这意味着它的大部分在室温下呈液态，并在布线过程中固化。” “通过改变一组参数，如接线尖端的机械尺寸、接线速度、混合物的比例等，可以轻松地将电线的形状控制为更宽的形状，或不同类型的形状。用户可以优化接线配方和内部陶氏机器完成剩下的工作。”

图 4：直接光纤布线

以太网和 PCIe

无论是铜缆还是光纤，PHY 都使用刚刚庆祝其 50 周年的协议 - IEEE 802.3 以太网。“以太网的发展超出了所有人的预期，它确实是数据中心用于连接一切的结构，”Calvin 说。“以太网数据包很棒，因为它们的扩展性非常好。”

就连它的支持者也承认，随着时间的推移，它会吱吱作响，但该行业正在努力解决问题。“确实，以太网带来了一些负担。它是一个负载很重的协议，已经发展了 50 多年，因此它不像一些更现代的协议那么简洁和刻薄，”Calvin 说。“超级以太网联盟将调整以太网以使其运行速度更快。不过，归根结底，您不想偏离以太网太远，因为当信号协议进出数据中心时，它将是以太网。”

PCIe 是当前铜互连的首选协议。然而，随着标准的发展，铜可能会失去青睐。

Patel 表示：“虽然最多 6 个 PCIe 版本主要使用铜缆，但带宽、延迟和能耗方面的限制已经很明显，这激发了人们对线性直接驱动光学引擎的巨大兴趣。” “光学引擎带来的好处包括更高的带宽、由于无需重定时器而降低的能耗、低延迟以及由于消除了可插拔模块中的数字信号处理 而降低的成本。”

还有其他选择。“您可以选择以串行链路还是并行链路进行传输，这就是 SerDes 的用武之地，”Patel 说。“它可以是全电气 SerDes，也可以是线性驱动 SerDes，其中 SerDes 硬件内还有一个光学引擎，这就是光学互连的用武之地。铜缆可以传输到 PCI、4、5 甚至 6，但在 6 时，铜的局限性已经显而易见。”

这种限制在能源消耗中显而易见，这增加了数据中心的冷却要求。“PCIe 的下一版本 PCIe 7 将于 2025 年发布。每通道支持的数据速率将为 32GB/s，”他说。“许多业内人士认为，为了支持如此高的数据速率，光学的使用是不可避免的。事实上，PCI-SIG 最近成立的一个工作组正在研究通过光连接提供 PCIe 技术。”

Synopsys 的高级技术产品经理 Richard Solomon 再次展望了未来，“CXL 使用 PCIe 传输。一旦光学 PCIe 变得更加普遍，CXL 将构建在其之上。导致 PCI SIG 想要采用光纤的一些驱动因素是我将在数据中心周围从一个盒子运输到另一个盒子的使用模型。没有人认为光纤 PCI 和 CXL 的传输距离会超过 10 米。但如果我可以从上到下或从机架到机架进行操作，这在数据中心仍然是一个巨大的优势。想象一下所有这些与更接近 DRAM 延迟相关的事物。”

新想法不断涌现

随着对旧协议的依赖和多模光纤的持续存在，该行业正在不断向前发展。

8 月，OIF 宣布了外部激光小型可插拔 实施协议 ，该协议定义了针对共同封装光学系统和其他多激光外部激光源应用量身定制的前面板可插拔外形。

据 OIF 称，IA 包括对前面板放置激光源的定义，从而增强系统可靠性并在必要时允许高效的“热插拔”现场更换。

“这些用于新兴的高密度光学器件，常见于人工智能和机器学习等应用中，”卡尔文说。“基本上，这些是超大规模数据中心内使用的新兴互连技术，目前正在以极低延迟、高速、高性能的要求推动这个行业的发展。”

结论

随着标准和物理的不断发展，以及 AI/ML 市场的推动，光学互连将继续发展。分析公司 Light Counting 预测，到 2027 年，光学元件市场规模将达到 200 亿美元，所有行业都将增长——包括老式备用设备、以太网。