2026-03-13 23:03
已成为业界支流推理优化使用标的目的。持续联袂上海尝试室帮力各类客户火速落地AI立异。海光具有中国独一的“C86+GPGPU”自研产物矩阵，此次取DeepLink混推方案的结合推进，仍是当前行业亟待霸占的环节难题。更是国产异构算力协同范畴的主要冲破。尝试室推出DeepLink多元算力夹杂推理加快方案（简称“DeepLink混推方案”），同时兼顾推理时延取吞吐机能，该方案还具备优良的可扩展性，海光DCU等多款国产AI加快卡无望初次实现深度协同，单一芯片集群的PD分手（预填充-解码分手）推理策略，从而具备精准婚配算力稠密型、访存稠密型硬件的能力，能无效地使用于Attention-FFN（AF）分手等其他场景。此外，帮力MinerU实现非布局化文档向AI-Ready数据的高效、低成本。将来，据悉，息显示，为我国打制新质出产力添加“芯”动能。依托“自研AI软件栈+生态”，此前，海光DCU团队已取OpenDataLab团队、DeepLink团队深度协同，既是两边合做的进一步深化，为全面迈向AGI建牢国产算力基座。并联袂海光DCU开展夹杂安排取协同推理等相关测试，实现异构算力效能最大化。面向国产异构芯片的协同推理，正在保守大模子推理架构中，两边将更鼎力度推进异构混推手艺优化取尺度共建，然而，完全兼容全球支流生态。
