快科技 8 月 22 日消息,据报道,随着 AI 从模型开发转向大规模部署,推理算力需求正以前所未有的速度膨胀。然而,国产 AI 芯片在处理编码等复杂推理任务时仍需要提高,导致国产 AI 企业不得不在有限的英伟达芯片供应中挤牙膏式地分配算力。
趋境科技副总裁关嘉伟近日向媒体透露,推理市场已出现明显的两极分化。高质量 Token 的需求远大于供给,高端任务对性能的要求极为严苛,国产处理器目前还无法稳定满足。
尤其是在编码等场景中,用户愿意为此支付溢价,而这些高价值任务目前仍高度依赖英伟达的芯片。
正是这种供需失衡,直接推高了英伟达芯片的租赁价格。趋境科技数据显示,英伟达 H200 芯片的月租赁价格已从 2025 年第三季度末的 5 万至 8 万元人民币,飙升至今年早些时候的 10 万元以上。
Token 用量的爆炸式增长是需求端的直接推手。最新统计数据显示,我国日均词元调用量在 2026 年 6 月已激增至近 175 万亿,较 2024 年初增长超千倍。
面对严峻的供应压力,中国 AI 企业被迫寻求技术突破。月之暗面设计了一套面向异构推理场景的数据传输库,可实现英伟达 H20 与华为昇腾 910B 芯片之间的高效数据交换。
趋境科技则采用了 " 异构 P/D 分离 " 技术,让昇腾 910B 处理请求的初始阶段,英伟达 H20 负责最终的响应生成。趋境科技的推理引擎 KTransformers 已成功在单张 RTX 4090 上运行 DeepSeek 完整版模型,成本降低 10 至 20 倍。



登录后才可以发布评论哦
打开小程序可以发布评论哦