【中科曙光发布新一代词元加速方案】《科创板日报》28日讯,8月28日数博会上,中科曙光正式发布了新一代词元加速方案:ParaCache。据介绍,ParaCache通过长时间保存和复用已有计算结果,减少推理过程中的重复计算,使同一套算力资源能够服务更多业务请求。该方案已在曙光8000推理应用场景完成验证,并兼容主流推理生态,有助于企业优化单位词元成本和大模型部署效率。
【中科曙光发布新一代词元加速方案】《科创板日报》28日讯,8月28日数博会上,中科曙光正式发布了新一代词元加速方案:ParaCache。据介绍,ParaCache通过长时间保存和复用已有计算结果,减少推理过程中的重复计算,使同一套算力资源能够服务更多业务请求。该方案已在曙光8000推理应用场景完成验证,并兼容主流推理生态,有助于企业优化单位词元成本和大模型部署效率。