# TransferWithCacheKeyConfig【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge产品支持情况Atlas A3 训练系列产品/Atlas A3 推理系列产品支持Atlas A2 推理系列产品支持Atlas A2 训练系列产品不支持函数功能构造TransferWithCacheKeyConfig。函数原型__init__(cache_key: Union[BlocksCacheKey, CacheKeyByIdAndIndex], src_layer_range: range None, dst_layer_range: range None, src_batch_index: int 0)参数说明参数名数据类型取值说明cache_keyUnion[BlocksCacheKey, CacheKeyByIdAndIndex]目的Cache所在实例的cluster_id。src_layer_rangerange必选参数本地要传输的层的范围step只支持为1。dst_layer_rangerange必选参数远端要传输的层的范围step只支持为1。src_batch_indexint本地cache的batch下标。当源Cache为非PA场景时可以设置。调用示例from llm_datadist import TransferWithCacheKeyConfig TransferWithCacheKeyConfig(BlocksCacheKey(1), range(0, 40), range(0, 40))返回值正常情况下返回TransferWithCacheKeyConfig的实例。参数错误可能抛出TypeError、ValueError或LLMException。约束说明src_layer_range表示范围需等于dst_layer_range表示范围。cache_key为BlocksCacheKey时src_batch_index只能为0。【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考