CANN SetBatchNum函数
SetBatchNum【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit功能说明设置多Batch计算的最大Batch数最大Batch数为A矩阵batchA和B矩阵batchB中的最大值。调用IterateBatch接口之前需要在Host侧Tiling实现中通过本接口设置多Batch计算的Batch数。函数原型int32_t SetBatchNum(int32_t batch)参数说明表1参数说明参数名输入/输出描述batch输入多Batch计算的Batch数Batch数为A矩阵batchA和B矩阵batchB中的最大值。返回值说明-1表示设置失败 0表示设置成功。约束说明调用IterateBatch接口之前需要在Host侧Tiling实现中通过本接口设置多Batch计算的Batch数。调用示例auto ascendcPlatform platform_ascendc::PlatformAscendC(context-GetPlatformInfo()); matmul_tiling::MultiCoreMatmulTiling tiling(ascendcPlatform); int32_t M 32; int32_t N 256; int32_t K 64; tiling.SetDim(1); tiling.SetAType(matmul_tiling::TPosition::GM, matmul_tiling::CubeFormat::ND, matmul_tiling::DataType::DT_FLOAT16); tiling.SetBType(matmul_tiling::TPosition::GM, matmul_tiling::CubeFormat::ND, matmul_tiling::DataType::DT_FLOAT16); tiling.SetCType(matmul_tiling::TPosition::GM, matmul_tiling::CubeFormat::ND, matmul_tiling::DataType::DT_FLOAT); tiling.SetBiasType(matmul_tiling::TPosition::GM, matmul_tiling::CubeFormat::ND, matmul_tiling::DataType::DT_FLOAT); tiling.SetShape(M, N, K); tiling.SetOrgShape(M, N, K); tiling.SetBias(true); tiling.SetBufferSpace(-1, -1, -1); constexpr int32_t A_BNUM 2; constexpr int32_t A_SNUM 32; constexpr int32_t A_GNUM 3; constexpr int32_t A_DNUM 64; constexpr int32_t B_BNUM 2; constexpr int32_t B_SNUM 256; constexpr int32_t B_GNUM 3; constexpr int32_t B_DNUM 64; constexpr int32_t C_BNUM 2; constexpr int32_t C_SNUM 32; constexpr int32_t C_GNUM 3; constexpr int32_t C_DNUM 256; constexpr int32_t BATCH_NUM 3; tiling.SetALayout(A_BNUM, A_SNUM, 1, A_GNUM, A_DNUM); tiling.SetBLayout(B_BNUM, B_SNUM, 1, B_GNUM, B_DNUM); tiling.SetCLayout(C_BNUM, C_SNUM, 1, C_GNUM, C_DNUM); tiling.SetBatchNum(BATCH_NUM); // 设置Batch数 tiling.SetBufferSpace(-1, -1, -1); optiling::TCubeTiling tilingData; int ret tiling.GetTiling(tilingData);【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
