randomkang commented on PR #3144: URL: https://github.com/apache/brpc/pull/3144#issuecomment-6760864599
> 当前 GDR 接收路径固定从 GPU block pool 按 gdr_block_size_kb(默认 512KB)分配,导致大消息被切成多个 block。对于接收端已有预分配连续 buffer 的场景(例如推理引擎的固定 shape 显存),应用只能用 copy_from_gpu(to_gpu=true) 再做一次 D2D,抵消了 GDR 的一部分收益。 > > 而 DoPostRecvGDR(void* block, size_t block_size, uint32_t lkey) 本身已经支持任意 buffer。是否可以在 PostRecv 层增加一个可选的 allocator 回调,允许调用方提供自己的显存块? @bzs1118 在当前不改变brpc双边send/recv的模式下,允许调用方自己管理recv的显存,从而避免recv后的一次d2d,我想也是可以的。具体来说,大体可能这样设计: 1)底层网络要使用RC链接,这样才能保证每对QP上,数据的发送顺序等于数据的接收顺序。 2)调用方的allocator要按照Channel设置(一个Channel固定配置一个QP),同时调用方的allocator需要保证每次分配的block都是地址连续的(如果调用方allocator用的是个数组模拟的环形buffer,要注意边界跨越的时候是不连续的),这样就能保证接收的大块数据是连续的分布在用户指定的显存上。 另一种方法为,将brpc当前的双边send/recv模式,改成单边wirte模式,大体可能这样设计: 1)每个Channel,两个QP,一个控制QP,负责写brpc header、meta、body,一个数据QP,负责写attachment。 2)控制QP直接写到内存上用cpu处理,数据QP直接写到显存上供调用方用gpu处理。这就可以直接在框架上支持变长的数据了。 这种方案较为长期,改动也比较大。 辛苦 @yanglimingcn @wwbmmm @chenBright 大佬们看看,这样设计是否合适 -- This is an automated message from the Apache Git Service. To respond to the message, please log on to GitHub and use the URL above to go to the specific comment. To unsubscribe, e-mail: [email protected] For queries about this service, please contact Infrastructure at: [email protected] --------------------------------------------------------------------- To unsubscribe, e-mail: [email protected] For additional commands, e-mail: [email protected]
