tensorflow2分布式训练 GPU性能一般,怎么实现分布式模型训练?

GPU性能一般,怎么实现分布式模型训练?如果同一台机器上有多个GPU使用多塔结构(详见tensorflow官方教程)如果总共只有一个GPU使用AWS云GPU服务器,最多可租用8个并行的Tesla V1

GPU性能一般,怎么实现分布式模型训练?

如果同一台机器上有多个GPU

使用多塔结构(详见tensorflow官方教程)

如果总共只有一个GPU

使用AWS云GPU服务器,最多可租用8个并行的Tesla V100计算图形卡

欢迎关注标题|机器学习干巴巴的商品

补充:

所谓多塔结构就是让每个GPU承担一个小批量的一小部分,并计算每个小批量中每个参数的导数值。最后,平均这些导数值可以完成一批训练