tensorflow2分布式训练 GPU性能一般,怎么实现分布式模型训练?
GPU性能一般,怎么实现分布式模型训练?如果同一台机器上有多个GPU使用多塔结构(详见tensorflow官方教程)如果总共只有一个GPU使用AWS云GPU服务器,最多可租用8个并行的Tesla V1
GPU性能一般,怎么实现分布式模型训练?
如果同一台机器上有多个GPU
使用多塔结构(详见tensorflow官方教程)
如果总共只有一个GPU
使用AWS云GPU服务器,最多可租用8个并行的Tesla V100计算图形卡
欢迎关注标题|机器学习干巴巴的商品
补充:
所谓多塔结构就是让每个GPU承担一个小批量的一小部分,并计算每个小批量中每个参数的导数值。最后,平均这些导数值可以完成一批训练