m0_70315952: 你好，为什莫我运行之后显示Traceback (most recent call last): File "C:\Users\86159\Desktop\1.py", line 5, in import matplotlib.pyplot as pltModuleNotFoundError: No module named 'matplotlib'我的matplotlib库已经安装了

Jokic_Rn: DDP用2张卡，batch设置为4，相当于总batch=2*4,DP模式batch设置为4，总batch就是4

m0_61976256: 为什么单卡训练batch设置为2可以跑起来,而采用DDP用2卡batch设置为4反而跑不起来了？直接报显存不足。采用DP模式2卡又可以跑起来了。

Jokic_Rn: 第一个问题，比如训练模型要70G显存，可以选择用一个80G的GPU训练，也可以用4块24G的GPU做多卡训练，也可以用4台电脑，每台电脑有1块24G的GPU进行训练，这最后一种方式就是分布式训练，当然也可以在1台服务器上用4块卡实现分布式。多卡训练只在一个卡上创建模型训练，其他的卡用来存梯度，分布式（ddp）相当于每张卡都创建了模型训练，共享梯度结果训练2.验证的时候保持和原来的代码一样就可以

xx_xjm: 博主，我想请问一下，model在DDP以后有哪些变化呢？就是说，ddp_model = ddp(model,...)这样的情况下，ddp_model和model有什么不同呢？而且，分布式训练的时候如果训练过程中要做validate，该用model还是ddp_model呢？