这个问题在小虎使用ddp遇到，解决方法是换一个端口号码。

解决方法

把port number改一下，可能这个端口号被占用了。比如原来是12345，改成23456。
Change to another port number, since the one may be occupied

参考

https://github.com/microsoft/DeepSpeed/issues/3916#issuecomment-1631188967