이번에는 1번 글에서 소개했던 DP의 단점을 커버하는 DDP에 대해 알아보고 어떻게 사용하는지 정리합니다. DDP도 사용방법에 따라 다양하게 이용할 수 있는데 해당 글은 2-1) mp.spawn을 사용해서 DDP 동작, DDP에서 전체적으로 사용하는 명칭들 2-2) torch.distributed.launch를 사용한 세세한 DDP 구현, torchrun이라는 stcript의 등장 정도로 글을 작성합니다. nn.DistributedDataParallel(=DDP) DDP에 총괄적으로 사용되는 명칭들을 정리합니다.
여기서는 spawn을 사용한 방식, launch를 사용하는 방식, 그냥 데이터 분산학습에서 흔히 사용되는 명칭을 정리합니다. os.environ[“CUDA__VISIBLE_DEVICES”] = 0, 1, 2, 3 : GPU 지정 —nproc_per_node = 4 : 프로세스를 할당( 해당 코드는 1개의 컴퓨터에 GPU 4개인 경우 ) // python -m torch.di...
#
AI학습
#
spawn
#
torch
#
다중지피유
#
데이터분산학습
#
데이터패러럴
#
멀티쓰레드
#
멀티지피유
#
멀티프로세스
#
분산학습
#
인공지능GPU
#
Pytorch
#
MultiGPU
#
mpspawn
#
Apex
#
DataParallel
#
DDP
#
distributed
#
DistributedDataParallel
#
DP
#
GPU
#
GPU여러대사용하기
#
jjunsss
#
launch
#
파이토치
원문 링크 : Multi-GPU 총정리 2
