이번 글에서는 앞선 2번 글에 소개하지 않았던 torch.distributed.launch 유틸을 사용하는 방법과 torchrun 유틸이라는 것의 등장 정도를 소개합니다. DDP with torch.distributed.launch ( torch 버전 1.10 미만 ) 가장 많이 사용되는 방법 여기서는 위에서 설명한 DDP의 실행 유틸인 launch를 사용합니다.
위는 mp.spawn을 사용해 각 GPU에 프로세서를 할당하는 방식을 이용했다면 여기서는 torch.distributed.launch 를 통해 쉽고 빠르게 사용하는 방법을 사용할 수 있습니다. DDP with torch.distributed.launch 구현 실행 방법 python -m torch.distributed.launch --nproc_per_node 4 multigpu.py 여기서 python -m 옵션은 모듈을 스크립트로 사용할 때 필수적으로 들어가야 할 옵션이라고 합니다.
이는 바로 옆에 나오는 torch.d...
#
AI학습
#
인공지능GPU
#
멀티프로세스
#
멀티지피유
#
멀티쓰레드
#
다중지피유
#
torch
#
Pytorch
#
MultiGPU
#
파이토치
#
DDP
#
DistributedDataParallel
#
DP
#
DataParallel
#
GPU
#
GPU여러대사용하기
#
Apex
#
distributed
#
분산학습
#
데이터패러럴
#
데이터분산학습
#
spawn
#
mpspawn
#
launch
#
jjunsss
원문 링크 : Multi-GPU 총정리 3
