마지막으로 자세하게는 알아보지 않지만, 추가적으로 어떤 방법을 사용해서 Multi-GPU를 사용할 수 있는지 알아보는 글입니다. 추후에 사용할 일이 있다면 더 자세하게 작성할 것 같습니다.
Apex 엔비디아에서 제공하는 Multi-GPU 방법이라고 합니다. [ APEX ] 근데 살펴보니까 Apex에 작성된 코드들은 결국 Pytorch에 업스트림되고, 현재 Distributed leaning 관련한 코드들은 이미 파이토치에 업데이트 적용이 완료되었다고 합니다. 따라서 따로 만들어서 실험할 필요는 없는 것 같습니다.
또한 Apex를 사용하는 이유 중 하나인 AMP ( automatic mixed precision )도 곧 파이토치에 업로드가 전부 완료도리 것 같습니다. Pytorch Lightning 요즘 가장 핫합니다.
더럽게 모델을 안짜도되고, 편하게 GPU도 사용할 수 있습니다. 또한 Multi-GPU를 사용하는 방법도 다양해서 취향에 맞게 선택할 수 있습니다.
시간상 여기까지 직...
#
AI학습
#
spawn
#
torch
#
다중지피유
#
데이터분산학습
#
데이터패러럴
#
멀티쓰레드
#
멀티지피유
#
멀티프로세스
#
분산학습
#
인공지능GPU
#
Pytorch
#
MultiGPU
#
mpspawn
#
Apex
#
DataParallel
#
DDP
#
distributed
#
DistributedDataParallel
#
DP
#
GPU
#
GPU여러대사용하기
#
jjunsss
#
launch
#
파이토치
원문 링크 : Multi-GPU 총정리 5
![[2022 마이 블로그 리포트] 올해 활동 데이터로 알아보는 2022 나의 블로그 리듬](https://mblogthumb-phinf.pstatic.net/MjAyMjEyMTNfNiAg/MDAxNjcwOTE4NDcxODgz.fGo_Q_3y-2eAvlifarBxboxI2XSgaoIgj3I3ys5Wljog.1Nu1WKPGNI1fafdOThOUibYRMooXjt_4-zpNDAZrUjwg.PNG.jjunsss/my_blog_report.png?type=w2)
