TensorRT : High-performance deep learning inference

안녕하세요, 메이아이의 ML Engineer 정재민입니다. 오늘은 딥러닝 모델을 가속화하는 TensorRT에 대해 소개하려고 합니다.

본문으로 들어가기에 앞서, 여기를 눌러 이동한 뒤 사용하고자 하는 TensorRT의 버전을 클릭하면 필요한 cuda 버전을 찾으실 수 있음을 알립니다. TensorRT이란?

TensorRT는 엔비디아에서 개발한 추론에 최적화되어있는 SDK입니다. 자신이 개발한 모델을 TensorRT로 추론해 보면 엄청난 속도 향상을 가져올 수 있습니다.

그럼 어떻게 TensorRT는 빠르게 추론이 가능할까요? 추론하고자 하는 모델에 대해 TensorRT는 아래와 같이 작업합니다.

Elimination of layers whose outputs are not used. Elimination of operations which are equivalent to no-op The fusion of convolution, bias and ReLU operations Aggre...