Tensor Processing Unit board / Official Site Tensor Processing Unit 나무위키 Tensor Processing Unit의 약자. 구글에서 2016년 5월에 발표한 데이터 분석 및 딥러닝용 하드웨어이다.
벡터/행렬연산의 병렬처리에 특화되어 있으며 넘사벽급의 전성비를 자랑한다. 비결은 8비트 정수 연산을 활용하는 것이다.
이는 NVIDIA등에서도 실현한적 있다. 차이점이라면, TPU는 모델의 실행뿐만 아니라 학습 과정에도 8비트 정수 연산을 활용할 것으로 추정된다는 것.
(자세한 정보 공개가 없는 상황이라 정확하진 않지만) GPGPU에서 딥러닝에 필요한 것들만 남기고 나머질 다 빼버린 설계와 비슷하다는 추측도 있다. 성능 항목의 PCI-E 병목 문제를 생각하면 APU(정확히는 HSA)나 NVLINK에 가까운 구조를 포함하는 것일 수도 있다.
NVIDIA의 경우에는 P100과 같은 칩셋으로 16비트 부동소숫점 연산을 사용해 모델을 훈련시...
