CUDA란?
CUDA는 Nvidia가 만든 병렬 컴퓨팅 플랫폼 및 API 모델
소프트웨어 개발자들은 CUDA를 사용하여 병렬 처리 연산과 가상 명령어셋을 사용할 수 있음
CUDA가 적용된 딥러닝 라이브러리
- cuDNN(CUDA® Deep Neural Network library) : cuDNN은 엔비디아 CUDA 딥 뉴럴 네트워크 라이브러리, 즉 딥 뉴럴 네트워크를 위한 GPU 가속화 라이브러리의 기초 요소로 컨볼루션(Convolution), 풀링(Pooling), 표준화(Nomarlization), 활성화(Activation)와 같은 일반적인 루틴을 빠르게 이행할 수 있도록 하는 라이브러리
- 딥 러닝 추론 엔진(TensorRT) : TensorRT는 딥 러닝 애플리케이션의 배포를 위한 고성능 뉴럴 네트워크 추론 엔진입니다. 주로 하이퍼스케일 데이터센터, 임베디드, 자율주행 플랫폼의 추론에 쓰이는 훈련된 뉴럴 네트워크를 빠르게 최적화하고, 검증, 배포
- 딥스트림 SDK(DeepStream SDK) : 딥 러닝을 활용한 동영상 분석 애플리케이션의 고 성능 개발을 손쉽게 할 수 있도록 만든 라이브러리. 높은 수준의 C++ API와 고성능 런타임 (High Performance Runtime)을 통해 GPU 가속 트랜스코딩(Transcoding) 과 딥너링 추론(Inference)기능을 빠르게 통합해서 보다 반응이 빠른 AI 기반 서비스를 제공
*엣지 컴퓨팅 : 사용자 또는 데이터 소스의 물리적인 위치나 그 위치와 가까운 곳에서 컴퓨팅을 수행하는 것
엔비디아 블로그 CUDA 툴킷 설명
https://blogs.nvidia.co.kr/2018/01/16/cuda-toolkit/ 참조