PyTorch - 동적 계산 그래프(dynamic computation graph)

동적 계산 그래프(dynamic computation graph)는 PyTorch에서 사용하는 특징적인 기술 중 하나로,

동적 계산 그래프는 모델을 정의하면서 동시에 계산 그래프를 만들고, 이를 통해 모델이 학습하는 동안 그래프가 자동으로 업데이트되는 방식이다.

기존의 딥러닝 프레임워크에서는 정적 계산 그래프(static computation graph)를 사용하는 경우가 많았는데, 정적 계산 그래프는 모델을 정의할 때 미리 계산 그래프를 만들어 놓는 방식이다. 이는 모델을 한 번 정의하면 그 이후에는 수정이 불가능하며, 모델을 정의할 때 모든 계산 그래프를 한 번에 만들어야 한다.

 

PyTorch에서는 Autograd라는 자동 미분 기능을 통해 동적 계산 그래프를 구현한다.

* Autograd는 모델의 파라미터를 업데이트하면서 자동으로 계산 그래프를 업데이트하며, 이를 통해 미분 계산을 자동으로 수행한다.