우분투 환경에서 GPU를 활용한 pytorch 환경 만들기

Windows 11에서 WSL 환경을 통한 리눅스 환경 설정은 아래 링크의 이전 포스팅을 참고

2024.09.24 - [Pytorch framework/1. Setting] - 윈도우 11에서 WSL을 이용한 우분투 개발 환경 만들기

    필요 패키지 설치

우분투 운영체제 위에 GPU 훈련을 위한 파이토치 환경 설정은 WSL과 리눅스에 모두 동일하게 진행할 수 있음

쿠다툴킷을 설치하기 전 우분투 OS만 설치된 순정 상태라면 아래 명령어를 통해 필수 패키지를 설치

sudo apt update
sudo apt install build-essential

 

apt update 실행 화면

위 명령어를 실행하면 설치 여부를 묻는 yes / no 입력에서 y 입력으로 설치 계속 진행

build-essential 설치 화면

 

---

    APT의 default cuda-toolkit 설치

WIN + R 실행 창에 cmd를 입력하거나 windows powershell에서 PC에 GPU 드라이버가 설치되어 있는지 아래 명령어를 통해 확인

nvidia-smi

gpu 런타임 드라이버 확인 (1행 중앙 Driver vesion) 및 추천 cuda-toolkit 버전 (1행 우측 CUDA version) 확인

 

현재 GPU 드라이버가 설치되어 있다면 우분투의 apt install 명령어를 통해 간단하게 cuda-toolkit을 설치할 수 있음

sudo apt install nvidia-cuda-toolkit

아래와 같이 필요한 패키지 및 라이브러리들을 자동으로 설치

nvidia-cuda-toolkit 설치 과정

설치가 끝난 후 nvcc -V를 명령창에 입력하여 cuda-toolkit이 정상적으로 build 되었는지 확인

기본적으로 apt default cuda-toolkit을 위와 같이 설정해주어야 nvcc -V 명령어가 정상적으로 동작

이후에 추가적으로 필요한 cuda-toolkit은 따로 설치해주는 것이 좋음

---

    내 PC에 설치할 수 있는 CUDA 버전 확인

cuda-toolkit의 경우 현재 본인 GPU 디바이스와 드라이버의 버전에 따라 사용가능한 버전이 달라짐

따라서 특정 버전의 cuda-toolkit이 필요한 경우 아래 위키피디아 링크를 참조하여 자신의 현재 디바이스에서 cuda-toolkit이 사용가능한지 우선적으로 확인하는 것이 중요

https://en.wikipedia.org/wiki/CUDA

CUDA - Wikipedia

위키피디아 GPUs supported 섹션에 가면 디바이스의 SDK 버전에 따라 사용가능한 cuda의 버전을 정리해 두었음

필자의 경우 RTX3090 GPU를 현재 사용하기 때문에 아래와 같이 지원되는 SDK 버전을 확인

자신의 SDK 버전을 확인했다면 정상적으로 이용이 가능한 cuda-toolkit의 버전은 아래 같은 섹션의 아래 테이블에서 확인할 수 있음

---

    추가 cuda-toolkit 설치하기

apt를 이용해서 default로 설치되는 CUDA를 사용하는 것이 아니라 추가적으로 cuda를 설치하고 싶다면 위에서 설치가능한 CUDA를 아래 링크의 nvidia 홈페이지에서 다운로드 하면 된다

https://developer.nvidia.com/cuda-toolkit-archive

CUDA Toolkit Archive

 

포스팅은 geforce RTX3090 GPU에서 12.1 버전의 CUDA를 실행하는 것을 진행

일반적으로 12.1.x와 같이 12.1 CUDA 안에서도 서브 버전이 배포되어 있는 것을 볼 수 있는데 이런 경우 보통 필자는 해당 버전의 가장 latest 버전을 다운받는 것을 추천함

아카이브에서 12.1.1 버전을 클릭하여 진입하면 아래와 같은 버전 선택 창이 활성화됨

빨간색 박스 순서대로 선택하면 아래 창에 해당 버전에 맞는 설치 명령어를 보여줌

위 명령어를 사용하여 우분투 터미널에서 그대로 실행해도 문제없으나 필자는 아래와 같이 일부 수정하여 진행

wget을 통해 실행파일을 다운받는 것은 위에서 알려준 그대로 아래와 같이 진행

wget https://developer.download.nvidia.com/compute/cuda/12.1.1/local_installers/cuda_12.1.1_530.30.02_linux.run

인터넷이 정상적으로 연결되어 있다면 아래와 같이 다운로드가 진행됨

 

이후 현재 CUDA가 설치된 상황에서 추가로 CUDA를 설치하는 것이기 때문에 불필요한 드라이버 혹은 build를 진행할 필요가 없음

따라서 아래와 같이 toolkit만 설치하는 명령어로 다운로드 받은 실행 파일을 실행

sudo sh cuda_12.1.1_530.30.02_linux.run --toolkit

 

명령어 실행 후 약간의 대기 시간 이후에 아래와 같은 라이센스 동의 창이 활성화됨

accept를 입력하여 다운로드 진행

설치할 몇 가지 항목들이 선택되어 있는데 CUDA toolkit을 제외하고는 필요한 선택사항들은 아니나 변경을 따로 하지 않고 설치를 진행함

키보드의 방향키를 통해 아래 커맨드 라인을 이동하여 install로 가서 enter 입력

설치가 끝나면 아래와 같이 CUDA 다운로드가 종료됨

설치가 완료된 후 /usr/local 경로에 추가로 설치된 CUDA 버전의 폴더가 생성됐는지 확인

여기까지 진행한 경우 정상적으로 CUDA가 설치된 것임

하지만 이후에 추가로 설치된 CUDA 버전을 이용하기 위해서는 추가 작업이 필요
즉, 추가 CUDA를 설치했다고 해서 운영체제에서 감지되는 cudatoolkit 버전이 바로 바뀌지 않음!!
중요) 따라서 새롭게 설치된 CUDA를 실행파일을 통해 환경 변수를 수정해야됨

---

    환경 변수 편집

아래 명령어를 통해서 우분투 운영체제의 환경 설정을 변경할 수 있음

sudo nano ~/.bashrc

해당 명령어는 sudo: 관리자 권한으로, nano: 편집기, ~/.bashrc: 파일을 수정하겠다는 명령어

관리자 명령어를 실행하면 비밀번호를 입력하도록 요구됨

해당 계정의 비밀번호를 입력하고 편집기로 파일을 열면 아래와 같은 환경 설정 파일을 확인할 수 있음

해당 파일의 맨 아래로 방향키를 이용해 이동한 뒤 아래 명령어를 입력하여 원하는 버전으로 변경될 수 있도록 환경 변수 경로를 추가

아래 명령어는 CUDA_HOME이라는 변수를 선언하고 기존에 있던 각 환경 변수 경로 ($PATH, $LD_LIBBARY_PATH)에 환경 변수 경로를 수정하는 것이라고 보면 됨

export CUDA_HOME=/usr/local/cuda-12.1
export PATH=$CUDA_HOME/bin:$PATH
export LD_LIBRARY_PATH=$CUDA_HOME/lin64:$LD_LIBRARY_PATH

위와 같이 환경 변수를 추가로 설정한 후 저장하고 편집기를 종료해야함

nano 편집기에서 아래 리스트에 보이는 것들이 실행가능한 명령어 목록이라고 이해하면 됨

"^"은 키보드의 ctrl 키를 의미하므로 exit하기 위해서 ctrl + x를 입력하면 됨

저장 옵션에서는 y를 입력하고 편집기를 빠져나오면 편집이 완료됨

환경 설정 파일을 수정했으므로 변경된 설정으로 환경 설정을 아래 명령어를 통해 다시 적용해줌

source ~/.bashrc

이렇게 버전을 바꿔주면 기존에 nvcc -V을 통해 확인되던 CUDA 11.5가 아닌 CUDA 12.1 버전으로 변경된 것을 확인 가능함

변경 전

변경 후

다시 원래대로 default CUDA 버전으로 되돌리고 싶으면 export는 현재 세션의 변수만 수정하기 때문에 bashrc 파일에 작성했던 부분을 지우고 저장한 뒤 터미널을 빠져나왔다가 다시 접속하면 수정된 것을 확인할 수 있음

---

위에 포스팅한 것처럼 쿠다 버전을 변경하는 것이 다수의 CUDA 버전을 활용하는 경우라면 번거로울 수 있으니 아래와 같이 함수를 하나 만들어 ~/.bashrc 파일에 추가해두면 간단하게 버전을 바꿀 수 있음

# Function to set the CUDA version
set_cuda_version() {
    if [ -z "$1" ]; then
        echo "Usage: set_cuda_version <version>"
        return 1
    fi

    local cuda_version=$1
    local cuda_path="/usr/local/cuda-$cuda_version" 

    # Check if the specified CUDA version exists 
    if [ ! -d "$cuda_path" ]; then
        echo "Error: CUDA version $cuda_version not found at $cuda_path." 
        return 1
    fi

    echo "Setting CUDA version: $cuda_version"

    # Add environment variables
    {
        echo "export CUDA_HOME=$cuda_path"
        echo "export PATH=\$CUDA_HOME/bin:\$PATH"
        echo "export LD_LIBRARY_PATH=\$CUDA_HOME/lib64:\$LD_LIBRARY_PATH"
    } >> ~/.bashrc

    # Reload ~/.bashrc
    source ~/.bashrc

    echo "CUDA environment variables have been set."
}

# To use the function, add the following line to ~/.bashrc:
# set_cuda_version <version>

해당 코드를 nano 편집기로 다시 bashrc  파일에 들어가 맨 아래에 작성

sudo nano ~/.bashrc

ctrl + x를 눌러 저장 후 편집기를 빠져나오면 아래 명령어를 통해 CUDA 버전 변경이 가능함

set_cuda_version 12.1

 

---

글 맺음

---

GPU를 사용하기 위한 환경 설정과 관련된 포스팅은 전부 작성되어 이후에는 파이토치를 설치 포스팅 진행 예정

1. 우분투 설치:

2020.05.02 - [Linux (Ubuntu)/1. 우분투 18.04 기본 세팅] - 우분투 18.04 설치 USB 만들기 및 설치

2. 우분투 그래픽 드라이버 설치:

2020.05.05 - [Linux (Ubuntu)/1. 우분투 18.04 기본 세팅] - 우분투 18.04 그래픽 드라이버 설치

3. 아나콘다 설치

2024.09.24 - [Linux (Ubuntu)] - 우분투 운영 체제에서 Anaconda 설치