バージョンが違うとインストールすら失敗して面倒なことになるので、実際に稼働したものを入れていきます。
動作した環境に適用したもの一覧
- Visual Studio Community 2022
- CUDA v124
- Python 3.10.6
- PyTorch 2.2.1+cu121
- auto-gptq 0.7.1
🔳 環境構築手順
Visual Studio 2022
C++のライブラリが必要です。Visual Studioで入れる必要があります。
- 「C++によるデスクトップ開発」にチェックを入れ、右側のメニューにあるオプションから「MSVC v140 – VS 2015 C++ ビルドツール(v14.00)」を選択してください。
※これが無いとauto-gptqのインストール時にC++のコンパイルエラーが出るので必須です。
CUDA Toolkit
- Version12であればPytorchとサブバージョンの値が違っていても問題なさそうです。CUDA124とPyTorch 2.2.1+cu121で問題なし。
Python 3.10.6
PythonはStableDiffusionを使う関係でこのバージョンを入れます。最新の3.12を入れると他のインストーラーの対応が出来てないようで失敗する可能性が高いです。
C++コンパイルのエラーで躓いて環境にまる一日費やした結果、多分このPythonのバージョンが変わるとC++のコンパイル時に参照している先が変わってエラーが発生すると思われます。
PyTorchのインストール
パッケージバージョンを削除する：PyTorchが2.2.1+cu121ではない場合は現在のパッケージのバージョンをアンインストールする。pip uninstall torch torchvision torchaudio
のコマンドを実行してパッケージをアンインストールします。
PyTorchのバージョンは以下で確認します。
python -c "import torch; print(torch.__version__)"
PyTorchは次の内容で導入して下さい。
pip install torch==2.2.1 torchvision==0.17.1 torchaudio==2.2.1 --index-url https://download.pytorch.org/whl/cu121
Accelerateライブラリをインストール
pip install accelerate
optimumライブラリをインストール
pip install optimum
auto-gptqのインストール
auto-gptqは、LLM(大規模言語モデル)の量子化を簡単に行うためのパッケージです。
pip install auto-gptq==0.7.1
auto-gptqはバージョンの指定なしでもよさそうですが、動作しているものを念のために指定します。
コメント