magozironのブログ

徒然なるままに備忘録などなど

16GBx2枚=総VRAM32GBにできるはず-その3 Nvidia A2とRTX Pro 2000 blackwell無事認識。

おばんです。


16GB以上のVRAM搭載のGPUはかなり高額な現在。だから,手の届く額のGPUを2枚挿して、VRAM総容量を向上してみましょう、な企画です。

 

<GPU説明>

では、ここで購入カードのおさらいです。

○NVIDIA純正のいわゆるプロ用カード

○TDP75W以下のGPU

○最大2スロット厚

が基本です。

1)LDC出力用カードは必須。ーーーーーーーー>RTX pro 2000 blackwell

  これは、最新のVRAM16GB  TDP 70WのGPUです。

2)追加の16GB搭載カードーーーーーーーーー>Nvidia A2

  これは、Ampere世代のほぼ推論専用のVRAM 16GB 、TDP 60WのGPUです。

はい、2枚の合計130Wです。

 

搭載するPCはHP Z4 G4。では、装着図です。

 

<装着図>

 

Z4 G4への設置写真

こんな感じです。

< windowsでの認識>

みんな大好きNVidia-smi

ドライバーは設置時最新の596.36をインストール。A2も同時に認識しました。最新のドライバーで世代の異なるGPUを無事認識。

 

Z4 G4の構成

<タスクマネージャ一覧>
次にタスクマネージャ。

RTX PRO 2000 brackwell

A2はNPUとして表示

CPU:W-2235

 

RAM:128GB

メモリは高騰する前1.5年くらい前に、ヤフオクで格安で落札できたのが僥倖、僥倖。

 

<おわりに>

あっさり認識して一安心。LMstudioを使用し、合計32GB=2枚のGPUを使用して16GBより大きなモデルも動作確認。ubuntu上でrtx 2000でIssac SImを動作、A2で他の行列計算を同時に動かせることも確認。

めっちゃ楽しい構成で、安価なわりに快適快適。

DDR5世代のXEOMマシンのリースアップ製品が安くなるまで、これで十分かな。

(A2やP4のパッシブ冷却ファンについても別報にて。)

 

で、またこんど。

 

 

Windows版のSDKmanagerでJetsonへJetpack7.2のインストールに迷っている方々へ。

おばんです。

 

※本内容、随時更新予定。

 

Jatpack 7.2がインストールできるようになりましたね。

インストールできたので、手順を忘れないうちに。

 

<全般>

  • OS windows 10,11 24.04 or 22.04に対応

https://developer.nvidia.com/sdk-manager#host_os_comp_matrix

  • SDKmanagerからUSB接続し、インストールする従来の補法では、L4Tを指定ドライブにインストール後、jatpackをコピーする流れに変更はない。
  • JP 7.2からインストールメディアを作成し、USBドライブからインストール可能。

→balenaetcher(自動起動し)でインストールディスクを作成しろと促される。

  • USBドライブ用ISOファイル作成時、jetsonがSDKmanagerから認識していた方が無難と推測。
  • JP5.xからJP7.2へのインストールはできなかった。一度JP6.2をインストール、UEFIを更新後でないとJP7.2はインストールできない。つまりJP7.2のUEFIへは書き換えは6.2のUEFIに更新変更されていないとできない。

※確認方法

nvbootctrl dump-slots-info を実行後

JP6.2 36.*.0  JP7.2 39.*.0と表示されればOK。

  • JP6.2をインストール、起動後に、JP7.2のSSDに単純交換しても起動しない。bootloderバージョンが異なると起動しない。

 

<WIN11-SDK MANAGERインストール手順>

  • DL SDK manager install →ログインする。
  • Jetsonをリカバリモードで起動する。

※認識されない場合、デバイスマネージャーを確認すること。

三角マークが表示されていると、USBドライバーが当たってないので、USB driver-(zadig-2.9で解消。)-をインストールし、Jetsonを認識させること。

https://zadig.akeo.ie/

  • 認識後、NVME(他のメディア同様?-未確認)に書き込む場合、従来と同様にインストールが進められるはず。

進行途中で、エクスプローラーからL4T-readmeドライブが表示されれば順調。

※Orin nanao dev kitとSeeed J401+ORIN NX 16GBでインストール可能。

 

sdkamangerのプログレスバーが10%程度の進行(=L4T-readmeドライブが表示された時点)で、すでにL4Tが裏で起動しているので、ORINの起動を確認後、ログインする。(updateを実施する。)

 

ifconfigでipアドレスを確認し、sdkmanagerに戻る。

これからツール類のコピー作業に移る。USB接続でリフレッシュをすると、ifconfig確認したipアドレスが表示されるはず。

同じIPアドレスが表示されるとツール類のコピーが進行するはず。

※途中でjetsonの電源が落ちると、ファイルの確認作業から始まるので時間がかかります。

 

L4Tインストール後、JETPACKをインストールすることもできる。

<以下手順>

sudo apt update

sudo apt install -y nvidia-jetpack

確認方法

  • sudo apt show nvidia-jetpack
  • dpkg -l | grep nvidia-jetpack

またはjtopをインストールする必要あり。

 

sudo apt update

sudo apt install python3-pip

sudo -H pip3 install -U jetson-stats --break-system-packages

 

  • wifi driver intel系のwifiモジュールはドライバーがないため、ビルドする必要がある。

 

<USBイントールディスク作成>

  • USB3.0ディスク必須。(遅い2.0では途中で止まり、インストールできない。)
  • ISO imageはc:programdata\NVIDIA Corporation\SDKsの中に作成されている。
  • balenaetcherでコピーを作成。
  • 起動時にescキーでUEFIを起動し、bootdriveを指定しUSBbootdriveからインストールを開始できる。
  • uefiのバージョンが古いとjp7.2のusbメディアが読めない。

その場合、jp5.x-->jp6.2を一度インストールする必要あり。

インストール前:0.00.01 6.2後:0.0.13 さらに7.2対応のUEFIにupdateの必要あり。

※jetpack 5.xを継続して使用する場合、ubuntu20.04のsdkMANAGER環境は残しておいた方がよい。

 

起動中のUEFIの確認方法

  • nvbootctrl dump-slots-info
  • sudo dmidecode -s bios-version

sudo apt-get install -y dmidecode

35.6.0-gcid-43688277

 

  • dmesg | grep -i uefi

 

インストールUSB挿入->>jetson 再起動->>escキーを連打->>boot manager

 

<intel wifi driver build>

sudo apt update

sudo apt install -y git build-essential bison flex libssl-dev

 

git clone https://git.kernel.org/pub/scm/linux/kernel/git/iwlwifi/backport-iwlwifi.git

cd backport-iwlwifi

 

make defconfig-iwlwifi-public

sed -i 's/CPTCFG_IWLMVM_VENDOR_CMDS=y/# CPTCFG_IWLMVM_VENDOR_CMDS is not set/' .config

make -j$(nproc)

 

sudo make install

sudo modprobe iwlwifi

 

<Ubuntu 24.04は別の機会に>

 

またこんど!

Jetpack 6.2以上でintel wifiドライバーが消えたのでインストール。

はい、おばんです。

 

タイトルの通りです。

以下で、8265ドライバーをインストールしましょう。

ーーーーーーーーーーーーーーーーーーーーーーーーー

#基本

sudo apt update

sudo apt install -y git build-essential bison flex libssl-dev

#ドライバーのDL

git clone https://git.kernel.org/pub/scm/linux/kernel/git/iwlwifi/backport-iwlwifi.git

cd backport-iwlwifi

#makeします。

make defconfig-iwlwifi-public

sed -i 's/CPTCFG_IWLMVM_VENDOR_CMDS=y/# CPTCFG_IWLMVM_VENDOR_CMDS is not set/' .config

#インストールします。

make -j$(nproc)

sudo make install

 

#JP7.2の場合ファームウェアファイルのコピーが必要

#----8265は適宜変更必要有---------------------------------

cd ~

wget https://git.kernel.org/pub/scm/linux/kernel/git/firmware/linux-firmware.git/plain/intel/iwlwifi/iwlwifi-8265-36.ucode

 

sudo cp iwlwifi-8265-36.ucode /lib/firmware/

#---------------------------------------

 

#更新します。

sudo modprobe -r iwlwifi

sudo modprobe iwlwifi

 

#確認です。

dmesg | grep iwlwifi

sudo nmcli device wifi connect 'あなたのSSID' password 'Wi-Fiのパスワード'

 

以上。

 

では、またこんど。

16GBx2枚=総VRAM32GBにできるはず-その2 16GBx2VRAM搭載可能な機械学習用PC考。

おばんです。

 

VRM16GB以上のRTX系のGPUを2枚挿して合計32GBーVARMのロマンしかないPCを構築するという企画の2回目です。

AI需要によるRAM等の価格高騰のあおりを受けて、PCパーツが高騰してますね。そこで、機械学習用PCを自分で購入する?組み立てる?と考えた場合、とりあえず完全自作をせずに諸々落ち着くまで、このPCでいいんじゃない?っていう結論を得てました。

(注意:今からスリッパやW3シリーズなどのワークステーションを全て自分で組むぜ!!という人は無視して。)

 

<結論>

実際に触った結果、HP Z4 G4の中古を購入しました。

この時の候補PCは

○HP Z4 G4

○DELL Precision 5820Tower

の2機種です。では、これらに至った経緯は下記に。

 

<まずは必要条件>

○搭載するGPU総メモリ量の約2倍のRAMが’搭載可能。

○旧Quadro系(RTX  RTX A RTX ada 等) GPUを2枚設置可能な電源容量。

○安価に購入できるもの。

○PcIeレーン数が大きい。ーレーン数48のZEON系は必須。

○もっさり動作でないCPU。ーシングルスレッド能力が割と必要。

○ゲームをやらない場合、PCie 3、4、5の差も気にしないので安価に購入できるもの

○700W以上の電源。

 

<気にしない事項あるいは欠点等>

○自分の用途では、メモリDDR5と4の差あまりないと判断。ーDDR4を選択

○ゲームをあまりやらないので、PCIE5.0、4.0も気にしないーPCiE 3.0で十分と判断。なのでblackwell系の場合のカード能力を引き出せないが、気にしない。

※5820、Z4 G4双方でRTX pro 4500 blackwellの動作確認済

○CPUはXEONのみ。それゆえRAM はECC registared必須なので、メモリ種類を選ぶ。 

 

<あればなおよし次点条件>

○ windows OSライセンスがマザーボード上にある。- ubuntuのみの場合除く。

○SSDを搭載可能、必要ならばデータ保存領域用HDD搭載が可能。

 

<双方共通の利点>

○パーツの相性問題は比較的少ないと思うーいろいろ情報がネットに落ちている。

○連続運転可能な堅牢な作り。

○完全自作の必要はない。

○場合によりGPU3枚搭載可能。

○中古パーツもe-bayなど入手可能。

 

では、気づいた注意点

<HP Z4 G4の注意点>

 ○多くに仕様が750w電源の様なので、あるTDP以上のGPU2枚挿しを試みる場合は1000W電源が必要と思われる。その場合、別途購入必要。(電源ケーブルは要確認)

 

<DELL Precisioon 5820の注意点>

○電源は950W仕様を選択すること。(450W仕様もある)

○マザー上にNVME-SSD用スロットが無いのでPCIe用の増設カードか、CPU直結のU2コネクタ接続のSSDとそのM2変換ユニットが必要。

○2枚目のGPU増設時は、追加のGPU用電源ケーブルが必要。

○メモリの搭載法則に決まりがある。ーサービスマニュアル参照。これが地味にメンドクサイ。

○どうやらxeon W-22系の動作はある一定の時期からの様です。試した個体では最新BIOSでもW-2235が起動できなかった。

 

<双方の注意点>

○BIOSが古い場合が想定されるので、最新BIOSに更新するためにW-21x系とメモリ1枚、表示用GPUがあった方が良い。

○WIFIカード搭載にはpciカードが必要。

○どうやらW-21系とW-22系では動作するメモリのランク数が異なるようです。W-21系が1RとW-22系2Rの様。

 

で、なぜZ4 G4を選択したか?

<Z4 G4を選択した理由>

○NVMe SSDスロットがMBに2つあるので、追加ボードなしにそのまま搭載できる。

しかもこのスロットはCPU直結なので、速度低下はなし。

○750w電源がほぼ標準。(75wGPUx3枚は十分)

○ECC必須の割にメモリの自由度が比較的大きかった。5820はメモリの枚数、種類が割と厳格に決められているため、増設などに気を使う。(3枚でも動作。多分5820は動作しない可能性高い。)

○BIOSを最新に更新したところW-2235系が1発動作。

○1スロットGPUが3枚並ぶ絶妙なPCIスロット配列。

○5820より筐体が小さくデザインが好み。

ってなところです。

 

 DDR4メモリとPCIex3の速度が遅い!と思えるほど能力を上げよう。その頃にはPCIE6対応のワークステーションPCが販売し始め、pcie5搭載PCのリース落ち品が出回る頃でしょう。

 

次回は、詳細スペックと、RTX pro 2000 blackwellとNVIDIA A2をZ4 G4に搭載し動作確認をしましょう。

 

では、またこんど!

16GBx2枚=総VRAM32GBにできるはず-その1 Nvidia A2を買ってみた。とりあえず紹介。


おばんです。

 

<初めに>

Tesla P4に続き75w以下パッシブ冷却GPUシリーズ第2弾として、A2をとあるバイヤーから買ってみた。

なぜ75W以下を選ぶのかは、非常に単純で下記の3点。

○補助電源が必要ない。

○複数枚設置しても、電源容量をさほど気にせず増設できるから。

○本体は1スロット厚なので、冷却の工夫次第で複数枚並べられ易い。

 

<A2の選択理由>

そこで、75W以下パッシブGPUシリーズは調べたところおおよそ下記の通り(括弧内は搭載VRAM容量)、

Tesla M4(4GB) ⇒ Tesla P4(8GB) ⇒ Tesla T4(16GB) ⇒  Nvidia A2(16GB) ⇒  Nvidia L4(24GB) 

最新のL4はまだ非常に高価(50万以上)なため買えない。T4も性能はよさそうだが若干高価(最低10万)。今後長く使用すると想定し、ドライバー類の供給期間を想定するとAmpere世代のA2に決定。

ま、結局のところ、P4の次に安価だからなんだけどね。

 

気になるSPECは下記で確認ください。

https://www.nvidia.com/ja-jp/data-center/products/a2/

 

<A2外観>

写真は下記。高級感のある筐体に変わった。

中古品の様だが、ロープロブラケット付き、外面青いフィルム付きで使用感は殆どなし。よしよし。

Nvidia A2外観

上面

 

<MB装着ー理想図>

さて、Z2 G4に設置した図を掲載。この時点で、2+8+16で総VRAM26GB仕様。
しかも、GPU3枚で補助電源必要なしの200W以下。これは良い。

Z2 G4設置図

<野望>

Z4 G4にRTX pro 2000 black well +Nvidia A2を搭載し、総VRAM 32GBのPCを構築予定。

電源は標準の750Wのままで運用可能なはず。

 

さて、サーマルスロットリングを避けるために冷却ファン用部品を考えよう。

 

またこんど!

NVIDIA TESLA P4を買ってみたーその4 パッシブGPUの冷却はひと工夫必要

おばんです。

 

今回は、TESLA P4の続きで、Tesla P4を搭載したZ2 tower G4でDocker環境構築の練習中に判明しました。

 Realsenseを使用したストリーミングテストを行うため、yoloのリアルタイムdetectionを実施しました。OSはUbuntu 22.04LTS。ドライバーはPascal系最終ドライバーを適用。Docker buildを実施し、Docker環境内でPythonスクリプトを実施。

結果は下図の通り。リアルタイムdetection中のFPSは常時19位。CPUもE-2226で十分余裕。

しかし、P4がサーマルスロットリングを起こしているようで、フルパワーでは動いていない様子。

 

P4の動作状況ー必要なのは強いFAN

しばらく眺めていると、GPU温度が76度近辺で張り付いているが、電力はふらふら。冷却が不足しているのか、処理が余裕なのか。やはり冷却不足と考えるのが妥当と思う。

冷却用ケースは2代目で初代より効率は向上しているはずなので、不足しているのはFANの能力。現在、三洋電機さんのFANを入手を画策中。入手後、ここに掲載しよう。

P4は練習用には十分はGPUと改めて思います。16GBのA2も欲しいなぁ。


それでは、またこんど!

HP Z4 G4でRTX pro 2000 blackwallが動作した。

おばんです.

 

pci3.0でpci5.0カードが動作するか否か確認の確認シリーズ。

今回は、Z4 G4にRTX pro 2000 blackwallに搭載し動作確認をしてみた。

 

<設置様子>

下図が設置の様子。P2000の隣に設置。デュアルGPUにしてみました。搭載前に最新のBIOSに更新をすませ、BiosでRisize barの項目や、x16をx8x2 とx4x4に速度分割できることを確認済。この項目を確認できたことで高確率で動作することを期待できます。

 

設置図 P2000と共に

 

では、起動。


はい、無事に動作しました。いや嬉しい。

Z4 G4動作確認

ちなみに、最新のドライバーではP2000ははじかれます。認識しません。1つ前のドライバーであれば、双方認識しました。

<ベンチマーク>

 

DirectX medium

DirectX High

 

OpenGL High

 

今回のZ4 G4はDELLのT5820よりもCPU性能が低い4コアなため、ベンチマークの結果が低いですね。CPUを換装すればもう少しスコアは伸びそう。


流石にカードの性能は十分に発揮できませんが、ベンチマークの結果に一喜一憂しない猛者にとっては良いワークステーションと思ふ。

では、またこんど!