16GBx2枚＝総VRAM32GBにできるはず-その4ー75W以下GPU A2と2000 Blackwellの個別ベンチマーク(訂正版)

おばんです。

RTX pro 2000 Blackwell(以下2000Bw)とNvidia A2のベンチマークを取ってみた。勉強になりました。

注意：あくまでも個人の結果ですので、参考までに。細かいところの爪が甘いのはご容赦を。

＜結論＞

○Blackwellはとても優秀！しかし2000Bw は70ｗ上限のため、控えめ性能。

○A2は2000Bwの1/3程度の性能、A2中古価格も１/３程度のため、色々納得できる。60Wだがいろいろ検討していると思う。

○75wのGPUはやはり良いねー750W電源でも余裕の動作。排熱部は熱いけど、熱くない。

○公称能力よりも低い項目あり。なぜだ？

＜使用PCスペック＞

PC: Hp Z4 G4

CPU:W-2235 6core 12thread 

RAM:128GB

SSD:2TB

Slot1: Nvidia A2+60mm fan（SANYO:9RA0612P4J001）

Slot3:Rtx Pro 2000 Blackwell

<ベンチマーク用スクリプト>

○gemini pro君たちに書いてもらいました。

○CUDA：１３．２用pytorch
○Venv環境で実施

○計測内容等

• マルチ精度演算の性能計測: CUDA CoreおよびTensor Coreを利用した各種精度（FP32, TF32, FP16, INT8）の演算速度を測定。

• リアルタイム監視: 演算実行中のGPU最高温度（℃）と平均消費電力（W）をバックグラウンドスレッドで自動記録。

• 適応型動的バッチ処理: 事前に短いウォームアップを行い、指定したテスト時間（デフォルト5秒）に合わせて実行回数とバッチサイズを自動調整。

• 正確なCUDA同期処理: torch.cuda.Event と synchronize() を使用し、非同期処理による誤差を排除した正確な時間を計測。

＜訂正前の結果がオカシイ。＞

○いろいろおかしいと感じたので、再度AI君と壁打ちの結果、スクリプトの修正点は以下の2点

※torch.cuda.set_device(device_id)を記載し、GPU指定を強固にした。

※A2用にRow-MajorからCol-Majorへの転置。

　これはPyTorchの公式GitHubリポジトリ（Issue #165230）に記載がある模様。なお、2000BWはチップが自動で転地した模様。

＜計測項目＞

測定項目	計算内容	出力単位	主な利用用途・ターゲット
CUDA Core (FP32)	32ビット浮動小数点 行列積	TFLOPS	従来の汎用計算・グラフィックス演算
Tensor Core (TF32)	TensorFloat-32（PyTorch TF32有効化）	TFLOPS	Ampere世代以降のDeep Learning学習
Tensor Core (FP16)	16ビット半精度 浮動小数点行列積	TFLOPS	AIモデルの高速学習・推論
Tensor Core (INT8)	8ビット整数行列積（torch._int_mm）	TOPS	量子化AIモデルのエッジ・高速推論
VRAM Bandwidth	要素ごとの加算処理（torch.add）	GB/s	VRAM（GPUメモリ）の転送帯域幅

主要コンポーネント

• VMLManager / NVMLMonitor: プロセス全体のNVML初期化・破棄を安全に管理し、別スレッドで0.2秒間隔で温度と電力を取得。

• measure_gpu_time_duration(): テスト関数を受け取り、ウォームアップ後に最適なバッチ数を算出して指定時間ループ実行。

• run_benchmark(): 各行列サイズ（デフォルト: 4096, 8192, 16384）ごとに全テストを実行し、計算結果を表形式で標準出力。 

<計測手順>

○GPU毎に個別計測を実施。

○GPU1テスト終了後、計測使用率低下を確認し、GPU1を実行。

＜計算途中＞

上：2000 blackwell 下： A2のGPU使用率

＜結果＞

NVIDIA RTX PRO 2000 Blackwell vs NVIDIA A2 性能比較表 (V5 最適化版)

GPU	行列サイズ	FP32 (TFLOPS)	TF32 (TFLOPS)	FP16 (TFLOPS)	INT8 (TOPS)	VRAM帯域 (GB/s)	温度 (最大)	平均電力W (最大)
RTX PRO 2000 BW	4096	9.37	25.95	37.59	93.75	252.54	61℃	70.0
RTX PRO 2000 BW	6144	9.39	24.53	38.46	108.43	251.92	66℃	70.0
RTX PRO 2000 BW	8192	10.61	23.15	37.89	103.15	249.80	72℃	69.9
A2	4096	2.77	8.05	15.71	29.65	189.62	55℃	60.4
A2	6144	2.77	8.12	15.80	30.07	190.19	60℃	59.8
A2	8192	2.76	8.12	15.85	30.27	190.36	63℃	60.2

＜最後に＞

○とても面白かった。ハードウェアの能力を使い切るのは知識が必要。思い知りました。
○同スクリプトがCUDA12.8でも動作したので、Teala P4でも試してみよう。

○（当然ながら）ぶん回せばtesla系は計算機として優秀と思う。
○パッシブGPUの冷却めっちゃ重要。数回目の正直のシュラウド設計は今回が一番良いかな。

○Z4 G4は良いＰＣだわ。

またこんど！

75WパッシブGPUの冷却どうする？ーA2の冷却についてーパッシブは難敵。

おばんです。

機械学習系で冷却が必要なパッシブGPUを試したいという貴兄は多少なりとも、いるはず。私もその一人。Tesla P4 その４でyoloの動作時に、冷却足らないかも？と思ったのは正直なところ。なんせ、とりあえず動けばいいと思っていたので、ファンまで気が回らなかった。。。

今回は、75ＷパッシプGpuに最適な冷却用FAN はどれ？ということで中間まとめ。

＜条件＞

○購入は全て60mmｘ25ｍｍの製品。

○A2とファンとの接続は自作シュラウドを使用する。現状Z４G4 専用シュラウドとする。

＜テストFANリスト＞

テスト品のリストを下表に示します。計５種。

表１　冷却テスト用FANリスト

NO	ファンモデル	メーカー	最大回転数	最大静圧	最大騒音値
1	Thermalright TL-B6B	Thermalright	3200 RPM	1.60 mmH2O	27.7 dBA
2	SF6-S5	山洋電気	3900 RPM	4.08 mmH2O	24.0 dBA
3	9RA0612P4J001	山洋電気	7700 RPM	約13.2 mmH2O	41 dBA
4	AFB0612EH-BZ46	DELTA	6800 RPM	13.81 mmH2O	46.5 dBA
5	H60T12BGA7-07	Nidec	約9500 RPM	max31.0 mmH2O	60 dBA以上

＜テスト方法＞

○OS:ubuntu 24.04 

○GPU：Nvidia A2

○使用PC：HP　Z4 G4のslot 1に装着

○ファンの電源は本体のsata電源から供給

○結果の判断：geminiにA2を100%使用する行列計算スクリプトを書かせて、30分実行し、Mission Centerに表示されるGPUの温度表示その結果をもって良否を判断。

＜結論＞

先に結果から。

パッシブGPUは甘くなかった。60Wでも冷やし切るのは大変。ある程度の騒音を覚悟すべし。

○Misson centor上では　A2のサーマルスロットリング温度は85度と判断。下図に50Wモードでの100%時の温度を掲載します。85度で40Wに下がっている。わたくしの環境だとこの温度に到達すると電力を下げ始めるようです。

５０Wモードでの100%稼働

○連続30分100％で計算させた時に冷却できるFANは３，４，５の３つ。60wでこの状況なので、75WのP4がギリギリ？まして150wのA10や、over 200ＷのP100やV100なんてこの手のファンでの冷却は無理？と今の時点では思っています。
当然ながらGPU温度は最大静圧に依存。最大静圧値が大きい＝GPU冷える、という当たり前といえばあたり前の結果。

○一番冷えるのはNo5のNidec製のサーバー用のFAN。30分100％で回しても51度。冷えるけどうるさい。とってもうるさい。フルスピードで動作させると、もうそこはサーバールームに早変わりです。これならば150wも冷やせるか？

○３，４もフルスピードで運転すると、どれも風切り音が気になります。騒音を気にするとSF6-S5ですが、それほど冷えません。

＜現在の運用＞

　現状のA2の使用には、３の9RA0612P4J001にファンコントロールを間に入れてます。１００％で計算時にはファン全開、通常時には音が気にならないレベルに落として使用しています。40DbA未満のファンでないと静音からは目をつぶらないとダメですね。

＜次のステップ？＞

○3,4,5のファンは75WのP4でも大丈夫？か確認したい。ただ、NIDECのサーバー用H60T12BGA7-07はうるさくてテストから外したい。

○三洋さんには40db未満のファンがあるので、手に入れるか思案中。

○A2000や2000 blackwellの保守用ファンが購入できそうなので、色々試しても良いかも。

＜野望＞

150WのT10とかA10とか１スロットパッシブ冷却GPUも面白そうだけどヒートシンクから作らないと無理かな。いつかは挑戦してみたい。

では、またこんど。

 

Z2 mini G3で遊ぶーその３ Windows11のインストール-まだ使えそう。

おばんです。

HPさん、一体どうした。公式では対応していなかったZ2 mini g3のwindows11対応してる雰囲気ではありませんか。win11が出た当時は対応しない発表でしたが、ふとドライバーDLのページを見ると、なーーーーんと、WIN11の表示が。。。

HP公式のdriver選択画面

え？？？？え？？？？？ナニコレ？？？？？

ということで、（念のため）rufasでインストールチェック項目は外したインストールディスクを使用し、クリーンインストールしましたよ。

WINDWS 11 デスクトップ

はい、23H2、さらっと動きましたよ。ライセンスもデジタルライセンスが問題使用できました。アップデートも動いていたので、25H2や26Ｈ2へのアップデートも多分大丈夫でしょう。

ライセンスも正常認証

＜デバイスマネージャの三角マーク＞

しかし、デバイスマネージャーを開くと見事に３角マークが。

デバイスマネージャ

これらを消すのは下記のドライバーたち。 HP WIN10のIntel chipset ドライバー、IntelManagement Engine Drivers for Windows 10 and Windows 11、Nvidiaのpro用ドライバでok.

必須ドライバー達

多分、Nvidiaドライバーは、この582系が最後かな？もう、Turing以降のＧＰＵを買った方が長く使用できるね。

ドライバーインストール後

ただ、コンパクトPCとしては良い機体のなのでまだまだ使えそうなのはとても良い。
M2,SSDとwifi挿せるし、メモリも３２GBまでは搭載可能だし、M620も搭載しているしね。用途を限ればまだまだ使えるかもね。

（ただいろいろ力不足は否めないので、誰かに譲るか仕舞っておこう。）

では、またこんど。

16GBx2枚＝総VRAM32GBにできるはず-その3 Nvidia A2とRTX Pro 2000 blackwell無事認識。

おばんです。


16GB以上のVRAM搭載のGPUはかなり高額な現在。だから,手の届く額のGPUを２枚挿して、VRAM総容量を向上してみましょう、な企画です。

＜GPU説明＞

では、ここで購入カードのおさらいです。

○NVIDIA純正のいわゆるプロ用カード

○TDP75W以下のGPU

○最大2スロット厚

が基本です。

１）LDC出力用カードは必須。ーーーーーーーー＞RTX pro 2000 blackwell

　　これは、最新のVRAM16GB  TDP 70WのGPUです。

２）追加の16GB搭載カードーーーーーーーーー＞Nvidia　A2

　 これは、Ampere世代のほぼ推論専用のVRAM　16GB 、TDP 60WのGPUです。

はい、2枚の合計130Wです。

搭載するPCはHP Z4 G4。では、装着図です。

＜装着図＞

Z4 G4への設置写真

こんな感じです。

＜ windowsでの認識＞

みんな大好きNVidia-smi

ドライバーは設置時最新の596.36をインストール。A2も同時に認識しました。最新のドライバーで世代の異なるGPUを無事認識。

Z4 G4の構成

＜タスクマネージャ一覧＞
次にタスクマネージャ。

RTX PRO 2000 brackwell

A2はNPUとして表示

CPU：W-2235

RAM：128GB

メモリは高騰する前1.5年くらい前に、ヤフオクで格安で落札できたのが僥倖、僥倖。

＜おわりに＞

あっさり認識して一安心。LMstudioを使用し、合計３２GB=２枚のGPUを使用して16GBより大きなモデルも動作確認。ubuntu上でrtx 2000でIssac SImを動作、A2で他の行列計算を同時に動かせることも確認。

めっちゃ楽しい構成で、安価なわりに快適快適。

DDR5世代のＸＥＯＭマシンのリースアップ製品が安くなるまで、これで十分かな。

（A2やP4のパッシブ冷却ファンについても別報にて。）

で、またこんど。

Windows版のSDKmanagerでJetsonへJetpack7.2のインストールに迷っている方々へ。

おばんです。

※本内容、随時更新予定。

Jatpack 7.2がインストールできるようになりましたね。

インストールできたので、手順を忘れないうちに。

＜全般＞

• OS　windows 10,11　24.04 or 22.04に対応

https://developer.nvidia.com/sdk-manager#host_os_comp_matrix

• SDKmanagerからUSB接続し、インストールする従来の補法では、L4Tを指定ドライブにインストール後、jatpackをコピーする流れに変更はない。
• JP 7.2からインストールメディアを作成し、USBドライブからインストール可能。

→balenaetcher(自動起動し)でインストールディスクを作成しろと促される。

• USBドライブ用ISOファイル作成時、jetsonがSDKmanagerから認識していた方が無難と推測。
• JP5.xからJP7.2へのインストールはできなかった。一度JP6.2をインストール、UEFIを更新後でないとJP7.2はインストールできない。つまりJP7.2のUEFIへは書き換えは6.2のUEFIに更新変更されていないとできない。

※確認方法

nvbootctrl dump-slots-info　を実行後

JP6.2 36.*.0　　JP7.2 39.*.0と表示されればOK。

• JP6.2をインストール、起動後に、JP7.2のSSDに単純交換しても起動しない。bootloderバージョンが異なると起動しない。

<WIN11-SDK MANAGERインストール手順>

• DL SDK manager install　→ログインする。
• Jetsonをリカバリモードで起動する。

※認識されない場合、デバイスマネージャーを確認すること。

三角マークが表示されていると、USBドライバーが当たってないので、USB driver-(zadig-2.9で解消。)-をインストールし、Jetsonを認識させること。

※https://zadig.akeo.ie/

• 認識後、NVME（他のメディア同様？-未確認）に書き込む場合、従来と同様にインストールが進められるはず。

進行途中で、エクスプローラーからL4T-readmeドライブが表示されれば順調。

※Orin nanao dev kitとSeeed J401＋ORIN NX 16GBでインストール可能。

sdkamangerのプログレスバーが10％程度の進行（＝L4T-readmeドライブが表示された時点)で、すでにL4Tが裏で起動しているので、ORINの起動を確認後、ログインする。（updateを実施する。）

ifconfigでipアドレスを確認し、sdkmanagerに戻る。

これからツール類のコピー作業に移る。USB接続でリフレッシュをすると、ifconfig確認したipアドレスが表示されるはず。

同じIPアドレスが表示されるとツール類のコピーが進行するはず。

※途中でjetsonの電源が落ちると、ファイルの確認作業から始まるので時間がかかります。

L4Tインストール後、JETPACKをインストールすることもできる。

＜以下手順＞

sudo apt update

sudo apt install -y nvidia-jetpack

確認方法

• sudo apt show nvidia-jetpack
• dpkg -l | grep nvidia-jetpack

またはjtopをインストールする必要あり。

sudo apt update

sudo apt install python3-pip

sudo -H pip3 install -U jetson-stats --break-system-packages

• wifi driver intel系のwifiモジュールはドライバーがないため、ビルドする必要がある。

＜USBイントールディスク作成＞

• USB3.0ディスク必須。(遅い2.0では途中で止まり、インストールできない。)
• ISO imageはc:programdata\NVIDIA Corporation\SDKsの中に作成されている。
• balenaetcherでコピーを作成。
• 起動時にescキーでUEFIを起動し、bootdriveを指定しUSBbootdriveからインストールを開始できる。
• uefiのバージョンが古いとjp7.2のusbメディアが読めない。

その場合、jp5.x-->jp6.2を一度インストールする必要あり。

インストール前：0.00.01 6.2後：0.0.13　さらに7.2対応のUEFIにupdateの必要あり。

※jetpack 5.xを継続して使用する場合、ubuntu20.04のsdkMANAGER環境は残しておいた方がよい。

起動中のUEFIの確認方法

• nvbootctrl dump-slots-info
• sudo dmidecode -s bios-version

sudo apt-get install -y dmidecode

35.6.0-gcid-43688277

• dmesg | grep -i uefi

インストールUSB挿入->>jetson 再起動->>escキーを連打->>boot manager

＜intel wifi driver build＞

sudo apt update

sudo apt install -y git build-essential bison flex libssl-dev

git clone https://git.kernel.org/pub/scm/linux/kernel/git/iwlwifi/backport-iwlwifi.git

cd backport-iwlwifi

make defconfig-iwlwifi-public

sed -i 's/CPTCFG_IWLMVM_VENDOR_CMDS=y/# CPTCFG_IWLMVM_VENDOR_CMDS is not set/' .config

make -j$(nproc)

sudo make install

sudo modprobe iwlwifi

<Ubuntu 24.04は別の機会に>

またこんど！

Jetpack 6.2以上でintel wifiドライバーが消えたのでインストール。

はい、おばんです。

タイトルの通りです。

以下で、8265ドライバーをインストールしましょう。

ーーーーーーーーーーーーーーーーーーーーーーーーー

#基本

sudo apt update

sudo apt install -y git build-essential bison flex libssl-dev

#ドライバーのDL

git clone https://git.kernel.org/pub/scm/linux/kernel/git/iwlwifi/backport-iwlwifi.git

cd backport-iwlwifi

#makeします。

make defconfig-iwlwifi-public

sed -i 's/CPTCFG_IWLMVM_VENDOR_CMDS=y/# CPTCFG_IWLMVM_VENDOR_CMDS is not set/' .config

#インストールします。

make -j$(nproc)

sudo make install

#JP7.2の場合ファームウェアファイルのコピーが必要

#----8265は適宜変更必要有---------------------------------

cd ~

wget https://git.kernel.org/pub/scm/linux/kernel/git/firmware/linux-firmware.git/plain/intel/iwlwifi/iwlwifi-8265-36.ucode

sudo cp iwlwifi-8265-36.ucode /lib/firmware/

#---------------------------------------

#更新します。

sudo modprobe -r iwlwifi

sudo modprobe iwlwifi

#確認です。

dmesg | grep iwlwifi

sudo nmcli device wifi connect 'あなたのSSID' password 'Wi-Fiのパスワード'

以上。

では、またこんど。

16GBx2枚＝総VRAM32GBにできるはず-その2 16GBx2VRAM搭載可能な機械学習用PC考。

おばんです。

VRM16GB以上のRTX系のGPUを２枚挿して合計32GBーVARMのロマンしかないPCを構築するという企画の２回目です。

AI需要によるRAM等の価格高騰のあおりを受けて、PCパーツが高騰してますね。そこで、機械学習用PCを自分で購入する？組み立てる？と考えた場合、とりあえず完全自作をせずに諸々落ち着くまで、このPCでいいんじゃない？っていう結論を得てました。

（注意：今からスリッパやW3シリーズなどのワークステーションを全て自分で組むぜ！！という人は無視して。)

＜結論＞

実際に触った結果、HP Z4 G4の中古を購入しました。

この時の候補PCは

○HP Z4 G4

○DELL Precision 5820Tower

の２機種です。では、これらに至った経緯は下記に。

＜まずは必要条件＞

○搭載するGPU総メモリ量の約２倍のRAMが’搭載可能。

○旧Quadro系(RTX  RTX A RTX ada 等) GPUを２枚設置可能な電源容量。

○安価に購入できるもの。

○PcIeレーン数が大きい。ーレーン数48のZEON系は必須。

○もっさり動作でないCPU。ーシングルスレッド能力が割と必要。

○ゲームをやらない場合、PCie 3、４、５の差も気にしないので安価に購入できるもの

○700W以上の電源。

＜気にしない事項あるいは欠点等＞

○自分の用途では、メモリDDR５と４の差あまりないと判断。ーDDR4を選択

○ゲームをあまりやらないので、PCIE5.0、4.0も気にしないーPCiE 3.0で十分と判断。なのでblackwell系の場合のカード能力を引き出せないが、気にしない。

※5820、Z4 G4双方でRTX pro 4500 blackwellの動作確認済

○CPUはXEOＮのみ。それゆえRAM はECC registared必須なので、メモリ種類を選ぶ。 

＜あればなおよし次点条件＞

○ windows OSライセンスがマザーボード上にある。- ubuntuのみの場合除く。

○SSDを搭載可能、必要ならばデータ保存領域用HDD搭載が可能。

＜双方共通の利点＞

○パーツの相性問題は比較的少ないと思うーいろいろ情報がネットに落ちている。

○連続運転可能な堅牢な作り。

○完全自作の必要はない。

○場合によりGPU３枚搭載可能。

○中古パーツもe-bayなど入手可能。

では、気づいた注意点

<HP Z4 G4の注意点>

 ○多くに仕様が750w電源の様なので、あるTDP以上のGPU2枚挿しを試みる場合は1000W電源が必要と思われる。その場合、別途購入必要。（電源ケーブルは要確認)

＜DELL Precisioon 5820の注意点＞

○電源は950W仕様を選択すること。（450W仕様もある）

○マザー上にNVME-SSD用スロットが無いのでPCIe用の増設カードか、CPU直結のU2コネクタ接続のSSDとそのM2変換ユニットが必要。

○２枚目のGPU増設時は、追加のGPU用電源ケーブルが必要。

○メモリの搭載法則に決まりがある。ーサービスマニュアル参照。これが地味にメンドクサイ。

○どうやらxeon W-22系の動作はある一定の時期からの様です。試した個体では最新BIOSでもW-2235が起動できなかった。

＜双方の注意点＞

○BIOSが古い場合が想定されるので、最新BIOSに更新するためにW-21x系とメモリ１枚、表示用GPUがあった方が良い。

○WIFIカード搭載にはpciカードが必要。

○どうやらW-21系とW-22系では動作するメモリのランク数が異なるようです。W-21系が１RとW-22系２Rの様。

で、なぜZ4 G4を選択したか？

＜Z4 G4を選択した理由＞

○NVMe SSDスロットがMBに２つあるので、追加ボードなしにそのまま搭載できる。

しかもこのスロットはCPU直結なので、速度低下はなし。

○750w電源がほぼ標準。（75wGPUx3枚は十分）

○ECC必須の割にメモリの自由度が比較的大きかった。5820はメモリの枚数、種類が割と厳格に決められているため、増設などに気を使う。（３枚でも動作。多分5820は動作しない可能性高い。）

○BIOSを最新に更新したところW-2235系が1発動作。

○１スロットGPUが３枚並ぶ絶妙なPCIスロット配列。

○5820より筐体が小さくデザインが好み。

ってなところです。

 DDR4メモリとPCIex3の速度が遅い！と思えるほど能力を上げよう。その頃にはPCIE６対応のワークステーションPCが販売し始め、pcie5搭載PCのリース落ち品が出回る頃でしょう。

次回は、詳細スペックと、RTX pro 2000 blackwellとNVIDIA A2をZ4 G4に搭載し動作確認をしましょう。

では、またこんど！