CPUはコア8とかスレッド16とか数えれるスレッドしか持ってない。
GPUはプロセッサ数がRTX5090で21760、シェーダと表現するが、
厳密にいうと今スレッド16とかやってるのと21760では次元が違う。
（RTX5080シェーダは10752、RTX5080がRTX5090の半額なのはそこ）

ここからは違う視点から見てみる。
パソコンを使用時に、CPUのスレッド16を全て使うものは無い。
同じようにRTX5090が21760シェーダを全て同時使うものは無く、
nVidia開発言語のCUDAのスレッド最大数は1024と制限されてる。


一般の方でも分かりやすいように
（スレッドとシェーダがややこしいのでスレッドに統一）
CPUのスレッド、GPUのスレッドを道路の車線と置き換えてみる。
処理しなければならないスレッド工数を、車だと仮定する。
処理(車)が詰まった時にどちらが渋滞しないか一目瞭然のはず。

プロは当然これらを詳細に理解してる、毎日使う道具がそれなら
パソコンの仕事は基本待つことが仕事だから終わるのが早くなる。
スレッド最大数は1024だが、21760÷1024=21工数を同時処理できる。

私はITの世界では高齢だから今更必要ないが、
私が30代だったら並んでも買いたいRTX5090に100万なら出せる。
毎日帰宅時間が22時から18時になるなら、100万なんて全然安い。


昭和の感覚で書くのは申し訳ないが、GPUはヒトに似てる。
掃除用ロボットと人との違いでCPUとGPUを説明してみようと思う。
掃除ロボは、LED表示、清掃、自走、衝突時変更で4スレッドCPU、
人のマルチタスクは、パソコンやスマホに向かい文章を入力し、
同時に並行処理しながら、音楽を聴く、歩く、食べる、飲む…
これらがCUDAでスレッド最大数は1024と制限されている。

肝心のCUDAスレッド数は年々増えてきている。
スレッド数がまだ1024に制限されてるから生成AIはまだなだけ。
私がもし政治家なら、スレッド最大数は絶対規制を入れたい。
ささっと書いただけなので…間違いがあったら指摘してください

https://www.nvidia.co.jp/docs/IO/59373/VolumeI.pdf
CUDAを一番簡単に書いた基礎の基礎