第902回
なぜGPUとTPUを混載するのか? あえてCPUを外しFP8も捨てたWaymo独自プロセッサーの徹底した割り切り
2026年11月16日 12時00分更新
carTPUの負荷を劇的に下げる独自開発ISPとイーサネット経由のホスト出力
ついでにISPについても説明があった。下の画像が内部ブロックである。
ここで、以下の処理をしている。
| ISPの仕組み | ||||||
|---|---|---|---|---|---|---|
| MIPI ingest | カメラからRAWデータを取り込み、これをグレースケール化してAlignment Pyramidの生成、(複数のカメラの画像を同期させるために、ピラミッド型の校正ターゲットと呼ばれるデータを生成する)、カメラのエラー補正をする。 | |||||
| ISP | RAWデータをYUV経由でRGBに変換(この際にノイズ削減も実施)、静止画像のコーデック処理、それとYUVベースのピラミッドも生成する。 | |||||
| Patch extractors | YUV Pyramidをベースに注目領域(ROI:Region of Interest)の生成や色空間の変換、それとHDR画像を生成する。 | |||||
ちなみに最後のROIは、物体検出やセグメンテーション、超解像などで利用されるので、これをISP側で生成することでcarTPU側の処理をその分軽減できる。
一般にISPはIPの形で多く存在するし、またイメージセンサーメーカーも自社のイメージセンサー用のISPを提供するのが一般的だ。ただWaymoはもっと踏み込んだ処理をISPにさせたかったために自社で開発した、ということがよくわかる。実際にこのISPを利用した結果が下の画像となる。
上が通常のISP、下がWaymoのISPを利用した結果で、色が正しく認識されたり、エッジがちゃんと検出できたりといった違いがあるとする(が、筆者の目が曇ってるせいかよくわからない。確かに色目は違うが)
ちなみにRadar/LiDARに関しては基本GPUで処理することになる。こちらは点群データだからcarTPUには向いてないという話は先に触れたが、MIPIのI/Fないしイーサネット経由でRadar/LiDARの点群データを取得したら、これを利用できる形に変換して検出なり推定なりを行なうまでがCPUの処理となる。
おもしろいのはここからで、その結果はPCIeではなくイーサネットでホスト側に送り出すことだ。PCIeは本当にホストからSFPの制御をするためだけに存在しているのかもしれない。
AIチップの説明というよりも、自動運転向けのAIとはどうあるべきなのかに対する1つの回答を示した講演、という感じの内容であった。
週刊アスキーの最新情報を購読しよう
本記事はアフィリエイトプログラムによる収益を得ている場合があります





