週刊アスキー

  • Facebookアイコン
  • Xアイコン
  • RSSフィード

なぜGPUとTPUを混載するのか? あえてCPUを外しFP8も捨てたWaymo独自プロセッサーの徹底した割り切り

2026年11月16日 12時00分更新

carTPUの負荷を劇的に下げる独自開発ISPとイーサネット経由のホスト出力

 ついでにISPについても説明があった。下の画像が内部ブロックである。

ISPの仕組み。YUV Pyramidは1フレーム未満の時間で生成されるという

 ここで、以下の処理をしている。

ISPの仕組み
MIPI ingest カメラからRAWデータを取り込み、これをグレースケール化してAlignment Pyramidの生成、(複数のカメラの画像を同期させるために、ピラミッド型の校正ターゲットと呼ばれるデータを生成する)、カメラのエラー補正をする。
ISP RAWデータをYUV経由でRGBに変換(この際にノイズ削減も実施)、静止画像のコーデック処理、それとYUVベースのピラミッドも生成する。
Patch extractors YUV Pyramidをベースに注目領域(ROI:Region of Interest)の生成や色空間の変換、それとHDR画像を生成する。

 ちなみに最後のROIは、物体検出やセグメンテーション、超解像などで利用されるので、これをISP側で生成することでcarTPU側の処理をその分軽減できる。

 一般にISPはIPの形で多く存在するし、またイメージセンサーメーカーも自社のイメージセンサー用のISPを提供するのが一般的だ。ただWaymoはもっと踏み込んだ処理をISPにさせたかったために自社で開発した、ということがよくわかる。実際にこのISPを利用した結果が下の画像となる。

これは先週の講演でも出てきたもの。上が1フレームの画像からの結果で、下が複数フレームを利用したデノイズを実施した結果

上が通常のISP、下がWaymoのISPを利用した結果で、色が正しく認識されたり、エッジがちゃんと検出できたりといった違いがあるとする(が、筆者の目が曇ってるせいかよくわからない。確かに色目は違うが)

HDRの効果。向かいからのヘッドライトがあってもその奥が見える、トンネルの出口の先がちゃんと認識できるなど、こちらはHDRの効果がわかりやすい

 ちなみにRadar/LiDARに関しては基本GPUで処理することになる。こちらは点群データだからcarTPUには向いてないという話は先に触れたが、MIPIのI/Fないしイーサネット経由でRadar/LiDARの点群データを取得したら、これを利用できる形に変換して検出なり推定なりを行なうまでがCPUの処理となる。

この処理用にはGPU側にも相応にメモリーが必要と思うのだが、おそらくこれは外付けのLPDDR5xでカバーする方向なのだろう

 おもしろいのはここからで、その結果はPCIeではなくイーサネットでホスト側に送り出すことだ。PCIeは本当にホストからSFPの制御をするためだけに存在しているのかもしれない。

検出結果や推定だけでなく、点群データもホストに戻すようだ

 AIチップの説明というよりも、自動運転向けのAIとはどうあるべきなのかに対する1つの回答を示した講演、という感じの内容であった。

この記事をシェアしよう

週刊アスキーの最新情報を購読しよう

本記事はアフィリエイトプログラムによる収益を得ている場合があります

この連載の記事