コンテンツにスキップ

AIアクセラレータとは

AIアクセラレータとは、機械学習のアルゴリズム、とりわけニューラルネットワークを実行するために用意した専用の演算エンジンです。 産総研とNEDOの共同リリースの用語欄も、機械学習向けに作られたアルゴリズムを走らせる機能単位という位置づけでこの語を用いています。

まず範囲を絞っておきます。この語が指し示すのは、チップ全体よりも小さい単位、つまりチップの中の一区画です。産総研が2022年3月に公表したリリースは、AIアクセラレータを機能単位と呼び、標準システム回路と組み合わせてはじめてAIチップになるという立て方をしています。

では、なぜ専用の区画を作るのでしょうか。Google Cloudの日本語ドキュメントは、CPUを汎用プロセッサとし、メモリから値を取り出し、演算し、その結果をふたたびメモリへ書き込む往復を繰り返すものとしています。同ドキュメントは、メモリへの出入りが演算そのものより時間を要し、チップ全体の処理量に上限を作る現象をフォンノイマンボトルネックと呼んでいます。GPUについても、1つのプロセッサ内に数千個(一般に2,500〜5,000個)の演算器を備えて処理量を稼ぐ一方、汎用プロセッサという立場のため、演算のたびにレジスタや共有メモリへ出入りする点でCPUと同じ課題を抱えると述べています。

AI処理は、同じ形の演算を大量に繰り返します。ならば、その演算だけを引き受ける回路を作り、汎用のための仕組みを削れば、同じ仕事をより小さい電力で終えられます。AIアクセラレータは、この考えを回路に落としたものです。

物差しは、1ワットあたりの処理量

Section titled “物差しは、1ワットあたりの処理量”

NEDOとルネサスが2022年12月8日に公表したリリースは、AI処理に大量の演算が要るため、既存のAIチップでは消費電力が膨らんで発熱し、それが実用化を妨げていたとしています。カメラやロボットの装置内へAIチップを載せるには発熱を抑えるファンを付ける必要があり、実装費用が膨らみ、設置スペースが要り、ファンの騒音や故障も課題になっていたと述べています。同リリースは、これらを解消するには、パソコンなら100Wクラスを費やして行うような高度なAI処理を、数W以内に収める性能が要るとしています。

ここから、AIアクセラレータを語るときの物差しが決まります。同リリースは、電力効率を1ワット当たりのTOPS(1秒当たりの演算回数、兆回/秒)で示しています。同リリースの注釈は、この数値が大きいほど、ある問題をある速度でこなす際の消費電力が小さくなるとしています。

同じ演算量を、何ワットでこなすか
電力が、装置に収まるかを左右します100Wクラスの機器冷却ファンの設置が要ります実装コストの増大・設置スペースファンの騒音・故障数W以内放熱対策を省けますカメラ・自動搬送車・サービスロボットの中へAIアクセラレータが引き受ける領域です物差しは1ワット当たりのTOPS、つまり同じ電力でこなせる演算回数ですNEDOとルネサスの試作チップは1W当たり10TOPS、従来技術比で最大10倍と公表されています
AIアクセラレータの良し悪しは、絶対的な速さよりも、同じ演算量を何ワットでこなすかで語られます。NEDOとルネサスのリリースによれば、この差がカメラやロボットの中へ収まるかどうかを左右します。

同じリリースによれば、ルネサスは独自のAIアクセラレータ「DRP-AI」に軽量化の技術を重ねたAIチップを作り、1W当たり10TOPS、従来技術比で最大10倍の電力効率へ届きました。この数値は、10分の1に軽量化した畳み込み層で試作チップを性能評価した結果です。

DRP-AIの中身は二つの部分から成ります。DRPは、演算器どうしのつなぎ方を、実行する内容に合わせてクロック単位で組み替えるルネサス独自のハードウェアです。同リリースは、必要な演算回路だけが動くため消費電力が小さくなると述べています。もう一方のAI-MACは、ニューラルネットワークで多用する積和演算に特化した演算ユニットで、大量の積和演算器を並列に動かします。

軽量化のほうは、認識精度への影響が小さい演算を省くプルーニングという手法です。同リリースは、演算量を最大90%削減したモデルでも、認識精度の低下は3%程度にとどまり、ほぼ同等の精度を得られたとしています。ハードウェアの並列性と、省く演算の不規則さとの食い違いが以前からの課題でしたが、DRP-AIの動的な回路切り替えにより、細かく省いた場合でも演算をスキップできたと述べています。

アクセラレータは、チップの一部です

Section titled “アクセラレータは、チップの一部です”

演算エンジンが速くても、製品になるまでには周囲の回路が要ります。産総研が2022年3月22日に公表したリリースは、実環境での性能を確かめるには、演算エンジンに標準システム回路まで足したSoC、いわゆるAIチップを作り、システムとして測る段取りが要るため、多くのコストと時間がかかっていたと述べています。

そこでNEDO・産総研・東京大学は、標準システム回路、検証回路、テスト回路、評価ボードなどを共通基盤技術として用意し、AIアクセラレータ向けの評価プラットフォームとして中小・ベンチャー企業へ提供しています。同リリースは、これによりAIチップの設計と評価を従来比45%以下の期間、低コストで行えるとしています。

実証チップ「AI-One」では、仕様の異なる6種類のAIアクセラレータが、CMOS 28nmプロセスの同じチップに同居しています。同リリースは、試作したチップで6種類すべてが設計どおりの周波数で動いたとし、CPUを800MHzで走らせた状態から各アクセラレータがLPDDR4メモリへ設計値どおりの帯域(24.8GB/s)でデータを送れたことも確かめたとしています。これらは同プラットフォームの実証チップでの測定値です。

独自に設計する部分と、共通で用意する部分
AIチップ(SoC)の中で、アクセラレータが占める位置ですAIチップ(SoC)AIアクセラレータ各社が独自に設計しますCPU(800MHz動作)LPDDR4メモリ 24.8GB/s検証・テスト回路共通部分を先に用意すると設計と評価の期間は従来比45%以下実証チップAI-Oneは6種類を28nmの同一チップへ搭載しました演算エンジンの速さと同じくらい、チップに載せて動くかどうかが実用を左右します
AIアクセラレータはAIチップの一区画で、CPUやメモリインタフェース、検証・テスト回路が周囲を固めます。産総研のリリースによれば、この共通部分をあらかじめ用意して提供すると、設計と評価の期間は従来比45%以下になります。

製品では、冷却の設計に表れます

Section titled “製品では、冷却の設計に表れます”

量産品では、電力効率が筐体の設計へ直に届きます。ルネサスの製品ページは、RZ/V2LがDRPとAI-MACで構成したビジョン向けAIアクセラレータ「DRP-AI」を内蔵するとし、その電力性能の高さにより、ヒートシンクや冷却ファンといった放熱の追加対策を省けるとしています。同ページはまた、DRP-AIがAI推論と、カメラ応用に必須の色補正やノイズリダクションなどの画像処理の2役をこなすため、画像処理用のISP(イメージシグナルプロセッサ)を1つ省いた構成でビジョンAIを組めるとしています。ここは同社の製品ページの記述です。

演算エンジンを1つ足したことが、部品表と筐体の設計まで届いています。AIアクセラレータの価値は、この届き方に表れます。

AIアクセラレータとは何ですか?

産総研とNEDOの共同リリースの用語欄は、AIアクセラレータを、機械学習向けに作られたアルゴリズム、とりわけニューラルネットワークを走らせるための機能単位としています。

GPUもAIアクセラレータですか?

用途を絞った演算エンジンという意味では近い位置にあります。ただしGoogle Cloudの日本語ドキュメントは、GPUを汎用プロセッサとし、数多くのアプリケーションを支える必要から、演算のたびにレジスタや共有メモリへ出入りする点でCPUと同じ課題を抱えると述べています。

なぜ速さより電力効率で語られるのですか?

発熱が製品化を左右するためです。NEDOとルネサスのリリースは、既存のAIチップでは消費電力が膨らんで発熱し、実用化を妨げていたとし、カメラやロボットへ載せるにはファンが要り、実装費用・設置スペース・騒音・故障も課題になっていたとしています。

「1W当たり10TOPS」とはどういう意味ですか?

NEDOとルネサスのリリースは、TOPSを1秒当たりの演算回数(兆回/秒)を表す単位として使い、電力効率を1ワット当たりのTOPSで示しています。同リリースの注釈は、この数値が大きいほど、ある問題をある速度でこなす際の消費電力が小さくなるとしています。

AIアクセラレータを設計すれば、それでAIチップになりますか?

産総研のリリースは、実環境での性能を確かめる段になると、演算エンジンに標準システム回路まで足したSoC、いわゆるAIチップを作り、システムとして測る段取りが要るため、多くのコストと時間がかかっていたと述べています。

演算を減らすと認識精度は落ちますか?

NEDOとルネサスのリリースは、ルネサスの試作チップについて、演算量を最大90%削減しても認識精度の低下は3%程度にとどまり、ほぼ同等の精度を得られたとしています。結果はモデルによって動きます。

実際の製品ではどう役立ちますか?

ルネサスの製品ページは、RZ/V2Lについて、DRP-AIの電力性能の高さにより、ヒートシンクや冷却ファンといった放熱の追加対策を省けるとしています。

この記事の事実は、誰でも読める公開資料を根拠とし、各URLの到達可否をこちらで実測しています。したがって、リンク先が移動または消滅した場合は、その旨をこのページへ反映します。

回答待ち 更新中 公開Q&A

このページの質問窓口

AIに疑問を送る

「匿名で送信する」を押して内容を送ると、受付ID付きの回答URLを発行します。URLでは進捗を追うことができ、通常は1日以内に回答します。個人情報を取り除いて編集した質問と回答だけを、承認済み資料の出典リンクとともに公開Q&A一覧へ掲載します。

通常、1日以内に回答します 回答待ち 更新中

  1. 匿名で送る 分かりにくい箇所、指摘、追加してほしい内容を書きます。
  2. 受付IDと回答URLを保存する 送信後に発行されるURLへ、進捗が順次反映されます。
  3. 進捗と回答を追う URLには、受付済み、回答作成中、解決済みの状態と回答が載ります。
公開Q&A一覧へ 5〜4,000文字。氏名・連絡先などの個人情報、秘密情報は入力禁止です。

このフォームは匿名です。氏名・連絡先・応募情報などの個人情報、秘密情報、社外秘情報、契約情報、非公開資料の入力は禁止です。投稿原文は運営用DBに保存し、公開面には、個人情報・秘密情報・危険な命令を除く安全審査と読みやすい文章への編集を経た質問文と回答だけを載せます。状態は「受付済み」「回答作成中」「解決済み」の3段階です。安全審査の結果によっては公開を保留します。サイト側の機械検査を通った内容だけを運営側のAI回答作成環境へ送り、回答案の作成と、それとは独立したAI審査に使います。機械検査には見落としの可能性があり、回答作成と審査の履歴は利用中の環境に保持されます。IPアドレスや端末情報は送信対象外です。回答URLは公開Q&A用で、共有先からも開けます。送信により、この利用条件と審査後のQ&A公開に同意したものとします。