卒業生とその進路

逐次最小二乗法に基づくオンライン学習ハードウェアのFPGAアーキテクチャに関する研究


南川 滉瑛

2020 年度 卒 /修士(情報科学)

修士論文の概要

本研究は、近年の人工知能技術と IoT 技術の進歩により注目されているレザバーコン ピューティングを実現する FPGA アーキテクチャに関するものである。現在、第三次 AI ブームと呼ばれ特に深層学習 (Deep Learning) を利用した画像認識技術や自然言語処 理技術は大きく発展している。一方で時系列処理を必要とするタスクに対して、再帰 的ニューラルネットワークといった時系列処理を得意とするニューラルネットワーク が用いられている。しかしながら一般的な RNN は計算量が多く、勾配消失問題により 多層になるほどバックプロパゲーションが難しくなるっといった不安定な面を抱えて いる。一方で、レザバーコンピューティングは時系列を予測可能な再帰的ニューラル ネットワークの一種で一般的な RNN と比較して計算量が少なく、低電力での学習が期 待される。学習には最小二乗法が用いられ逆行列演算が必要不可欠であるが、リソー ス的にコストが大きい、オンライン学習に向いていないといった面を持っている。そ こで、逐次最小二乗法を用いた FORCE Learning という学習手法を用いることで学習演 算から逆行列演算を排除し、より実用に向いた専用アーキテクチャの構築を試みた。

本研究は 2 つのパートに分かれて進行する。

まず最初に、ソフトウェア演算では成し得ない低消費電力、低リソース、リアルタ イム性を両立するエッジコンピューティング向け専用学習器の開発にあたり、効率の 良いアーキテクチャを求め、実用に近いハードウェアの設計を行った。実装に向けて、 量子化、パイプライン化など様々な検討を行い、最終的に電力、速度、リソース数、精 度の面から評価を行った。また、同じく IoT の分野で多く利用されるミニコンピュー タである Raspberry pi と比較を行い、専用ハードウェアの優位性を示した。さらに、あ らゆるニューロン数に対応可能であるというスケーラビリティの高さを示した。

続くパートでは、最高性能の CPU と GPU をもってしても成し得ない 1 マイクロ秒 オーダーで処理を行う超高速学習器に向けたアーキテクチャの検討を行った。動作周 波数のクロックアップや並列化、アーキテクチャ改善、複数サンプリング法など様々 な手法の有効性について議論した後、検討結果を駆使してアーキテクチャの設計を行 い、シミュレーション上での動作を確認したと共に、将来性について示した。

これらの 2 パートの研究を通し、低消費電力、リアルタイム処理が可能なシングルコア

FORCE Learning Acceleratetr の設計及び高速処理が可能なマルチコア FORCE Learning Acceleratetr の将来性を示すに至った。

招待講演/セミナー

  1. 鈴木 駿也, 南川 滉瑛, "レザバーコンピューティングの基礎と実践," 東京エレクトロンAIワークショップ2019, 東京エレクトロン札幌事業所, Sapporo, Japan (Jul. 19, 2019).
  2. 鈴木 駿也, 南川 滉瑛, 浅井 哲也, "フィジカルレザバーの実現に向けた制約・課題/単一ノードを用いたReservoir Computing," 富士通研究所専門技術セミナー, 富士通研究所, Kawasaki, Japan (Nov. 16, 2018).
  3. 南川 滉瑛, 鈴木 駿也, 浅井 哲也, "レザバー計算機およびFORCE学習の基礎理論とそのPython実装," 富士通研究所専門技術セミナー, 富士通研究所, Kawasaki, Japan (Nov. 16, 2018).

国際会議

  1. Suzuki S., Minamikawa K., Akai-Kasaya M., and Asai T., "Electronic implementation of a physical reservoir composed of discrete semiconductor devices," The 2020 RISP International Workshop on Nonlinear Circuits, Communications and Signal Processing, Hilton Waikiki Beach Hotel, Honolulu, USA (Feb. 28-Mar. 2, 2020).
  2. Minamikawa K., Suzuki S., Akai-Kasaya M., and Asai T., "26-bits 400-neurons 0.3-ksps FORCE learning FPGA core for reservoir computing," The 2020 RISP International Workshop on Nonlinear Circuits, Communications and Signal Processing, Hilton Waikiki Beach Hotel, Honolulu, USA (Feb. 28-Mar. 2, 2020).
  3. Minamikawa K., Takamaeda-Yamazaki S., Ikebe M., Motomura M., and Asai T., "FPGA-based FORCE learning accelerator towards real-time online reservoir computing," The 2019 RISP International Workshop on Nonlinear Circuits, Communications and Signal Processing, Hilton Waikiki Beach Hotel, Honolulu, USA (Mar. 4-7, 2019).

国内学会

  1. 鈴木 駿也, 南川 滉瑛, 赤井 恵, 浅井 哲也, "ディスクリート半導体素子による物理レザバーの実装," 電子情報通信学会 非線形問題研究会, 宮古島マリンターミナル, (沖縄), 2020年1月23-25日.
  2. 南川 滉瑛, 鈴木 駿也, 赤井 恵, 浅井 哲也, "26-bit 400-neuron 0.3-ksps レザバーコンピューティング向けFORCE学習FPGAコア," 電子情報通信学会 非線形問題研究会, 宮古島マリンターミナル, (沖縄), 2020年1月23-25日.