卒業生とその進路

エッジAIコンピューティングに向けたハードウェア指向深層強化学習と対数量子化オプティマイザに関する研究


山岸 善治

2021 年度 卒 /修士(情報科学)

修士論文の概要

近年注目されているエッジコンピューティングは、クラウドの負荷を軽減できる、通信環境に左右されない、セキュリティに優れているなど、多くの利点がある。そのため多くの研究者が、様々な機械学習をエッジコンピューティングで実装しようと日々奮闘している。 まず最初に、深層強化学習の1種類であるDeep Q-Network(DQN)の特徴に着目した改良を行った。DQNは通常ソフトウェアベースのアプローチによって改良される。一方で我々は、データパスやパイプラインに関するなどをはじめとする、ハードウェア固有の知識をDQNの改良に活用し、DQNの学習フローやパラメータ探索を考慮した効率的なハードウェア設計を行った。その結果、DQNの性能向上とリソース数の削減に成功し、特に問題の規模が大きい時は、従来のDQNと比較した資源の使用量の削減量も大きい。具体的には、Block catch gameが5×10の場合、従来のDQNと比較して、必要メモリが約50%も削減された。このパートでの改良により、エッジコンピューティングで深層強化学習を実現する兆しが見えた。しかし、エッジコンピューティングの(面積や実行時間、電力などの)制約の大きさを鑑みると、この段階では未だ実用的なところまでは届いていない。特に深層強化学習の特徴の1つでもある「膨大な学習回数」は学習全体の実行時間や電力に大きな影響を与える。 よって続くパートでは、これを改善するためにDQNの学習の根幹部分でもあるニューラルネットワークの改良を行った。ニューラルネットワークは、推論部分と学習部分に分けられるが、推論部分に比べて学習部分をエッジコンピューティングに実装する研究はあまり行われていない。これは、学習部分が推論部分よりも多くのメモリと計算量を必要とするため、エッジコンピューティングで利用できるリソースの限界を容易に超えてしまうためである。この問題を解決するため、我々は学習部分の心臓部であるオプティマイザに着目し、既存のオプテイマイザにはない新たな視点を取り入れ、ハードウェアの特性や強みを考慮した新しいオプテイマイザHolmes(Hardware-oriented logarithmic momentum estimation)を発明した。このパートではHolmesの性能を、学習進度と収束速度の観点から他の最適化器と比較・評価し、最後にメモリ要件や演算要件など、ハードウェア実装の重要な側面についても議論した。その結果、Holmesは既存のオプテイマイザと比較して必要リソースが少なく、学習収束も速いのでエッジコンピューティングと相性が良いことが確認できた。このHolmesは深層強化学習に限らず、様々な機械学習をエッジコンピューティング上で実現できる可能性も秘めていると我々は考えている。

学術論文

  1. Yamagishi Y., Kaneko T., Akai-Kasaya M., and Asai T., "Holmes: A hardware-oriented optimizer using logarithms," IEICE Transactions on Information and Systems, vol. E105-D, no. 12, pp. 2040-2047 (2022).
  2. Yamagishi Y., Kaneko T., Akai-Kasaya M., and Asai T., "Hardware-oriented deep reinforcement learning for edge computing," Nonlinear Theory and Its Applications, vol. E12-N, no. 3, pp. 526-544 (2021).

特許

  1. 浅井 哲也, 山岸 善治, 金子 竜也, "最適化装置及び最適化方法並びに最適化用プログラム," 特願2022-011651(2022年1月28日), 特開2023-110297(2023年08月09日).

国際会議

  1. Yamagishi Y., Kaneko T., Akai-Kasaya M., and Asai T., "Hardware design of the target Q-network for edge-oriented deep reinforcement learning," RISP International Workshop on Nonlinear Circuits, Communications and Signal Processing 2021, pp. 30-34, Online (Mar. 1-3, 2021).

受賞

  1. 山岸 善治, 令和3年度北海道大学大学院情報科学院 - 学院長賞(修士), 2022年3月24日.
  2. 山岸 善治, 令和3年度 電子情報通信学会北海道支部 - 学生奨励賞, 2022年3月11日.
  3. 山岸 善治, 文 清一, "SF-アシスト," Vieureka Camera App Challenge 2021(アイデア部門)- ユニーク賞, Dec. 10, 2021.
  4. Kaneko T., Yamagishi Y., Asai T., and Momose H., "Reconfigurable AI shield for embedded microcontrollers," Maker Faire Roma 2019 - MAKER OF MERIT 2019, Oct. 20, 2019.

国内学会

  1. 金子 竜也, 山岸 善治, 百瀬 啓, 浅井 哲也, "エッジAIのオンライン学習に向けたハードウェア指向対数量子化オプティマイザの提案," 電子情報通信学会複雑コミュニケーションサイエンス研究会, 北海道 ルスツリゾートホテル&コンベンション, (ハイブリッド開催), 2022年3月27日.
  2. 山岸 善治, 金子 竜也, 赤井 恵, 浅井 哲也, "エッジ学習に向けたモーメンタム最適化法のハードウェア設計," 2021年電子情報通信学会ソサイエティ大会, (オンライン開催), 2021年9月14-17日.
  3. 金子 竜也, 山岸 善治, 百瀬 啓, 浅井 哲也, "アナログAIデバイスのオンライン学習に向けた学習アルゴリズムとそのFPGAアーキテクチャ," 第34回 回路とシステムワークショップ, 北九州国際会議場, (小倉), 2021年8月26-27日.
  4. 山岸 善治, 金子 竜也, 百瀬 啓, 赤井 恵, 浅井 哲也, "強化学習を用いたマイコン制御ロボットアーム間の物体移動評価," 2021年電子情報通信学会総合大会, (オンライン開催), 2021年3月9-12日.
  5. 金子 竜也, 山岸 善治, 百瀬 啓, 浅井 哲也, "アナログAIチップのオンライン学習に向けた改良型デジタルバックプロパゲーション法の提案," 第30回日本神経回路学会全国大会, (オンライン開催), 2020年12月2-5日.
  6. 金子 竜也, 山岸 善治, 百瀬 啓, 浅井 哲也, "エッジAIに向けた三値バックプロパゲーション法とそのFPGA実装," 電子情報通信学会 非線形問題研究会, 宮古島マリンターミナル, (沖縄), 2020年1月23-25日.