北海道大学 大学院情報科学研究院

卒業生とその進路

ディスクリート半導体素子とFPGAで構成された物理レザバー計算機の評価と性能向上に関する研究


阿部 佑紀

2023 年度 卒 ／修士（情報科学）

修士論文の概要

近年、人工知能(AI)とその関連技術のニーズが高まっている。コンピューターの性能向上とインターネットの浸透により私たちの生活は一変し、現実世界での「活動」は仮想世界の「操作」へ続々と置き換えられている。そのため日常生活から膨大なデータを収集できるようになり、このデータの総称として「ビッグデータ」という言葉が生まれた。ビッグデータは大規模な消費者のニーズ調査や市民の行動分析を可能にするものであり、企業や研究機関の関心を集め、データを処理する過程で活用されるディープラーニングといったAI関連技術のニーズが最高潮に達している。しかし、既存のソフトウェアを主体とした機械学習処理はセントラルプロセッシングユニットやグラフィクスプロセッシングユニットといった汎用演算装置を用いて行うため、電力効率が良好とは言えない。また、演算に伴う負荷の分散やリアルタイム処理を目的とした、エッヂデバイスへの実装もコスト面や回路規模面から困難と言える。

こうした背景から、注目されているキーワードの一つに、レザバーコンピューティングがある。レザバーコンピューティングとは、過去から現在までの入力に応じて次の出力が決まる関数の予測に優れた機械学習モデルである。このモデルはニューラルネットワークの中でも再帰型ニューラルネットワーククラスに分類されるが、従来の再帰型ニューラルネットワークに分類されるモデルとは異なりネットワークの構造は結合重みが固定化された、レザバーと呼ばれるネットワークになっており、出力重みだけが学習されるようになっている。この特徴のため、モデルが学習の過程で必要とする演算リソースを大幅に削減することができ、レザバーコンピューティングはリソース効率の良い機械学習モデルとして知られている。また、この構造故レザバーは過去の入力の影響を保存する物理系に代替できることが知られている。

本研究では電子回路で設計された物理レザバーの性能評価、及びシミュレーションとの比較とそれらの考察を行った。この電子回路レザバーは同研究室の卒業生である鈴木俊也先輩が設計したデバイスであり、学習部であるFORCE学習機は南川滉瑛氏の開発したアーキテクチャである。これら二つのデバイスを連結させて性能評価を行なったところ、短期の予測精度はシミュレーションに迫る結果が得られたが、短期の記憶容量はシミュレーションから大きく減衰していることが確認できた。そこで、性能低下の原因はシミュレーションから実機への変更点にあると考え、学習方法の変更や8bit量子化の有無、熱雑音の有無に注目し原因の調査を行なったほか、電子回路レザバーとFORCE学習機を分離し単体での動作も検証した。この調査の結果、8bit量子化と学習方法の変更が大きな影響を与えていることが判明したほか、電子回路レザバー単体はシミュレーションに近い性能を出せていることが判明した。

よって、電子回路で構成された物理レザバーというコンセプトが立証された一方、学習部は選択の余地があると判明した。この結果を元に、基盤の再設計や学習機側の処理を見直しを検討したい。

学術論文

  1. Tamada K., Abe Y., and Asai T., "Resource-efficient streaming architecture for ensemble Kalman filters designed for online learning in physical reservoir computing," Nonlinear Theory and Its Applications, vol. , (2025), in press.
  2. Tatsumi S., Abe Y., Nishida K., and Asai T., "Physical reservoir replication using small-scale digital calibration reservoir," Nonlinear Theory and Its Applications, vol. E15-N, no. 4, pp. 851-860 (2024).
  3. Abe Y., Nakada K., Hagiwara N., Suzuki E., Suda K., Mochizuki S., Terasaki Y., Sasaki T., and Asai T., "Highly-integrable analogue reservoir circuits based on a simple cycle architecture," Scientific Reports, vol. 14, no. 1, 10966 (2024).
  4. Abe Y., Nishida K., Akai-Kasaya M., and Asai T., "High-order polynomial activation function and regenerative internal weights for FPGA implementation of reservoir computing," Nonlinear Theory and Its Applications, vol. E15-N, no. 2, pp. 262-272 (2024).
  5. Abe Y., Nishida K., Ando K., and Asai T., "SPCTRE:Sparsity-constrained fully-digital reservoir computing architecture on FPGA," International Journal of Parallel, Emergent and Distributed Systems, vol. 39, no. 2, pp. 197-213 (2024).

特許

  1. 寺崎 幸夫, 中田 一紀, 鈴木 英治, 須田 慶太, 佐々木 智生, 浅井 哲也, 阿部 佑紀, "ノード及びレザバー素子," 特願2023-122359（2023年7月27日）.
  2. 斉藤 友貴哉, 筒井 拓郎, 凌 元傑, 浅井 哲也, 阿部 佑紀, 吉田 広世, "リザーバ装置及びプロセス状態予測システム," PCT/JP2023/013903 (2023年4月4日) .
  3. 斉藤 友貴哉, 筒井 拓郎, 凌 元傑, 浅井 哲也, 阿部 佑紀, "リザーバ装置及びプロセス状態予測システム," 特願2022-115663 (2022年7月20日).

招待講演／セミナー

  1. Abe Y., "Diving into reservoir – the world of reservoir computing and our recent research activities," 2023 International Workshop on Neuromorphic Computing, Information Science and Technology, Hokkaido University, Sapporo, Japan (Jan. 18, 2023).

国際会議

  1. Matsuno S., Abe Y., Ando K., and Asai T., "Physical reservoir computing on discrete analog CMOS circuits and its application to real data analysis and prediction," IEEE ICRC 2024, Carté Hotel , San Diego, USA (Dec. 16-17, 2024).
  2. Matsuno S., Abe Y., Ando K., and Asai T., "Numerical performance evaluation of analog electronic reservoir circuits with discrete CMOS devices," The 27th SNU-HU Joint Symposium, Seoul National University, Seoul, Korea (Nov. 28, 2024).
  3. Hagiwara N., Abe Y., and Asai T., "Highly-integrable analogue reservoir circuits based on a simple cycle architecture," The 5th International Symposium on Neuromorphic AI Hardware, RIHGA Royal Hotel Kokura, Kitakyushu, Japan (Mar. 1-2, 2024).
  4. Tatsumi S., Abe Y., Nishida K., and Asai T., "Physical reservoirs replication using a small-scale digital calibration reservoir," The 5th International Symposium on Neuromorphic AI Hardware, RIHGA Royal Hotel Kokura, Kitakyushu, Japan (Mar. 1-2, 2024).
  5. Tamada K., Abe Y., and Asai T., "A resource-efficient streaming architecture of ensemble Kalman filters towards online learning for physical reservoir computing," The 5th International Symposium on Neuromorphic AI Hardware, RIHGA Royal Hotel Kokura, Kitakyushu, Japan (Mar. 1-2, 2024).
  6. Tamada K., Abe Y., and Asai T., "An memory-efficient streaming architecture towards online learning for physical reservoir computing," The 10th Anniversary Korea-Japan Joint Workshop on Complex Communication Sciences (KJCCS 2024), Kamenoi Hotel, Beppu, Japan (Jan. 29-31, 2024).
  7. Abe Y., Nishida K., Ando K., and Asai T., "Sparsity-centric reservoir computing architecture," The 10th Anniversary Korea-Japan Joint Workshop on Complex Communication Sciences (KJCCS 2024), Kamenoi Hotel, Beppu, Japan (Jan. 29-31, 2024).
  8. Abe Y., Nishida K., Akai-Kasaya M., and Asai T., "Reservoir computing with high-order polynomial activation functions and regenerative Internal weights for enhancing nonlinear capacity and hardware resource efficiency," The 2023 International Symposium on Nonlinear Theory and Its Applications (NOLTA2023),, Cittadella Campus of the University, Catania, Italy (Sep. 26-29, 2023).
  9. Abe Y., Yoshida K., Akai-Kasaya M., and Asai T., "Physical reservoir computing on analog-digital hybrid circuit systems comprising discrete semiconductor devices," RISP International Workshop on Nonlinear Circuits, Communications and Signal Processing 2022, Online (Feb. 28-Mar. 1, 2022).

受賞

  1. 阿部 佑紀, 令和5年度北海道大学大学院情報科学院 - 学院長賞（修士）, 2024年3月23日.
  2. Abe Y., Nishida K., Ando K., and Asai T., "Sparsity-centric reservoir computing architecture," The 10th Anniversary Korea-Japan Joint Workshop on Complex Communication Sciences - Best Student Paper Award, Jan. 30, 2024.
  3. 阿部 佑紀, "レザバーコンピューティングにおけるメモリ削減手法の提案とハードウェア志向な多項式による高次記憶の拡張," 電子情報通信学会NOLTAソサイエティ - 2023年奨励賞, Jun. 10, 2023.

国内学会

  1. 松野 史門, 阿部 佑紀, 安藤 洸太, 浅井 哲也, "実時系列データを用いたアナログ電子回路レザバーの性能評価," 電子情報通信学会複雑コミュニケーションサイエンス研究会（CCS）, 東北大学 青葉山キャンパス, (仙台), 2024年11月12-13日.
  2. 辰巳 祥平, 阿部 佑紀, 西田 浩平, 浅井 哲也, "小規模ディジタル補正リザーバを用いた物理リザーバの複製技術に関する提案," 電子情報通信学会複雑コミュニケーションサイエンス研究会（CCS）, 北海道ルスツリゾートホテル&コンベンション, (北海道), 2024年3月27-28日.
  3. 玉田 洸太, 阿部 佑紀, 浅井 哲也, "アンサンブルカルマンフィルタのストリーミングハードウェアアーキテクチャ," 電子情報通信学会複雑コミュニケーションサイエンス研究会（CCS）, 富山県立大学 , (富山), 2023年11月11-12日.
  4. 阿部 佑紀, 西田 浩平, 赤井 恵, 浅井 哲也, "レザバーコンピューティングにおけるメモリ削減手法の提案とハードウェア志向な多項式による高次記憶の拡張," 2023年電子情報通信学会NOLTAソサイエティ大会, 東京都市大学, (東京), 2023年6月10日.
  5. 玉田 洸太, 阿部 佑紀, 吉田 広世, 浅井 哲也, "リザバーコンピューティングにおける高速・省メモリオンライン学習に向けたアンサンブルカルマンフィルタのハードウェアアーキテクチャ," 電子情報通信学会複雑コミュニケーションサイエンス研究会, 北海道ルスツリゾートホテル&コンベンション, (北海道), 2023年3月26-27日.
  6. 阿部 佑紀, 吉田 広世, 赤井 恵, 浅井 哲也, "ディスクリート半導体素子で構成可能なアナデジ混在物理レザバーの試作と評価," 電子情報通信学会複雑コミュニケーションサイエンス研究会, (オンライン開催), 2021年11月18-19日.
  7. 吉田 広世, 阿部 佑紀, 赤井 恵, 浅井 哲也, "時分割入力とオンライン学習が可能なFPGAレザバーコンピュータの構築とその評価," 電子情報通信学会複雑コミュニケーションサイエンス研究会, (オンライン開催), 2021年11月18-19日.

Copyright © 1999-2024 Tetsuya ASAI & Laboratories for Advanced LSI Engineering (LALSIE), Hokkaido University. All Rights Reserved.