北海道大学 大学院情報科学研究院

卒業生とその進路

時系列データの長期保持・高精度予測を可能とするレザバーモデルとそのハードウェアに関する研究


鈴木 駿也

2020 年度 卒 ／修士（情報科学）

修士論文の概要

ここ数十年間のインターネットの発展により、様々なデータを大量に得られる時代になった。さらに、IoT(Internet of Things)構想が広まり、より多くのデータが得られるようになることが期待されている。それに伴い、それらデータの収集・処理・運用の仕方は、研究・ビジネス等において非常に重要な要素となっている。そのようなトレンドによって、近年ではディープラーニングに代表されるようなニューラルネットワークが注目を集めている。いわゆる、人工知能(AI)と呼ばれるこのような技術のほとんどは膨大な行列演算により成っているため、 AIの発展には、それらを処理するハードウェアの性能向上が必要不可欠であり、集積技術の発展に依存してきた。しかし、現在の集積技術は原子数個を扱う段階にまできており、さらなる微細化が徐々に難しくなってきている。また、IoTの発達に伴い、通信量の削減やリアルタイム処理、個人情報の保護などの考えから得られた情報をなるべく端末側で処理するエッジデバイスも注目を集めている。このような背景から、低消費電力でありながら高精度なAI計算が行えるAI専用ハードウェアの研究が盛んに行われている。

そこで、本研究で注目したものは物理レザバー計算である。物理レザバー計算とは、レザバーコンピューティングと呼ばれる機械学習の手法を物理系の特性などを利用して計算することである。レザバーコンピューティングは、ネットワーク内にループ構造を持つことにより時系列のデータを扱うことができる再帰的ニューラルネットワークの一種である。しかし、通常の再帰的ニューラルネットワークと異なり、入力重み、および中間層のフィードバック重みに相当する重みを最初に乱数などで決定し、学習によってその値は更新せず、出力重みのみが学習によって修正される。そこで、レザバー(中間層、または中間層と入力重み)は最初に物理系を用いてハードウェア的に実装することが可能であり、様々な物理系を用いた効率的な専用ハードウェアの研究やセンサなどの既存のシステムに組み込むことでリソースの削減、省エネルギーの達成を目指す研究が盛んに行われている。

本研究では、物理レザバー計算のためのレザバーを電子回路で検討し、実際に作成して動作・評価を行った。まず、抵抗とコンデンサからなるRC回路がレザバーのノードとしての条件を満たしていることを説明し、RC回路のみをただ並列に並べただけの回路であってもレザバーコンピューティングの計算が行えることを示した。続けて、環状のネットワーク構造と非線形回路、ホールド回路を組み込むことで性能が向上することを示した。最後に検討した回路の物理実装を行い、実装したレザバー基板を同研究室の南川氏がFPGAで作成したレザバーコンピューティング専用の学習機と連結、動作させてリアルタイムにレザバーコンピューティングの計算ができることを確認した。また、その結果としてソフトウェア的に実装したレザバーコンピューティングよりも良い精度が得られた。

これにより、低消費電力で高精度なAI専用ハードウェア実現の足がかりとしてソフトウェア的に実装されたレザバーコンピューティングと同程度の性能でリアルタイムに動作する電子回路によるレザバーの実装例を示すに至った。

学術論文

  1. Nakada K., Suzuki S., Suzuki E., Terasaki Y., Asai T., and Sasaki T., "An information theoretic parameter tuning for MEMS-based reservoir computing," Nonlinear Theory and Its Applications, vol. E13-N, no. 2, pp. 459-464 (2022).

招待講演／セミナー

  1. 鈴木 駿也, 南川 滉瑛, "レザバーコンピューティングの基礎と実践," 東京エレクトロンAIワークショップ2019, 東京エレクトロン札幌事業所, Sapporo, Japan (Jul. 19, 2019).
  2. 鈴木 駿也, 南川 滉瑛, 浅井 哲也, "フィジカルレザバーの実現に向けた制約・課題／単一ノードを用いたReservoir Computing," 富士通研究所専門技術セミナー, 富士通研究所, Kawasaki, Japan (Nov. 16, 2018).
  3. 南川 滉瑛, 鈴木 駿也, 浅井 哲也, "レザバー計算機およびFORCE学習の基礎理論とそのPython実装," 富士通研究所専門技術セミナー, 富士通研究所, Kawasaki, Japan (Nov. 16, 2018).

国際会議

  1. Nakada K., Suzuki S., Suzuki E., Terasaki Y., Sasaki T., and Asai T., "An information theoretic design for MEMS-based reservoir computing," The 2021 Nonlinear Science Workshop, Online (Dec. 6-8, 2021).
  2. Suzuki S., Minamikawa K., Akai-Kasaya M., and Asai T., "Electronic implementation of a physical reservoir composed of discrete semiconductor devices," The 2020 RISP International Workshop on Nonlinear Circuits, Communications and Signal Processing, Hilton Waikiki Beach Hotel, Honolulu, USA (Feb. 28-Mar. 2, 2020).
  3. Minamikawa K., Suzuki S., Akai-Kasaya M., and Asai T., "26-bits 400-neurons 0.3-ksps FORCE learning FPGA core for reservoir computing," The 2020 RISP International Workshop on Nonlinear Circuits, Communications and Signal Processing, Hilton Waikiki Beach Hotel, Honolulu, USA (Feb. 28-Mar. 2, 2020).
  4. Suzuki S., Rim S., Takamaeda-Yamazaki S., Ikebe M., Motomura M., and Asai T., "Experimental demonstration of physical reservoir computing with nonlinear electronic devices," The 2019 RISP International Workshop on Nonlinear Circuits, Communications and Signal Processing, Hilton Waikiki Beach Hotel, Honolulu, USA (Mar. 4-7, 2019).
  5. Rim S., Suzuki S., Takamaeda-Yamazaki S., Ikebe M., Motomura M., and Asai T., "Approach to reservoir computing with Schmitt trigger oscillator-based analog neural circuits," The 7th Japan-Korea Joint Workshop on Complex Communication Sciences, C5, Alpensia, Pyengonchang, Korea (Jan. 6-9, 2019).

受賞

  1. Rim S., Suzuki S., Takamaeda-Yamazaki S., Ikebe M., Motomura M., and Asai T., "Approach to reservoir computing with Schmitt trigger oscillator-based analog neural circuits," JKCCS 2019 - Best Paper Award, Jan. 8, 2019.

国内学会

  1. 中田 一紀, 鈴木 駿也, 鈴木 英治, 寺﨑 幸夫, 佐々木 智生, 浅井 哲也, "相互情報量基準による非線形MEMS共振器レザバーの制御性の向上," 電子情報通信学会非線形問題研究会, (オンライン開催), 2021年6月11-13日.
  2. 鈴木 駿也, 南川 滉瑛, 赤井 恵, 浅井 哲也, "ディスクリート半導体素子による物理レザバーの実装," 電子情報通信学会 非線形問題研究会, 宮古島マリンターミナル, (沖縄), 2020年1月23-25日.
  3. 南川 滉瑛, 鈴木 駿也, 赤井 恵, 浅井 哲也, "26-bit 400-neuron 0.3-ksps レザバーコンピューティング向けFORCE学習FPGAコア," 電子情報通信学会 非線形問題研究会, 宮古島マリンターミナル, (沖縄), 2020年1月23-25日.

Copyright © 1999-2024 Tetsuya ASAI & Laboratories for Advanced LSI Engineering (LALSIE), Hokkaido University. All Rights Reserved.