北海道大学 大学院情報科学研究院

卒業生とその進路

二値重みニューラルネットワークの確率的解釈によるベイジアン深層学習の\\軽量実装に関する研究


齋藤 大成

2023 年度 卒 ／修士（情報科学）

修士論文の概要

本研究はベイジアンニューラルネットワークをエッジデバイスへの適用に向けて、ハードウェア指向アルゴリムにより軽量化し、デジタル回路へ実装した後に、ハードウェアとソフトウェアの性能評価を行うものである。

ベイジアンニューラルネットワークは予測の不確実性を推定可能であり、信頼できるAIの一種であるが、一方で、複数回の順伝播が必要であったり、複雑な確率分布を生成するための乱数生成回路が必要であるので、多くの計算量とハードウェアリソースを要するという問題点が存在する。

本研究では二値重みニューラルネットワークの重みをベルヌーイ分布へと確率的に解釈することでベイジアンニューラルネットワークへ拡張し、パラメータを削減可能なアルゴリズムを提案する。そして提案アルゴリズムを、Breinアーキテクチャで使用されているニューラルネットワークの計算機構を基にしてデジタル回路へ効率的に実装することで、ハードウェアリソースと消費電力の削減を行う。

ソフトウェアの性能に関して、画像分類問題の正解率を計測することでほとんど性能を落とさずに推論をすることが可能であることを示した。不確実性の評価の面では、二値分類問題、多値分類問題、回帰問題について学習済みのドメインのデータに対しては小さな分散を、学習していないドメインのデータに対して大きな分散を出力し、また、期待キャリブレーション誤差は許容範囲内に収まったことから、先行研究のベイジアンニューラルネットワーク手法と比較して信頼性のある推論が謙遜なく可能であることを示した。ハードウェアの評価に関して、先行研究のベイジアンニューラルネットワークアクセラレータと比較して、大幅なリソースの削減とエネルギー効率の改善を達成した。

以上より、本研究で提案したベイジアンニューラルネットワークのアルゴリズムとそのアーキテクチャは、先行研究と比較して、よりリソースの限られたエッジデバイスでの実装に適しており、複雑な計算とより多くのハードウェアリソースを要するというベイジアンニューラルネットワークの問題点を解決したと結論づけた。

学術論文

  1. Kojima S., Minagawa K., Saito T., Ando K., and Asai T., "Acquisition of physical kinetics of permanent magnet DC motor by reservoir computing," Nonlinear Theory and Its Applications, vol. E15-N, no. 4, pp. 899-909 (2024).
  2. Saito T., Ando K., and Asai T., "Extending binary neural networks to Bayesian neural networks with probabilistic interpretation of binary weights," IEICE Transactions on Information and Systems, vol. E107-D, no. 8, pp. 949-957 (2024).
  3. Saito A., Furudate Y., Kusui Y., Saito T., Akai-Kasaya M., Tanaka Y., Tamasaku K., Kohmura Y., Ishikawa T., Kuwahara Y., and Aono M., "X-ray STM: nanoscale elemental analysis & observation of atomic track ," Microscopy, vol. 63, no. S1, pp. i14-i15 (2014).

国際会議

  1. Minagawa K., Saito T., Kojima S., Ando K., and Asai T., "Out-of-distribution data detection using Bayesian convolutional neural network with variational inference," International Joint Conference on Neural Networks (IJCNN 2024), PACIFICO Yokohama, Yokohama, Japan (Jun. 30-Jul. 5, 2024).
  2. Minagawa K., Saito T., Kojima S., Ando K., and Asai T., "Out-of-distribution detection using Bayesian neural network toward hardware implementation," The 5th International Symposium on Neuromorphic AI Hardware, RIHGA Royal Hotel Kokura, Kitakyushu, Japan (Mar. 1-2, 2024).
  3. Kojima S., Minagawa K., Saito T., Ando K., and Asai T., "Acquisition of physical kinetics of machines by reservoir computing and its applications to anomaly detection," The 12th RIEC International Symposium on Brain Functions and Brain Computer, Research Institute of Electrical Communication, Tohoku University, Sendai, Japan (Feb. 27-28, 2024).
  4. Minagawa K., Saito T., Kojima S., Ando K., and Asai T., "Examination of data preprocessing for detection of out-of-distribution image data using Bayesian neural network," The 10th Anniversary Korea-Japan Joint Workshop on Complex Communication Sciences (KJCCS 2024), Kamenoi Hotel, Beppu, Japan (Jan. 29-31, 2024).
  5. Saito T., Ando K., Akai-Kasaya M., and Asai T., "A study on Bernoulli approximation for compression of Bayesian neural networks," The 9th Japan-Korea Joint Workshop on Complex Communication Sciences, Lahan Select, Gyeong Ju, Korea (Jan. 4-6, 2023).

受賞

  1. Minagawa K., Saito T., Kojima S., Ando K., and Asai T., "Examination of data preprocessing for detection of out-of-distribution image data using Bayesian neural network," The 10th Anniversary Korea-Japan Joint Workshop on Complex Communication Sciences - Best Student Paper Award, Jan. 30, 2024.
  2. 齋藤 大成, "ベイジアンニューラルネットワークのベルヌーイ近似を適用したハードウェア軽量化手法," 電子情報通信学会リコンフィギャラブルシステム研究会 - RECONF講演賞若手部門, 2024年1月29日.
  3. Saito T., Ando K., Akai-Kasaya M., and Asai T., "A study on Bernoulli approximation for compression of Bayesian neural networks," The 9th Japan-Korea Joint Workshop on Complex Communication Sciences - Best Paper Award, Jan. 5, 2023
  4. 齋藤 大成, 北海道大学工学部 - 2021年度工学部長賞（学士）, 2022年3月24日.

国内学会

  1. 齋藤 大成, 安藤 洸太, 浅井 哲也, "ベイジアンニューラルネットワークのベルヌーイ近似を適用したハードウェア軽量化手法," 電子情報通信学会リコンフィギャラブルシステム研究会, くまもと市民会館シアーズホーム夢ホール, (熊本), 2023年11月15-17日.
  2. 小島 聖奈, 皆川 昂輝, 齋藤 大成, 安藤 洸太, 浅井 哲也, "リザーバコンピューティングのハードウェア実装にむけたメモリ削減手法の検討," 電子情報通信学会複雑コミュニケーションサイエンス研究会（CCS）, 番屋の湯, (石狩), 2023年8月3-4日.
  3. 皆川 昂輝, 齋藤 大成, 小島 聖奈, 浅井 哲也, "ベイジアンニューラルネットワークによる分布外画像データ検出のための前処理検討," 電子情報通信学会複雑コミュニケーションサイエンス研究会（CCS）, 番屋の湯, (石狩), 2023年8月3-4日.
  4. 小島 聖奈, 皆川 昂輝, 齋藤 大成, 浅井 哲也, "リザーバコンピューティングを用いたFORCE学習による機械の力学系の獲得," 2023年電子情報通信学会NOLTAソサイエティ大会, 東京都市大学, (東京), 2023年6月10日.
  5. 皆川 昂輝, 齋藤 大成, 小島 聖奈, 浅井 哲也, "ベイジアンニューラルネットワークとCNNアンサンブルにおける未学習データと学習済みデータの分類性能評価," 電子情報通信学会複雑コミュニケーションサイエンス研究会, 北海道ルスツリゾートホテル&コンベンション, (北海道), 2023年3月26-27日.
  6. 小島 聖奈, 皆川 昂輝, 齋藤 大成, 浅井 哲也, "リザーバコンピューティングによる機械の力学系の獲得," 電子情報通信学会複雑コミュニケーションサイエンス研究会, 北海道ルスツリゾートホテル&コンベンション, (北海道), 2023年3月26-27日.
  7. 齋藤 大成, 安藤 洸太, 赤井 恵, 浅井 哲也, "ベルヌーイ分布近似によるベイズ深層学習の軽量化〜マテリアル知能への応用に向けて〜," JSPS研究拠点形成事業「マテリアル知能による革新的知覚演算システム」国内全体会議, 京都烏丸コンベンションホール, (京都), 2023年1月28-29日.
  8. 齋藤 大成, 浅井 哲也, "敵対的生成ネットワークを用いた隠消現実感における隠背景生成手法," 電子情報通信学会複雑コミュニケーションサイエンス研究会, 北海道 ルスツリゾートホテル&コンベンション, (ハイブリッド開催), 2022年3月27日.

Copyright © 1999-2024 Tetsuya ASAI & Laboratories for Advanced LSI Engineering (LALSIE), Hokkaido University. All Rights Reserved.