北海道大学 大学院情報科学研究院

卒業生とその進路

エッジ環境における知的情報処理に向けた低消費電力プロセッサアーキテクチャに関する研究


肥田 格

2018 年度 卒 ／博士（情報科学）
平成30年度〜日本学術振興会特別研究員

博士論文の概要

本研究は、低電力で人工知能演算を実行できる汎用プロセッサの実現に向けた、CPUアーキテクチャおよびニューラルネットワーク・アクセラレータに関するものである。

今日の人工知能を活用した情報処理機構は、データセンターにおける高性能コンピュータが、エッジで収集されたデータを集中的に処理する仕組みを取っている。しかし、集積されるデータ量の爆発的な増加に伴い、データセンタの大電力化や通信レイテンシ問題が顕在化し始めており、エッジ側にも人工知能演算の機能を持たせて負荷を分散させる必要性が唱えられている。エッジ端末の多くは電池容量および計算性能が限られており、それらに人工知能を搭載するためには、電力的に効率よく推論・学習処理を行うハードウェアが欠かせない。そこで本研究では、エッジに組み込まれるプロセッサへの応用を見込み、(1)CPU自体の電力効率を向上させる汎用アクセラレータおよび学習型分岐予測器の開発、(2)不揮発性メモリをニューラルネットワーク・アクセラレータとして利用するための学習則の開発に取り組んだ。

CPUはあらゆる演算を実行できるが、その消費電力のうち演算由来の電力が占める割合は10\%ほどで、ほとんどの電力はメモリアクセスやCPU自体の制御で生じており、演算性能に対する電力効率が低いことが知られている。動的再構成アクセラレータは、大量の演算器を用いてプログラムの一部をCPUの代わりに並列処理することで、これらの非演算依存電力を縮小し、さらに実行速度も加速させる。また、プログラム実行中に演算器間の配線情報が動的に切り替えられるため多様なプログラムに対応できるが、この再構成時に生じる電力が却って全体の消費電力を引き上げてしまうことがあった。本研究では、プログラムのコントロール・データフローに着目して、演算器間配線のうちデータの依存性が変化し得るデータパスのみを動的に再構成し、柔軟性と電力効率を両立するアクセラレータを開発した。

演算以外の電力を削減する手法として、分岐予測器の高精度化も有効である。今日のRISC CPUは、およそ10段以上の深い命令パイプラインを有している。分岐予測の失敗は、パイプラインを一時停止して処理途中の命令をクリアし、さらにメモリから適切な命令やデータを読み出し直す必要が生じるため、パイプラインが深いプロセッサほど電力効率の低下を招く。本研究では、ベイズの定理に基づく統計的機械学習の手法を取り入れた分岐予測器を実際のソフトコアCPUへレジスタ転送レベルで組み込み、予測精度と消費電力をシミュレーションした。その結果、非学習型の分岐予測に対する高精度化に成功し、それに伴い消費電力が大きく削減され得ることを示した。

上述したようなCPUの高電力効率化をもってしても、低電力な人工知能プロセッサの実現には不十分である。これは、ニューラルネットワークの演算のほとんどがニューロンの出力信号とシナプス荷重の積和演算の繰り返しであり、ノイマン型アーキテクチャとの相性が良くないことに起因する。そこで次に、不揮発性抵抗変化型メモリをニューラルネットワーク専用アクセラレータとして利用するための、学習手法の開拓に取り組んだ。

抵抗変化型メモリの各抵抗素子をシナプス荷重と見なすと、メモリセル内の電圧と抵抗素子の間に成り立つオームの法則、およびメモリセル間の電流に成り立つキルヒホッフの法則により、一度のメモリ読み出し動作で推論演算を実行することができ、低電力なアクセラレータとしての応用が期待されている。本研究では、三次元積層されたメモリの空間的特徴を深層学習に利用するための、畳み込み深層ネットワークの学習法を開発した。本手法ではネットワークに対してlayer-wiseな教師なし事前学習を施し特徴抽出器としての機能を持たせ、転移学習への応用の可能性も示された。

また、より汎用的な全結合ネットワークのために、シナプス荷重の正負符号を初期値で固定して学習する手法を開発し、符号非制約下の場合と同等の汎化能力を学習し得ることを示した。本来のニューラルネットワークの結合重みは学習次第で正の値も負の値も取りうるのに対し、実世界に負の抵抗値は存在しない。そこで、これまでの先行研究では、1個の重みを2個の抵抗素子で表現し、同一の入力電圧に対する出力電流の差分をとることで、重みが正の場合と負の場合の両方に対応する必要があった。本学習法を用いると1個の重みを1個の抵抗素子で表現可能となり、面積効率の大きな改善が期待される。

学術論文

  1. Kaneko T., Orimo K., Hida I., Takamaeda-Yamazaki S., Ikebe M., Motomura M., and Asai T., "A study on a low power optimization algorithm for an edge-AI Device," Nonlinear Theory and Its Applications, vol. E10-N, no. 4, pp. 373-389 (2019).
  2. （研究紹介）百瀬 啓, 肥田 格, 浅井 哲也, "学習も推論も！人工知能スタータキット AI Arduino ーマイコンには荷が重すぎるニューラル・ネットワーク計算をFPGAで強力アシストー," トランジスタ技術, vol. 2018, no. 11, pp. 100-101 (2018).
  3. Achararit P., Hida I., Marukame T., Asai T., and Hara-Azumi Y., "Structural exploration of stochastic neural networks for severely-constrained 3D memristive devices," Nonlinear Theory and Its Applications, vol. E9-N, no. 4, pp. 466-478 (2018).
  4. Hida I., Takamaeda-Yamazaki S., Ikebe M., Motomura M., and Asai T., "An energy-efficient dynamic branch predictor with a two-clock-cycle naive Bayes classifier for pipelined RISC microprocessors," Nonlinear Theory and Its Applications, vol. E8-N, no. 3, pp. 235-245 (2017).
  5. Hida I., Takamaeda-Yamazaki S., Ikebe M., Motomura M., and Asai T., "A high performance and energy efficient microprocessor with a novel restricted dynamically reconfigurable accelerator," Circuits and Systems, vol. 8, no. 5, pp. 134-147 (2017).
  6. Kim D., Hida I., Fukuda E.S., Asai T., and Motomura M., "Reducing power and energy consumption of nonvolatile microcontrollers with transparent on-chip instruction cache," Circuits and Systems, vol. 5, no. 11, pp. 253-264 (2014).

国際会議

  1. Hida I., "Embedding a Naive Bayes Classifier as a Dynamic Branch Predictor into a Pipelined Microprocessor," The 2nd GI-CoRE GSQ, GSB, & IGM Joint Symposium -Quantum, Informatics, Biology & Medicine-, Hokkaido University, Sapporo, Japan (Aug. 7-8, 2018).
  2. Hida I., Ueyoshi K., Takamaeda-Yamazaki S., Ikebe M., Motomura M., and Asai T., "Sign-invariant unsupervised learning facilitates weighted-sum computation in analog neural-network devices," 2017 International Symposium on Nonlinear Theory and Its Applications, Cancun International Convention Center, Cancun, Mexico (Dec. 4-7, 2017).
  3. Hida I., Takamaeda-Yamazaki S., Ikebe M., Motomura M., and Asai T., "A versatile and energy-efficient reconfigurable accelerator for embedded microprocessors," GI-CoRE GSQ, GSB, & IGM Joint Symposium -Quantum, Informatics, Biology, & Medicine -, Hokkaido University, Sapporo, Japan (Jul. 10-11, 2017).
  4. Hida I., Ikebe M., Asai T., and Motomura M., "A two-clock-cycle naive Bayes classifier for dynamic branch prediction in pipelined RISC microprocessors," 2016 IEEE Asia Pacific Conference on Circuits and Systems, Ramada Plaza Jeju Hotel, Jeju, Korea (Oct. 25-28, 2016).
  5. Kim D., Hida I., Fukuda E.S., Asai T., and Motomura M., "A study of transparent on-chip instruction cache for NV microcontrollers," The 7th International Conference on Advances in Circuits, Electronics and Micro-electronics, Mercure Lisboa, Lisbon, Portugal (Nov. 16-20, 2014).
  6. Hida I., Kim D., Asai T., and Motomura M., "A 4.5 to 13 times energy-efficient embedded microprocessor with mainly-static/partially-dynamic reconfigurable array accelerator," Proceedings of the Asian Solid-State Circuits Conference 2014, pp. 37-40, 85 Sky Tower Hotel, KaoHsiung, Taiwan (Nov. 10-12, 2014).
  7. Hirao T., Kim D., Hida I., Asai T., and Motomura M., "A restricted dynamically reconfigurable architecture for low power processors," 2013 International Conference on ReConFigurable Computing and FPGAs, Hotel Iberostar Cancun, Cancun, Mexico (Dec. 9-11, 2013).
  8. Hirao T., Kim D., Hida I., Asai T., and Motomura M., "A restricted dynamically reconfigurable architecture for low power processors," Proceedings of the 18th Workshop on Synthesis And System Integration of Mixed Information Technologies, pp. 267-268, Hotel Sapporo Garden Palace, Sapporo, Japan (Oct. 21-22, 2013).

国内学会

  1. Achararit Paniti, 肥田 格, 丸亀 孝生, 浅井 哲也, 原 祐子, "On the neuromorphic 3D devices for locally-connected convolutional neural network," 日本神経回路学会第28回全国大会, OISTカンファレンスセンター, (那覇), 2018年10月24-27日.
  2. 肥田 格, 植吉 晃大, 高前田 伸也, 池辺 将之, 本村 真人, 浅井 哲也, "不揮発アナログシナプスデバイスの素子数を半減する重み符号固定事前学習法とその深層学習への適用," 日本神経回路学会第27回全国大会, 北九州国際会議場, (福岡), 2017年9月20-22日.
  3. 肥田 格, 高前田 伸也, 池辺 将之, 本村 真人, 浅井 哲也, "ナイーブベイズ分類器を用いた動的分岐予測器の設計と評価," 電子情報通信学会 ICD/CPSY 学生・若手研究会, 東京工業大学, (東京), 2016年12月15-16日.
  4. 肥田 格, 池辺 将之, 浅井 哲也, 本村 真人, "高エネルギー効率プロセッサの実現に向けたナイーブベイズ分類器による動的分岐予測," 2016年電子情報通信ソサイエティ大会, 北海道大学, (札幌), 2016年9月20-23日.
  5. 金 多厚, 肥田 格, 浅井 哲也, 本村 真人, "不揮発性メモリ搭載マイコンの低電力化を目的とした透過型命令キャッシュの提案と評価," 電子情報通信学会集積回路研究会・コンピュータシステム研究会合同 平成26年度若手研究会, 機械振興会館, (東京), 2014年12月1-2日.
  6. 肥田 格, 平尾 岳志, 金 多厚, 浅井 哲也, 本村 真人, "組み込みプロセッサの低電力化に向けた限定的動的再構成アクセラレータの設計と評価," LSIとシステムのワークショップ, 北九州国際会議場, (北九州市), 2014年5月26-28日.
  7. 金 多厚, 平尾 岳志, 肥田 格, 浅井 哲也, 本村 真人, "命令キャッシュ導入によるフラッシュメモリ搭載マイコンの低電力化," 情報処理学会 計算機アーキテクチャ研究会, 東京工業大学, (東京), 2014年1月23-24日.
  8. 平尾 岳志, 金 多厚, 肥田 格, 浅井 哲也, 本村 真人, "低消費電力プロセッサのための限定的動的再構成アーキテクチャ," 電子情報通信学会 リコンフィギャラブルシステム研究会, 北陸先端科学技術大学院大学, (能美), 2013年9月18-19日.

Copyright © 1999-2024 Tetsuya ASAI & Laboratories for Advanced LSI Engineering (LALSIE), Hokkaido University. All Rights Reserved.