北海道大学 大学院情報科学研究院

卒業生とその進路

深層学習AIを回路・アーキテクチャ・算法視点で最適化する。


廣瀨 一俊

2019 年度 転籍 ／博士課程2年次
平成31年度〜日本学術振興会特別研究員

研究の概要

深層ニューラルネットワーク（DNN）の学習は多くのメモリを使用します。システムで利用可能なメモリ量が学習可能なネットワークの大きさを制限するため、消費メモリ量の削減が必要です。そのためデータ表現形式の最適化による学習時のメモリ量の削減方式を考案しています。学習時に出現する勾配は0付近の値が多いため、数値を対数表現する対数量子化と呼ばれる手法を用いてそれぞれの値を表現するのに必要なビット量を削減します。DNNフレームワークChainerを用いて識別精度およびメモリ量を評価しています（対数量子化適用による認識精度に対する影響、およびメモリ量）。その結果、学習時に対数量子化適用による認識精度の低下は少なく、消費メモリ量は約60%削減できることが明らかになりました。

学術論文

  1. Suzuki J., Kaneko T., Ando K., Hirose K., Kawamura K., Chu T.V., Motomura M., and Yu J., "ProgressiveNN: Achieving Computational Scalability with Dynamic Bit-Precision Adjustment by MSB-first Accumulative Computation," International Journal of Networking and Computing, vol. 11, no. 2, pp. 338-353 (2021).
  2. （招待論文）本村 真人, 高前田 伸也, 植吉 晃大, 安藤 洸太, 廣瀨 一俊, "深層ニューラルネットワーク向けプロセッサ技術の実例と展望," 電子情報通信学会論文誌C, vol. J103-C, no. 5, pp. 288-297 (2020).
  3. Ando K., Ueyoshi K., Oba Y., Hirose K., Uematsu R., Kudo T., Ikebe M., Asai T., Takamaeda-Yamazaki S., and Motomura M., "Dither NN: hardware/algorithm co-design for accurate quantized neural networks," IEICE Transactions on Information and Systems, vol. E102, pp. 2341-2353 (2019).
  4. Ueyoshi K., Ando K., Hirose K., Takamaeda-Yamazaki S., Hamada M., Kuroda T., and Motomura M., "QUEST: Multi-purpose log-quantized DNN inference engine stacked on 96-MB 3-D SRAM using inductive coupling technology in 40-nm CMOS," IEEE Journal of Solid-State Circuits, vol. 54, no. 1, pp. 186-196 (2019).
  5. Hirose K., Uematsu R., Ando K., Ueyoshi K., Ikebe M., Asai T., Motomura M., and Takamaeda-Yamazaki S., "Quantization error-based regularization for hardware-aware neural network training," Nonlinear Theory and Its Applications, vol. E9-N, no. 4, pp. 453-465 (2018).

国際会議

  1. Okoshi Y., Lopez Garcia-Arias A., Hirose K., Ando K., Kawamura K., Chu T.V., Motomura M., and Yu J., "Multicoated Supermasks Enhance Hidden Networks," 39th International Conference on Machine Learning, Baltimore Convention Center, Baltimore, USA (Jul. 17-23, 2022).
  2. Hirose K., Yu J., Ando K., Okoshi Y., Lopez Garcia-Arias A., Suzuki J., Chu T.V., Kawamura K., and Motomura M., "Hiddenite: 4K-PE Hidden Network Inference 4D-Tensor Engine Exploiting On-Chip Model Construction Achieving 34.8-to-16.0TOPS/W for CIFAR-100 and ImageNet," 2022 International Solid-State Circuits Conference (ISSCC 2022), Online, San Francisco, USA (Mar. 20-24, 2022).
  3. Shiba K., Omori T., Ueyoshi K., Ando K., Hirose K., Takamaeda-Yamazaki S., Motomura M., Hamada M., and Kuroda T., "A 3D-Stacked SRAM using Inductive Coupling with Low-Voltage Transmitter and 12:1 SerDes," 2020 IEEE International Symposium on Circuits and Systems (ISCAS), Online, Seville, Spain (Oct. 10-21, 2020).
  4. Suzuki J., Ando K., Hirose K., Kawamura K., Chu T.V., Motomura M., and Yu J., "ProgressiveNN: Achieving Computational Scalability without Network Alteration by MSB-first Accumulative Computation," 2020 Eighth International Symposium on Computing and Networking (CANDAR), Online, Naha, Japan (Sep. 24-27, 2020).
  5. Ando K., Ueyoshi K., Oba Y., Hirose K., Uematsu R., Kudo T., Ikebe M., Asai T., Takamaeda-Yamazaki S., and Motomura M., "Dither NN: an accurate neural network with dithering for low bit-precision hardware," The 2018 International Conference on Field-Programmable Technology (FPT'18), Tenbusu-Naha Hall, Naha, Japan (Dec. 10-14, 2018).
  6. Kudo T., Ueyoshi K., Ando K., Hirose K., Uematsu R., Oba Y., Ikebe M., Asai T., Motomura M., and Takamaeda-Yamazaki S., "Area and energy optimization for bit-serial log-quantized DNN Accelerator with shared accumulators," IEEE 12th International Symposium on Embedded Multicore/Many-core Systems-on-Chip, Vietnam National University, Hanoi, Vietnam (Sep. 12-14, 2018).
  7. Uematsu R., Ando K., Ueyoshi K., Hirose K., Ikebe M., Asai T., Takamaeda-Yamazaki S., and Motomura M., "Exploring CNN accelerator design space on a dynamically reconfigurable hardware platform," The 21st Workshop on Synthesis And System Integration of Mixed Information Technologies (SASIMI 2018), Kunibiki Messe, Matsue, Japan (Mar. 26-27, 2018).
  8. Ueyoshi K., Ando K., Hirose K., Takamaeda-Yamazaki S., Kadomoto J., Miyata T., Hamada M., Kuroda T., and Motomura M., "QUEST: A 7.49-TOPS Multi-Purpose Log-Quantized DNN Inference Engine Stacked on 96MB 3D SRAM using Inductive-Coupling Technology in 40nm CMOS," 2018 International Solid-State Circuits Conference (ISSCC 2018), San Francisco Marriott Marquis, San Francisco, US (Feb. 11-15, 2018).
  9. Takamaeda-Yamazaki S., Ueyoshi K., Ando K., Uematsu R., Hirose K., Ikebe M., Asai T., and Motomura M., "Accelerating Deep Learning by Binarized Hardware," Asia-Pacific Signal and Information Processing Association Annual Summit and Conference 2017 (APSIPA ASC 2017), Aloft Kuala Lumpur Sentral Sentral, Kuala Lumpur, Malaysia (Dec. 12-15, 2017).
  10. Hirose K., Ando K., Ueyoshi K., Ikebe M., Asai T., Motomura M., and Takamaeda-Yamazaki S., "Quantization Error-based Regularization in Neural Networks," Thirty-seventh SGAI International Conference on Artificial Intelligence (SGAI 2017), Peterhouse College, Cambridge, England (Dec. 12-14, 2017).
  11. Hirose K., Uematsu R., Ando K., Orimo K., Ueyoshi K., Ikebe M., Asai T., Takamaeda-Yamazaki S., and Motomura M., "Logarithmic Compression for Memory Footprint Reduction in Neural Network Training," 5th International Workshop on Computer Systems and Architectures (CSA 2017), Aomori Prefecture Tourist Center, Aomori, Japan (Nov. 19-22, 2017).
  12. Hirose K., Uematsu R., Ando K., Ueyoshi K., Ikebe M., Asai T., Motomura M., and Takamaeda-Yamazaki S., "A Regularization Approach for Quantized Neural Networks," International Workshop on Highly Efficient Neural Networks Design (HENND 2017), Lotte Hotel City Center, Seoul, Korea (Oct. 20-20, 2017).
  13. Ando K., Ueyoshi K., Hirose K., Orimo K., Yonekawa H., Sato S., Nakahara H., Ikebe M., Takamaeda-Yamazaki S., Asai T., Kuroda T., and Motomura M., "In-Memory Area-Efficient Signal Streaming Processor Design for Binary Neural Networks," 60th IEEE International Midwest Symposium on Circuits and Systems (MWSCAS 2017), Tufts University, Boston, USA (Aug. 6-9, 2017).

受賞

  1. 廣瀨 一俊, 北海道大学大学院情報科学研究科 - 2018年度研究科長賞（修士）, 2019年3月25日.
  2. Ando K., Ueyoshi K., Oba Y., Hirose K., Uematsu R., Kudo T., Ikebe M., Asai T., Takamaeda S., and Motomura M., "Dither NN: An Accurate Neural Network with Dithering for Low Bit-Precision Hardware," FPT'18 - Best Paper Award, Dec. 13, 2018.
  3. Ueyoshi K., Ando K., Hirose K., Takamaeda-Yamazaki S., Kadomoto J., Miyata T., Hamada M., Kuroda T., and Motomura M., "QUEST: A 7.49-TOPS Multi-Purpose Log-Quantized DNN Inference Engine Stacked on 96MB 3D SRAM using Inductive-Coupling Technology in 40nm CMOS," ISSCC 2018 Silkroad Award, Feb. 11, 2018.
  4. 廣瀨 一俊, "対数量子化による深層ニューラルネットワークのメモリ量削減," 電子情報通信学会コンピュータシステム研究会 - 研究会優秀若手講演賞, 2017年7月27日.
  5. 廣瀨 一俊, "対数量子化による深層ニューラルネットワークのメモリ量削減," 情報処理学会システム・アーキテクチャ研究会 - 若手奨励賞, 2017年7月27日.

国内学会

  1. 平山 侑樹, 廣瀨 一俊, 安藤 洸太, 植吉 晃大, 浅井 哲也, 本村 真人, 高前田 伸也, "ベイジアンNNのHW実装に向けたサンプリング手法の検討," SWoPP2019, 北見市民会館, (北見), 2019年7月24-26日.
  2. 廣瀨 一俊, 浅井 哲也, 本村 真人, 高前田 伸也, "エッジ環境におけるニューラルネットワーク 学習軽量化手法の検討," 電子情報通信学会コンピュータシステム研究会 (CPSY), 指宿温泉休暇村 指宿, (鹿児島), 2019年6月11-12日.
  3. 池田 泰我, 植吉 晃大, 安藤 洸太, 廣瀨 一俊, 浅井 哲也, 本村 真人, 高前田 伸也, "効率的なDNN計算のための無効ニューロン予測手法の評価," 電子情報通信学会コンピュータシステム研究会, 指宿温泉休暇村 指宿, (鹿児島), 2019年6月11-12日.
  4. 植吉 晃大, 池田 泰我, 安藤 洸太, 廣瀨 一俊, 浅井 哲也, 高前田 伸也, 本村 真人, "無効ニューロン予測によるDNN計算効率化手法," 電子情報通信学会リコンフィギャラブルシステム研究会 (RECONF), 東京工業大学 東工大蔵前会館, (東京), 2019年5月9-10日.
  5. 安藤 洸太, 植吉 晃大, 大羽 由華, 廣瀨 一俊, 工藤 巧, 池辺 将之, 浅井 哲也, 高前田 伸也, 本村 真人, "Dither NN: 画像処理から着想を得た組込み向け量子化ニューラルネットワークの精度向上手法," 電子情報通信学会リコンフィギャラブルシステム研究会 (RECONF), 東京工業大学 東工大蔵前会館, (東京), 2019年5月9-10日.
  6. 平山 侑樹, 廣瀨 一俊, 安藤 洸太, 植吉 晃大, 高前田 伸也, 本村 真人, "車載応用向けDNNモデル軽量化の検討," ETNET2019, 西之表市民会館, (種子島), 2019年3月17-18日.
  7. 大羽 由華, 安藤 洸太, 廣瀨 一俊, 植吉 晃大, 植松 瞭太, 工藤 巧, 黒川 圭一, 池辺 将之, 浅井 哲也, 本村 真人, 高前田 伸也, "二値化ニューラルネットワークに基づいたハードウェア指向高精度モデルの検討," 電子情報通信学会リコンフィギャラブルシステム研究会 (RECONF), ゲートシティ大崎, (東京), 2018年5月24-25日.
  8. 工藤 巧, 植吉 晃大, 安藤 洸太, 植松 瞭太, 廣瀨 一俊, 大羽 由華, 池辺 将之, 浅井 哲也, 本村 真人, 高前田 伸也, "対数量子化を用いた可変長ビットシリアル型DNNアクセラレータの面積最適化手法," 電子情報通信学会リコンフィギャラブルシステム研究会 (RECONF), ゲートシティ大崎, (東京), 2018年5月24-25日.
  9. 安藤 洸太, 植吉 晃大, 大羽 由華, 廣瀨 一俊, 植松 瞭太, 工藤 巧, 池辺 将之, 浅井 哲也, 高前田 伸也, 本村 真人, "ディザ拡散を用いた組み込み向け二値化ニューラルネットワークの高精度化手法の検討," LSIとシステムのワークショップ, 東京大学生産技術研究所, (東京), 2018年5月14-15日.
  10. 植吉 晃大, 安藤 洸太, 廣瀨 一俊, 高前田 伸也, 門本 淳一郎, 宮田 知輝, 濱田 基嗣, 黒田 忠広, 本村 真人, "QUEST: A 7.49TOPS Multi-Purpose Log- Quantized DNN Inference Engine Stacked on 96MB 3D SRAM Using Inductive-Coupling Technology in 40nm CMOS," ISSCC2018報告会, 東京大学, (東京), 2018年2月27日.
  11. 廣瀨 一俊, 安藤 洸太, 植吉 晃大, 池辺 将之, 浅井 哲也, 本村 真人, 高前田 伸也, "量子化誤差を考慮したニューラルネットワークの学習手法," 人工知能学会人工知能基本問題研究会 (SIG-FPAI), 小樽市公会堂, (小樽), 2017年8月8-9日.
  12. 廣瀨 一俊, 植松 瞭太, 安藤 洸太, 折茂 健太郎, 植吉 晃大, 高前田 伸也, 池辺 将之, 浅井 哲也, 本村 真人, "対数量子化による深層ニューラルネットワークのメモリ量削減," 電子情報通信学会コンピュータシステム研究会 (CPSY), 登別温泉第一滝本館, (登別), 2017年5月23日.
  13. 植松 瞭太, 廣瀨 一俊, 安藤 洸太, 折茂 健太郎, 植吉 晃大, 高前田 伸也, 池辺 将之, 浅井 哲也, 本村 真人, "動的再構成ハードウェアアーキテクチャを活かしたCNNの実装と評価," 電子情報通信学会リコンフィギャラブルシステム研究会 (RECONF), 登別温泉第一滝本館, (登別), 2017年5月22日.
  14. 安藤 洸太, 植吉 晃大, 廣瀨 一俊, 折茂 健太郎, 植松 瞭太, 高前田 伸也, 池辺 将之, 浅井 哲也, 本村 真人, "二値化ニューラルネットワークアクセラレータのアーキテクチャ検討," 電子情報通信学会リコンフィギャラブルシステム研究会 (RECONF), 登別温泉第一滝本館, (登別), 2017年5月22日.
  15. 廣瀨 一俊, 高前田 伸也, 池辺 将之, 浅井 哲也, 本村 真人, "深層畳み込みニューラルネットワークの転移学習による個人識別システム," 電子情報通信学会 ICD/CPSY 学生・若手研究会, 東京工業大学, (東京), 2016年12月15-16日.

Copyright © 1999-2024 Tetsuya ASAI & Laboratories for Advanced LSI Engineering (LALSIE), Hokkaido University. All Rights Reserved.