エッジAIに向けた共通基底の獲得によるスパース適応型連合学習とその理論
新井 文也
2025 年度 卒 ／修士（情報科学）
修士論文の概要
近年、IoTデバイスの普及に伴い、エッジ環境で収集されたデータを集約・学習するエッジAIの重要性が高まっている。しかし、通信帯域や計算資源が制限される環境下において、大規模なディープニューラルネットワークを効率的に学習させることは依然として困難である。特に、複数のタスクや異なるドメインのデータが混在する状況では、従来の全パラメータ共有型の連合学習（Federated Learning）は通信コストが甚大であるだけでなく、タスク間の干渉による負の転移（Negative Transfer）を引き起こすという課題があった。
本研究では、これらの課題を解決するために、タスク間で共有可能な「共通基底」が存在するという仮説に基づき、適応的な協調学習フレームワーク「ATLAS（Adaptive Tuning of Layer Sharing）」を提案する。ATLASは、クライアント間のパラメータ類似度を監視し、汎用的な特徴を持つ層は共有し、タスク固有の層は独立させることで、最適な共有構造を自律的に獲得する。さらに、通信コストを極限まで削減するために、「強い宝くじ仮説」に基づくスパースモデリング技術（Hidden Neural Network）を統合し、重みを更新せず接続構造（バイナリマスク）のみを学習する手法を確立した。
実験的評価において、提案手法はCNNおよびVision Transformer（ViT）の双方において、単独学習や従来手法を上回る精度を達成した。特に、Non-IID環境やDomainNet等を用いたドメイン適応タスクにおいて、未知のドメインに対しても高い汎化性能を示した。さらに、情報ボトルネック（Information Bottleneck）理論を用いた詳細な内部表現解析により、ATLASが入力情報の圧縮とタスク情報の獲得を高いレベルで両立していることを明らかにした。特に、層が深くなるにつれてドメイン固有情報（Domain Information）を選択的に忘却し、ドメイン不変な特徴表現を獲得していることが定量的に実証された。
本研究の成果は、通信制約の厳しいエッジ環境において、多様なタスクを柔軟かつ高精度に処理するための新たな協調学習パラダイムを提供するものである。