CSI BRIDGE / 進行中
CSI BRIDGE
目に見えない無線信号を、言葉で説明できるでしょうか。CSI BRIDGEはWi-Fi Channel State Informationと視覚・言語モデルの表現をつなぐ研究テーマです。推論時にはCSIのみを入力し、行動や状況を説明する方向を探ります。
CSI BRIDGE
なぜCSI-to-Captionか
行動をあらかじめ決めた分類名だけで区別すると、状況の文脈を十分に伝えられません。無線信号に含まれる動きの変化を自然言語につなぎ、何が起きているかを説明する方法を研究します。CSIも機微な行動情報を含み得るため、データ利用への同意と用途を併せて考える必要があります。
研究の目標
Wi-Fi CSIの時間変化とVLMの意味表現の関係を学び、CSI-to-Captionに必要な表現と評価方法を検討します。環境や人の違いへの汎化、文章と実際の行動の一致が重要な課題です。
課題と中心となる考え方
決められた行動の分類を超えて、無線信号を状況の説明文につなげることが課題です。学習時にTeacher VLMが持つ意味表現をStudent CSIモデルに伝える方向を探究しています。
データセット
使用するデータセット、収集規模、学習・評価の分割はまだ公開していません。信号と視覚・言語情報の対応、参加者の同意とデータの利用範囲を併せて検討しています。
評価の方向性
説明文が実際の行動と一致するか、環境や人が変わっても説明が保たれるかを検討します。評価指標と比較基準は検討中であり、検証済みの性能値や実験結果はまだ公開していません。
MULTIMODAL REPRESENTATION ALIGNMENT
信号と意味をつなぐ研究設計
以下は検討している手法の概要です。確定した実装や、検証済みの性能を示すものではありません。
01 / Wi-Fi CSI
無線チャネルの振幅・位相などの状態情報から、人の動きに伴う変化を捉えます。時間同期、ノイズ、環境変化が入力表現に与える影響を検討します。
02 / Teacher VLM
学習段階では、対応する視覚情報と言語を解釈するTeacher VLMの表現を活用する方向です。信号に意味を結びつける教師の役割を担います。
03 / Representation Alignment
異なるCSI表現と視覚・言語表現が共通の意味を持つように整合させる方法を探ります。対応データと学習目標の設計が鍵となります。
04 / Student CSI Model
CSIを処理するStudentモデルが教師の意味表現を学び、推論時には視覚入力なしで行動や状況を言語化することを目指します。
応用の可能性
屋内活動の理解、人と空間のインタラクション、ロボットの状況認識の補助などへの可能性を検討します。実環境での信頼性や、医療・安全分野への適合性は別途検証が必要です。
現在の公開範囲
現在は研究テーマとアプローチを紹介しています。データセット、実装の詳細、性能指標や比較結果は、このサイトではまだ公開していません。公開できる研究記録や結果から順次追加します。