概要
IoT・人から見える「世界」を理解し、ナビする
人から見えている「世界」は、IoTで観測できる「世界」とは少し異なっていることがあります。 IoTがこの“差”を理解できるようになれば、これまでにないナビゲーションや情報推薦が実現できる可能性があります。 そのために、人を情報システムに組み込むHuman-in-the-loopなアプローチ(参加型センシングなど)によって、人から見えている「世界」をモデリングする研究について取り組んでいます。
新しいIoT・AIを発明する
現在市販されているIoTを用いることで、様々な人や環境をセンシングしたり情報を提示したりすることが可能ですが、全てが網羅されているわけではありません。新たなIoTやAIを発明することによって、今までにセンシングできなかった情報を得られたり、それに基づく情報提示が実現でる可能性があります。そのために、ハードウェアからソフトウェアに至るまで、IoTのセンシング・データ処理・情報提示の方法を編み出す研究に取り組んでいます。
データ収集・活用基盤を社会実装する
研究開発したIoT・AIを社会実装していくためには、ITに精通していない人々でも簡単に技術を扱うことができ、かつ、持続可能な形で運用できるようなシステム・仕組みを構築することが肝要です。その実現に向けて、街に存在する様々なコミュニティや活動と連携しつつ、システムを運用する方法を実践的に模索する研究に取り組んでいます。
IoT・人から見える「世界」を理解し、ナビする
BLEを用いた都市・交通空間の人流・混雑度推定
都市や公共交通、飲食店、公共施設などにおいて、「どこに人が集まっているのか」「人がどこからどこへ移動しているのか」を把握することは、都市計画、交通改善、混雑緩和、観光・商業施策、ナビゲーションなどに役立ちます。 このプロジェクトでは、スマートフォンやスマートウォッチなどの電子機器から発信されるBLE(Bluetooth Low Energy)アドバタイジングパケットを環境側で観測し、プライバシーに配慮しながら都市・交通空間における人流と混雑度を推定することを目指しています。
BLECEでは、人が空間にどれくらい滞在しているかを捉え、混雑度や体感混雑度を推定します。 BReIDでは、人が地点間をどのように移動しているかを捉え、都市内の回遊行動や路線バスのODデータを推定します。
BReID Walk: 都市空間の人流推定
都市空間に複数のBLEスキャナを設置し、人々が「どこ」から「どこ」へ移動するのかを推定するプロジェクトです。 スマートフォンなどから発信されるBLEのランダム化MACアドレスや電波受信状況を手がかりに、デバイス系列を一定範囲で再同定(Re-identification)することで、街なかの回遊行動や地点間の移動傾向を把握する手法の確立を目指しています。
BReID Bus: 路線バスのODデータ(乗降ログ)推定
路線バスなどの公共交通機関において、乗客が「どこ」で乗り、「どこ」で降りたのかを表すOD(Origin-Destination)データを推定するプロジェクトです。 車内に設置したBLEスキャナで乗客のスマートフォンなどから発信されるBLEアドバタイジングパケットを観測し、ランダム化MACアドレスの変化を考慮しながらデバイス系列を再同定することで、乗車・降車地点の推定を行います。
BLECE: 公共空間の混雑度・体感混雑度推定
交通機関、飲食店、公共施設など、さまざまな空間における混雑度を推定するプロジェクトです。 環境側に設置したBLEスキャナで電波の受信状況を観測し、受信パケット数、ユニークなアドレス数、RSSIの分布、時間変化などを分析することで、特定空間の混雑度や人が感じる体感混雑度を推定します。 カメラに頼らず、低コストで継続的に利用できる混雑度推定手法の確立を目指しています。
マルチモーダルセンシングによる心理状態推定&ナビゲーション
EmoTour: 観光客のマルチモーダルな感情・満足度推定
スマートフォンをはじめとするスマートデバイスを活用し、観光中に有益な情報が得られる「スマートツーリズム」が注目を集めています。このスマートツーリズムにおいて、より観光客の状況に即した観光情報を提供するためには、観光客が実地で抱く心理状態(感情・満足度など)を理解し考慮することが重要です。
そこで本研究では、観光客の心理状態が観光中の無意識的な仕草、例えば頭や体の動きや表情や声色といった形で現れるという仮説のもと、その仕草を計測・分析することで観光中の観光客の心理状態を推定する手法の実現を目指しています。
Convivial Museum Guide: 理解度・興味によって変化する美術館ガイダンス
美術館は芸術作品を鑑賞する場として人々に親しまれています。しかし、美術館には膨大な数の展示作品があり、鑑賞者は興味や関心に合わせて作品を鑑賞することが難しいという課題があります。
本研究では、鑑賞者の心理状態を芸術作品を鑑賞する際の仕草のセンシングに基づき推定することで、鑑賞者の興味や関心に合わせたナビゲーションの提供や、鑑賞体験の向上につなげることを目指しています。
MuseMate: 言語的・非言語的な情報に基づく美術館対話型鑑賞AIoT
美術館などにおいて、対話を重ねながら美術作品を読み解いていく「対話型鑑賞(VTS: Visual Thinking Strategies)」を支援する相棒(Mate)をAIoTを活用し実現するプロジェクトです。
鑑賞者が口頭で話す「言語的な情報」に加えて、鑑賞者の視線や心理状態などの「非言語的な情報」を掛け合わせることによって、より自然な対話ができる対話システムを実現することを目指しています。
新しいIoT・AIを発明する
教育支援
AbaCaaS: 卓上カメラを用いた珠算学習支援システム
算術力を獲得するための方法の一つとして、算盤(そろばん)を用いた計算、すなわち「珠算」が現代においても活用されています。珠算による計算は様々な方法・順序で「珠」を操作する必要があるため、習得には長期に渡る繰り返し学習を要することが知られています。学習過程では、様々な計算ミスや苦手な珠操作が生じますが、これらの「つまづき」には規則性・パターンがあると考えられます。
そこで、卓上カメラをセンサとして用いることで算盤の盤面(入力値)を推定するとともに、苦手を克服するための個人に合わせた問題生成・提示などによって、「珠算」の能力習得を支援する方法の確立を目指しています。
CalcQuest: 苦手克服のためのゲーム要素を取り入れた珠算学習支援システム
AbaCaaSの仕組みを応用し、苦手克服のための計算問題に「楽しく」取り組めるようにゲーム要素を取り入れた学習支援システムです。RPGのようなPvE(Player vs. Environment)形式のゲームを採用することで、学習者が進んで苦手な問題に挑戦できる仕組みとなっています。
スポーツ支援
靴装着型ウェアラブルセンサを用いた競歩フォーム評価・指導システム
競歩における2つの重要ルール(両足が同時に地面を離れてはいけない「LC(ロス・オブ・コンタクト)」、接地から垂直になるまで膝を曲げてはいけない「KB(ベントニー)」)を、審判なしでも検出できるようにする初心者向け練習支援システムの構築を目指しています。
そこで、靴の履き口や踵に簡易に装着できる慣性センサ+地面までの距離を計測する測距センサを組み合わせた靴装着型デバイスを設計し、得られたデータから反則判定を行うモデルを構築しています。
街のセンシング
Tongar: トングでゴミ拾いするだけでポイ捨てゴミの種別・位置を記録するシステム
近年、奈良公園のシカをはじめ、野生の動物が誤ってポイ捨てゴミを食べて死に至る状況が発生しています。この点にとどまらず“ポイ捨て”は深刻な環境問題であり、解決が望まれています。Tongarは、ゴミ拾いに利用するトングにカメラを搭載し「どこ」で「どんな」ゴミが「いつ」捨てられているのかの情報を自動で収集するシステムです。
データ収集・活用基盤を社会実装する
プラットフォーム
ためしば: ボトムアップ式のスマートシティアプリ
自治体だけでなく、市民や民間企業、大学といった様々な組織に属する人たちみんなで創るスマートシティアプリです。シビックテック(Civic Tech)の考え方で、オープンに街を良くするためのプラットフォームとして利用できるようにすることを目指しています。
レポっと: ブラウザで動作するユーザ参加型位置情報付き写真収集システム
「レポっと」は、みんなの視点で見た街の様子を共有するためのプラットフォームです。 ブラウザだけで動作し、位置情報付きの写真📸・コメント💭・ハッシュタグ🔖 を投稿することができます。
集めたデータはデジタルアーカイブ化し、オープンデータとして公開しています。
にしょロボくん: 小学生が創る地域のデジタル図鑑
子供目線で地域の情報を収集して「世界に一つだけの地域のデジタル図鑑:にしょロボくん」を創る、全校縦割り活動プロジェクトです。ワークシートやギガスクール端末を用いて様々な形式(テキスト・写真・音声・動画・地図・絵…)でニッチな街の情報を可視化します。
仕組み
共同研究・連携機関
- 自治体・行政機関
- 生駒市
- 奈良県
- 奈良県立美術館
- 佐賀市
- 民間企業
- 株式会社カワカミ
- 日本たばこ産業株式会社
- 讀賣テレビ放送株式会社
- ソフトバンク株式会社
- LINEヤフー株式会社
- 奈良交通株式会社
- YuMake株式会社
- 近鉄ケーブルネットワーク株式会社
- 一般財団法人西粟倉むらまるごと研究所
- 株式会社ローカルメディアラボ
- 大学・学術機関
- 奈良先端科学技術大学院大学
- 九州大学
- Universität Ulm(ウルム大学)
- DFKI(ドイツ人工知能研究センター)
- 大阪公立大学
- 慶應義塾ミュージアム・コモンズ
- 京都橘大学