ソフトウエアジャパン2017　IT Forum AITC(3)

Copyright © 2017 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
『空気を読む家』におけるIoT技術
2017年2月3日
先端IT活用推進コンソーシアム
ナチュラルユーザーインターフェース活用部会リーダー
岡村和英(株式会社テクリエ)

Today’s Topics

3
NUI部会活動紹介
睡眠環境データの取得
今後の取り組み

4

活動テーマ
人の自然な振る舞いや仕草を
ユーザーインターフェースとする
ナチュラルユーザーインタフェース
（NUI）を追求
様々なデバイスを実際に使用したり
プロトタイプの開発を通して
現時点での限界や可能性を探求
5

ゴール
協働プロジェクト「空気を読む家」
のなかで
日常的な人間の振る舞いが
自然なインターフェースとして
システムと繋がるような
フレームワークを検討・開発する
6

これまでの活動内容
NUI技術及び事例の調査
NUIデバイスを用いたアプリ試作
7

デジタルガジェット祭り
8
各種デバイス、およびそれを利用したアプ
リケーション等を紹介・展示。最新デバイ
スを身近に触れる機会を提供。

デジタルガジェット祭り
9
昨年６月に行った第3回では、コンソーシア
ムメンバーが作成した自作のIoTガジェット
を紹介

NUIを活用した乗車券販売機
10
TheEyeTribeTracker
視線を検出する
アイトラッキングセンサー
LeapMotion
指と手の動きを検出する
モーションセンサー

11

空間OSによる照明制御
12
空間OS
訪問者情報
在宅状況
室温
状態
取得
Hueブリッジ照明
制御
在宅状況に応じたON/OFF制御
• 不在時は自動消灯
• 帰宅時に自動点灯
誰もいないよ！
消灯！

13
空間OS
訪問者情報
在宅状況
室温
状態
取得
制御
来客の通知
・知人、宅配便など
→ 人がいる部屋の電灯を点滅
・セールスマン
→ 何もしない（無視）
来客だよ！
アラート！

14
空間OS
訪問者情報
在宅状況
室温
状態
取得
制御
環境に応じた調色制御
・室温が高い
→ 寒色系の色合い
・室温が低い
→ 暖色系の色合い
寒いよ！
温かい気分に！

15
在室状況
起床時刻
睡眠度
起床制御
07:30
2 of 9
在室
起床時間にはちょっと
早いけど、睡眠が浅いから
環境音楽と優しい照明で
ゆっくりと起こし始めよう
空気を読む家における起床
空間OS
状態取得
睡眠レベルや起床すべき時刻に基
づいて、起きやすい状態の時に目
覚めを誘う
超指向性スピーカーで狙った
ところに音を届ける

16
在室状況
起床時刻
睡眠度
起床制御
07:30
4 of 9
在室
起床時刻なのにまだ寝てるぞ！
うるさい音と激しい点灯で
はげしく起こさないと！
空間OS
状態取得
状態に合わせて起こし方を変える

17
在室状況
起床時刻
睡眠度
状態取得起床制御
07:30
在室
無事に起きれたみたいだ。
音を止めて
普通の灯りをつけよう！
0 of 9
空間OS

UX技術部会との連携
18

19

データ取得の目的
• 空気の読む家における睡眠の位置づけと
はどういうものか？
• 快眠を得られる環境は人によって違うの
ではないか？
• 環境と睡眠具合の関係を調べ、再現する
ことによって快適な睡眠を得られるよう
にすることが出来るのではないか？
20

取得するデータ
• 睡眠具合を示す指標
– 睡眠時間
– 睡眠度（深い眠り、浅い眠り、レム睡眠）
– 途中の目覚め（回数、時間）
• 睡眠に影響を与えるもの
– 温度、湿度、風速 → 体感温度
– 明るさ、騒音
– 気圧
– 就寝時刻、起床時刻
などなど
21

睡眠データの計測
• 睡眠具合をデータ化するための手段として睡眠
度を測定可能なセンサー商品を用いた
– リストバンド型活動量計
Jawbone UP3
– 電波式睡眠計
オムロン HSL-101
– マット式睡眠計
タニタスリープスキャン SL-504
• いずれの商品も専用アプリケーションを用いて
サーバーにデータをアップロードすることで、
睡眠時間・睡眠度などの表示が行えるように
なっている
22

睡眠データの表示例
23
UP3 HSL-101 SL-504

睡眠データの取得
24
• Jawbone社の提供するAPI
を用いて、同社サーバー
上に蓄積された睡眠デー
タの取得を行えるように
した
[
{
"time_completed": 1484695142,
"xid": "Be-Z567GsRIEWTDnfnQ-_NaBVxVzKH7y",
"title": "for 5h 42m",
"time_created": 1484671133,
"time_updated": 1484920278,
"details": {
"body": "",
"tz": "Asia/Tokyo",
"awakenings": 2,
"light": 14001,
"mind": 0,
"asleep_time": 1484671975,
"deep": 0,
"awake": 3415,
"rem": 5368,
"duration": 24009,
"smart_alarm_fire": "",
"quality": "",
"awake_time": 1484694818
},
"date": 20170118,
"shared": true,
"sub_type": 0,
"phases": [
{
"depth": 1,
"time": 1484671133
},
{
"depth": 2,
"time": 1484671975
},
......

環境データの計測
• 各環境データ用の測定センサーを含む電子回路
を試作し、マイコン基盤を用いてデータの数値
化と収集を行った
25

26
温湿度センサーモジュール
（DHT11）
気温と湿度を測定（精度は
あまり高くない）
大気圧センサーモジュール
（LPS331AP）
大気圧、海抜高度、気温を
高精度で測定
照度センサー（CdSセル）
明るさにより電圧が変化
音量センサーモジュール
（浅草ギ研 AS-SS）
一定時間内でのピーク音
量を演算して検出

27
測定用プローブ：
温めたダイオードに風が
当たることで生じる温度
低下による電圧変化を検
出する
熱式風量センサー（自作）

28
ZigBee通信モジュール:
センサーから取得した値を無線送出
する
制御用マイコン（Arduino UNO）

ログファイル
環境データの収集
29
約0.5秒毎に各データ
を測定し、PCに接続
された親機に送信
受信したデータを10秒単位
に集計。平均値（音量のみ
最大値）をplotlyに送信し、
リアルアイムでグラフ描画
受信したデータを逐次、
日毎のログファイルに保存
クラウド部会の
データ解析担当者に提出

環境データの出力例
30
湿度（％）
気温（℃）
気圧（ｈPa）
音量（V）
照度（V）
風量（V）
センサー側で
単位変換された
値を記録
センサーの
出力電圧を
そのまま記録

試作所感
• 制御および通信周りのプログラムについては過去
に作成したものがほぼ流用できた
• 風速センサーについては、思ったよりも感度が敏
感で回路の調整に手間取った
→ プローブ以外の部分に風があたらないようケー
スに入れるなどの工夫も必要
• 音量センサーはかなり大きな音でないと反応せず、
睡眠時の騒音を測定するには不向きであった
→ 配布版に先立ち自作を行おうと思ったが時間不
足で断念
• ZigBeeのパケット抜けにより不正なデータが混入
するケースが多々生じた
→ バイナリ化して１パケットに収める、または
チェックサムを設けてエラー検出することが必要
31

配布版の製作
• より多くのデータを収集するため、配布用に10
セットの測定モジュールを用意することにした
• 試作版からいくつかの変更を行った
– CdS をフォトトランジスタに変更
– 気圧センサーが廃版となったため、後継製品に変更
– アナログ温湿度センサーもより精度の高いデジタル
センサーに変更
– 風速センサーは製作難度が高く、また設置後の調整
作業も必要となるため除外
– 音量センサーの改良も時間不足で断念、配布版から
は除外
• ZigBeeを用いた無線接続は使わず、USB直結で行っ
てもらうことにした
– 後述のとおりZigBeeでの運用には限界があり、また費
用をかけるのであれば今後WiFiへの改良に使った方が
よいのでは？という思いもあった
32

配布版センサーセット
33
温湿度センサーモジュール
（HDC1000）
気温と湿度を高精度に測定
大気圧センサーモジュール
（LPS25H）
大気圧、海抜高度、気温を
高精度で測定
照度センサー
（フォトトランジスター）
明るさにより電圧が変化

製作所感
• 10セットの測定モジュール組み立ては配布前日か
らの徹夜作業になってしまいかなり大変だった
– 特に配線用のジャンパケーブルを作成するのに時間
がかかった
→ 今後同様のことを行うのであれば、各自に組み立て
て貰いたいが、回路図・配線図などを作成し提供す
る作業も大変なので悩ましい
34
• Arudinoとの配線の説明は文
章だとわかりにくそうだった
ので写真を加工して図解して
みた
– 空港への移動中に画像加工
• 制御用マイコン含めてワン
ボード化できるとよりよかっ
た
– その方が設置も容易

データ収集所感
• 収集用PCにWindows10の自動アップデートで勝手にリ
ブートしてしまい、収集が途切れてしまうことが頻発
した
→ ローカルグループポリシーを変更して、自動アップ
デートを行わないように設定した
→ PCを介さず、Wi-Fiなどで直接外部サーバーにデータ蓄
積を行うように変更したい
→ WiFi前提であれば Arduinoではなく、ESP-WROOM-02を
使ってワンボード化したい
• 睡眠データ、環境データのそれぞれをファイルとして
提供してもらうのは手間だし、プライバシー保持の面
からも望ましくない
→ 空間OSのリポジトリに自動的に登録できる仕組みを考
える
→ JawboneのAPIでPubSub機能が提供されているので、そ
れを使う？
→センサーからのデータもWi-Fiなどでアップロードする
35

ソースコード
https://github.com/kzokm/aitc-nui-20170203
36

37

IoTの技術要素
• センシング（計測、把握）
• ネットワーキング（接続、収集）
• アナリシス（分析、評価）
• フィードバック（指示、制御）
• セキュリティ（情報保護）
38

今回できたこと
• センシング（計測、把握）
• ネットワーキング（接続、収集）
→ NUI活用部会にて実施
• アナリシス（分析、評価）
→ クラウド活用部会にて実施
• フィードバック（指示、制御）
• セキュリティ（情報保護）
→ 今後の検討課題
39

空気を読む家とIoT
• IoTデバイスに求められる性質とは？
– ロバストネス
– コネクティビティ
– ポータビリティ
– セキュリティ
• 空間OSとの連携
– エンドポイントの発見・利用
– データ活用の範囲、匿名化
40

空気を読む家とNUI
• 空気を読む家＝ユーザーインターフェー
スを必要としない家？
– 空気を読む＝オートメーションとは限らない
– 自動化がすすんでも明示的な操作が必要とさ
れる場面は存在する
– その時々に応じて必要・適正な操作を促し、
導くことも空気を読んでいるといえるのでは
ないか？
• 「NUIとは何か？」をもう一度考えてみよ
う
41

最新情報は
こちらをご参照ください
http://aitc.jp
https://www.facebook.com/aitc.jp
ハルミン
AITC非公式イメージキャラクター

ソフトウエアジャパン2017 IT Forum AITC(3)

More Related Content

What's hot

Viewers also liked

Similar to ソフトウエアジャパン2017 IT Forum AITC(3)

More from aitc_jp

Recently uploaded