ソフトウェアジャパン2018 ITフォーラムセッション(4)

Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
ソフトウエアジャパン2018
協働プロジェクト『空気を読む家』
『空気を読む家』におけるオブジェクト認識技術
2018年02月02日
先端IT活用推進コンソーシアム
クラウド・テクノロジー活用部会リーダー荒本道隆
ユーザーエクスペリエンス技術部会吉田光輝

クラウド・テクノロジー活用部会のご紹介
■背景/活動目的
７年目は、特に音を使った機械学習を中心に、様々な技術について
「実際に触ってみる」を実践した。
８年目も、引き続き部会内勉強会や部会内ハンズオンの開催を継続しつつ、前
期の内容に加え、外部出力するためのロボットなど、さらに幅広いクラウド関連
の各要素技術の活用に挑戦する。
・測定（センシングなど）： Arduino,RaspberryPI を使ったセンシング
・収集（ネットワーク）：無線LAN, Bluetooth, 電子署名, セキュリティ
・蓄積（KVS, クラウドサービスの利用）： RDF, SPARQL, IaaS の利用
・分析（統計処理、オープンデータの利用、アルゴリズム）： R, 遺伝的アルゴリズ
ム, ディープラーニング
・出力（ビジュアライゼーション、外部操作）： R, D3.js, ロボット, ROS
これら広範囲の各要素技術に対し、部会参加者が「知っている」ではなく「使った
ことがある」「人に教えることができる」と言えるレベルを目指す。また、それらを
使ったプロトシステムを開発し、運用を行う。
2

2017年の主な成果－１
• 情報交換（イベントへの参加、ニュース、その他）
• 「音を使った機械学習」をやってみる＜松井
部会参加者（6人分）の録音データで話者識別
• データサイエンティスト協会の紹介＜宮本
• ゼロから作るニューラルネット第４章を参考に、Iris分類
• Wekaを導入＆触ってみる＜今里
• AIについて＜宮川
• 機械学習について＜今里
• サーバ上のJupyterを触ってみる＜荒本
• Arduinoとクラウドの連携（応答性能向上）手法＜荒本
• ROS概要＜佐伯
3

2017年の主な成果－２
4
• 持ち回り講師で、書籍を輪読。実際に動かしてもみる
『ゼロから作るDeep Learning』
2章パーセプトロン＜菅井
3章ニューラルネットワーク＜蓑島
4章ニューラルネットワークの学習＜松井
5章誤差逆伝播法＜荒本
6章学習に関するテクニック
6.1 パラメータの更新＜新谷
6.3 Batch Normalization ＜大越
6.4 正則化＜市川
6.5 ハイパーパラメータの検証＜田中
7章畳み込みニューラルネットワーク＜新谷
• 今年は『仕事ではじめる機械学習』を輪読中

オブジェクト認識技術

やりたいこと
• 今回の『空気を読む家』のテーマ
• 失くしモノや忘れモノ対策
• 対象物が、どの部屋にあるか？
• どの部屋にも無い＝家の外にある
• 対象物が、部屋の中のどの位置にあるか？
• 隠れていても、見つけられること
• 対象物が、誰と一緒に移動しているか？
• 身に着けている or カバンに入っている
6

実現方法を検討
• 技術で分類
• 電波（RFID, Bluetooth）
• 画像（画像認識, 差分検出, ARマーカー, バーコード）
• その他（加速度, ？）
7

電波を使ったオブジェクト探査
• RFID(Radio Frequency Identifier)
• 概要：ID情報を埋め込んだRFタグを対象物に付ける
• 特徴：RFタグは安価だが、リーダーは高価
• 課題：電池無しのパッシブ型は読みとり距離が3mと短い
• Bluetooth
• 概要：電池を内蔵したタグを対象物に付ける
• 特徴：リーダーとしてスマホが活用できる
• 課題：大体の距離しか分からない
8
製品化されたものが多数ある。

画像を使ったオブジェクト探査
• 画像認識
• 概要：機械学習を利用し、カメラ画像から対象物を見つける
• 特徴：学習させれば、何でも検出可能
• 課題：カメラから遠いと、画像が小さすぎて検出できない
• AITCでも、過去にやった事がある
9
2016年1月期 AITCオープンラボ
「第1回機械学習勉強会～Deep Learningを使って訪問者判定してみた」
ポケットやカバンの中は、分からない。
カメラに写った人が誰かは分かる。
服装で仕事かどうかも分かるかも。

参考：人・仕事判定のための準備
10
2016年1月期 AITCオープンラボ
「第1回機械学習勉強会～Deep Learningを使って訪問者判定してみた」

2016年6月23日デジタルガジェット祭り！
「加速度センサーに挑戦」
その他のオブジェクト探査
• 加速度センサ
• 概要：加速度を２回積分し、移動距離を算出する
• 特徴：出発地点からの移動距離で、現在地点を推測する
• 課題：自作すると、ある程度の大きさになってしまう
• AITCでも、過去にやった事がある
11
精度を上げるのは、かなり大変そう

そこで今回は
• 課題：爪切りを持ち出したのは誰か？
• 要件
• レターボックスに、爪切り、ハサミ、e.t.c…が入っている
• 誰かが爪切りを持ち出して、返し忘れている
• 誰が爪切りを持って行ったかを知りたい
• 制限事項
• RFIDやBluetoothは使わない
• 物体の画像認識は使わない（レターボックスの内部にカメラが設置できない）
12

補足説明
• 「何を持っていったか？」に注力する
• いつ、何を持ち出したかを判定する
• 「誰か？」は今回は実装しない
• すでにやったことがあるので
• WEBカメラを２台同時に使う上での課題がある
• USBのバススピードが不足する場合がある
13

デモ実施
14

種明かし
15
・事前に全アイテムの重さを計る。
・webCamで計りの針を読む。
・重さから足りないアイテムを推定する。
HW
計り
Raspberry Pi 2 B+
WebCam, スピーカー
SW
motion (package)
OpenCV (package)
asound (pckage)
python script(自作)

画像から角度を得る
16
実際の画像

17
蛍光黄色を探す：針
青色を探す：原点

18
青いピクセル群の重心を原点と
する。
黄色のピクセル群から直線を検
出しベクトルを得る。
Y軸とベクトルのなす角を得る。
角度から重さを得る。

苦労した点
画像処理の不安定さ
•周辺の光源、色の影響
•ピクセル郡から幾何的な計算
Raspberry Pi
•WebCamが不安定
•Line Outがノイズまみれ
19

まとめ
• 通信機能を持った計りでも出来たけど
• 今回は、家庭にある安価な計りを使いたかった
• 機械が「人間用の計りの目盛りを読む」を実現
• 重さからオブジェクトを推測
• 高解像度カメラなら、遠くから目盛りが読めるかも
• 計りにARマーカーを付ければ、場所の特定は容易
• 料理のサポートなど、様々な応用が出来そう
• 音声入力との連携も楽しそう
• 今回のシステムの活用例
• 使用履歴を記録
• 使用量を記録
20

http://aitc.jp
https://www.facebook.com/aitc.jp
最新情報は
こちらをご参照ください
ハルミン
AITC非公式イメージキャラクター
AITC クラウド活用部会への参加、
お待ちしてます

ソフトウェアジャパン2018 ITフォーラムセッション(4)

More Related Content

What's hot

Similar to ソフトウェアジャパン2018 ITフォーラムセッション(4)

More from aitc_jp

Recently uploaded

ソフトウェアジャパン2018 ITフォーラムセッション(4)