Deprecated : The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456 データ記述とWebサービス - 東京電機大学
お知らせ
2023年度以降は「データエンジニアリング」のページを参照してください。
科目の位置づけ
この科目は選択科目です。
プログラミングの演習があります。後半に時間かけて作成する課題があります。
本科目ではプログラムで扱うデータの形式とその取り扱いについて学びます。
さらに応用として、Web上の情報を取得して組み合わせるマッシュアップの演習があります。
3年次科目「情報アクセスと知的処理」の前提科目です。
この科目はWebや言語処理や情報推薦に興味がある人が履修する科目です。
テキスト
データとデータ記述
XMLの基本
プログラミングの準備
ストリームとネットワーク接続
ストリームを用いたファイルの読み込み
ストリームを用いたWeb上のリソースの取得
ストリームを用いたデータの送信 [参考]
文字列の処理
XMLの応用例(1) - フィード (RSS/Atom)
XML文書とDOM
XMLの応用例(2) - Webサービス
HTML文書とDOM
JSON とバインディング
参考
最終課題
最終課題: 自分の好きなテーマでマッシュアップ
複数のリソースから得られる情報を組み合わせて有益な情報を得る
マッシュアップ のプログラムを作成しましょう。
ここでのリソースとは情報資源のことです。Web経由で取得する情報を基本とします。
原則として、Webサービスまたはフィード(RSS または Atom)で得られる情報を利用しましょう。
Webページ(HTML文書)を解析しないと得られない情報を使う場合には、
プログラムが煩雑になること、
取得時にサーバに負荷がかからないよう配慮する必要があることに留意してください。
Web上の資源とローカルの情報を組み合わる場合には、Web上の資源は1つでよいとすることがあります(相談してください)。
ローカルな情報の例: Webブラウザのキャッシュや履歴、iTunes のライブラリのメタ情報、等。
複数のリソースをどう組み合わせ、どのような機能を実現するのか、工夫してみてください。
工夫するほど評価が上がります 。
上記プログラムのレポートを書きましょう。詳細...
提出先・提出期限はプログラムと同じです。
レポートの提出が無かったり、レポートの内容がプログラムと整合していない場合には単位が出ません。
提出先: 授業フォルダの「最終課題」
提出期限: 1月7日(土) 23:59
2021年度の作品例
季節別のアニメに関するTwitterに投稿された画像の収集と表示
YouTubeチャンネルの各動画の投稿当時のツイートの取得と表示
乗りたい電車の時刻から現在地に滞在できる時間と出発すべき時刻を算出
駅周辺のスポットを駅の出口ごとに分類して表示
Qiitaの記事とGithubのレポジトリを横断検索し関連度の高い組み合わせを出力
今週末におすすめの観光スポットを、人気、天気予報、距離を考慮してランキング
任意のシーズンにおける声優の演じたキャラクター数を集計し、そのランキングおよび関連情報を表示
過去の株価の変化に関連ありそうなニュースとその要約を抽出して表示
2020年度の作品例
録画済みアニメの情報を一括取得
指定した期間に晴れている都道府県とそこの観光情報・宿泊情報を表示
情報系の資格を人気度・難易度・取得費用を考慮してランキング
ユーザの感情にマッチしたカクテルを提案し、材料の合計金額を表示
ゲームアプリのダウンロード数と売り上げを考慮し、注目アプリとその注目の持続性を判定
登録した企業の有益な情報を自動で収集し表示
英単語の学習支援
2019年度の作品例
ニコニコ動画でランキングにランクインした動画のTwitterでの人気度を調査
旅行の目的地を指定すると、候補の宿とその近隣の飲食店情報を表示
複数の動画配信サイトの番組を視聴者数順にソートし、動画をウィンドウに表示
季節別TVアニメ主題歌のTSUTAYA在庫情報を照会
ホットペッパーグルメとぐるなびの両サイトで上位の飲食店を駅名から検索
Spotifyプレイリストをレーベル、ジャンル、リリース年に分類
料理のレシピを検索し、その結果のソート基準をその日の天気により変更
ニコニコ動画のアニメランキングを、それぞれのアニメのまとめサイトの情報と同時に表示
提出物は Box
の出題回のフォルダの直下に学籍番号(アルファベットは小文字)のフォルダを作成し、
その中にコピーしてください。
なお、他の人と同じファイルを提出すると 0点以下の点数になります。
課題13
最終課題の情報の組み合わせ(または情報抽出の続き) (3)
プログラムは一体として動作するようにしましょう。
マッシュアップの機能は作成途中でかまいません。途中経過を提出してください。
ファイル名: (指定なし)
備考: プログラムが動作していない人も、作成途中のものを提出すること。
プログラムの構想 [更新した人のみ]
ファイル名: システム構想.pptx (PowerPointを使わない人は PDF でも可)
提出先: 授業フォルダの第13回
提出期限: 12/19 22:00
課題12
最終課題の情報の組み合わせ(または情報抽出の続き) (2)
プログラムは一体として動作するようにしましょう。
マッシュアップの機能は作成途中でかまいません。途中経過を提出してください。
ファイル名: (指定なし)
備考: プログラムが動作していない人も、作成途中のものを提出すること。
プログラムの構想 [更新した人のみ]
ファイル名: システム構想.pptx (PowerPointを使わない人は PDF でも可)
提出先: 授業フォルダの第12回
提出期限: 次回の前日 22:00
課題11
最終課題の情報の組み合わせ(または情報抽出の続き) (1)
プログラムは一体として動作するようにしましょう。
マッシュアップの機能は作成途中でかまいません。途中経過を提出してください。
ファイル名: (指定なし)
備考: プログラムが動作していない人も、作成途中のものを提出すること。
プログラムの構想 [更新した人のみ]
ファイル名: システム構想.pptx (PowerPointを使わない人は PDF でも可)
提出先: 授業フォルダの第11回
提出期限: 次回の前日 22:00
課題10
最終課題のリソース取得と情報抽出 (2)
1つ目を Webサービスかフィード(RSS または Atom) にした場合、
2つ目以降は Webページでもかまいません(推奨はしません)。
複数のリソースを取得するプログラムを一体のものとして動作させましょう。
先に進んでいる人は、得られた情報を組み合わせたりするプログラムを提出してもかまいません。
ファイル名: (指定なし)
備考: 動作するに至らなかった人は、作成途中のものを提出すること。
その場合、動かなかった機能をファイル先頭にコメントで記述すること。
プログラムの構想 [更新した人のみ]
ファイル名: システム構想.pptx (PowerPointを使わない人は PDF でも可)
提出先: 授業フォルダの第10回
提出期限: 次回の前日 22:00
課題9
最終課題のリソース取得と情報抽出 (1)
今回は Webサービスかフィード(RSS または Atom)を利用しましょう。
Webページだけを情報源とすることは避けてください。
将来的には、複数のリソースを取得するプログラムを一体のものとして動作させることになります。
なるべく、それを想定したクラスの構成にしておきましょう。
先に進んでいる人は、2つ以上のリソースを取得したり、
組み合わせたりするプログラムを提出してもかまいません。
課題7で1つ目のリソース取得と情報抽出まで完了している人は、
今回は2つ目に取り組みましょう。
このプログラムで取得するリソースは、最終課題で用いるリソースの「候補」でかまいません。
つまり、この先の検討により利用しなくなってもかまいません。
ファイル名: (指定なし)
備考: 動作するに至らなかった人は、作成途中のものを提出すること。
その場合、動かなかった機能をファイル先頭にコメントで記述すること。
プログラムの構想 [更新した人のみ]
ファイル名: システム構想.pptx (PowerPointを使わない人は PDF でも可)
提出先: 授業フォルダの第09回
提出期限: 次回の前日 22:00
課題8
プログラムの構想
実現する機能の概要
使用するリソースの概要と形式(リソースごとに記述)
概要
提供元
ベースURL
形式: Webサービス | RSS | Atom | HTML | その他
システムの概要が分かる図
システムの入出力と内部のデータの流れがわかるもの。
事前にデータを集めておく場合は、それも表現すること。
ファイル名: システム構想.pptx (PowerPointを使わない人は PDF でも可)
備考: 構想は確定ではなく、後での変更も可とします。
提出先: 授業フォルダの第08回
提出期限: 次回の前日 22:00
課題7: フィードからの情報の取得
課題7a: item要素の追加情報の取得
pubDate, creator, date, など、いろいろな種類があります。1つ以上を対象としてください。
名前空間接頭辞を無視する場合、要素の指定は dc:date ではなく date となります。
Feed クラス、Item クラスを改造する必要があります。
ファイル名: FeedItemViewer.java , Feed.java, Item.java
課題7b: item要素の絞り込みまたはソート
item 要素の絞り込みの方法は、XPath 式でも、item要素の子要素から取り出した情報で判断するのでもかまいません。
課題7a と同じパッケージにすると、Feed クラス、Item クラスが共通になることに注意しましょう。
別のクラスにしたい場合は、パッケージを別にするか、クラス名を変更しましょう。
クラス定義の直前の位置のコメントに機能の説明を書いておいてください。
ファイル名: FeedItemExtractor.java ,
Feed.java ,
Item.java (Feed, Item クラスは名称変更してもよい)
提出先: 授業フォルダの第07回
提出期限: 次回の前日 22:00
課題6
課題6: フィードの発見
3つ以上見つけ、URL を控えておいてください。
仕様 (RSS 1.0 / RSS2.0 / Atom)、文字コード、取得可能な件数(item要素の数)を確認してください。
リクエスト時にパラメータを与える仕様の場合にはパラメータの仕様も確認しましょう。
提出: なし (次回の課題で情報の取得対象として使います)
期限: 次回の授業前まで
課題5
課題5: Webページからの情報抽出 (復習: オブジェクト指向のクラス設計)
送料と同様、名前、価格も正規表現で取得しましょう。meta 要素を利用すると容易です。
名前(title)・価格(price)・送料(shipping)を表す属性(フィールド)を用意しましょう。その他の属性を追加してもかまいません。
URL を与えると 属性の情報を取得する fetch メソッドを用意しましょう。
URL を与えると 属性の情報を取得するコンストラクタを用意し、内部で fetch メソッドを呼び出しましょう。
main メソッドでは、商品の数だけ YahooShoppingItem インスタンスを生成するデモをしてみましょう。
商品のリストとして ArrayList を用いましょう。
余力のある人は、価格の安い順にソートしてみましょう。
YahooShoppingItem クラスに Comparable インタフェースを実装
YahooShoppingItem クラスに compareTo メソッドを用意
動作確認用の main メソッド内で Collections.sort メソッドでソート
ファイル名: YahooShoppingItem.java
(テンプレート )
提出先: 授業フォルダの第05回
提出期限: 次回の前日 22:00
課題4
課題4: Webページからの情報抽出 (正規表現を使用)正規表現 を活用してください。
また、送料の値を整数値として得るようにしましょう。送料無料の場合は 0、送料不明の場合は -1 の値を取るようにしてください。
課題3
課題3: Webページからの情報抽出 (Stringクラスのメソッドを使用)String クラス
のメソッドを活用してください。
送料無料の場合には、その旨表示されるようにしましょう。
送料の情報がなかった場合には、その旨表示されるようにしましょう。
ヒント
「YahooShoppingShippingExtractor.java」の内容は、
「ShowFile1.java」をネットワーク接続するよう変更したものをベースにするとよいでしょう。
なお、ShowFile1.java では args[0] に URL が入っていることを前提にしていますが、
URL を直接ソースコードに書いてかまいません。
その場合、main メソッド先頭にある、args.length を確認する if 文は不要になります。
まずは「送料〇〇円」あるいは「送料無料」と書かれている行だけを表示してみましょう。
練習として、「送料」という文字列が含まれている行の行全体を表示するプログラムを作成しましょう。
String クラス の
contains メソッドか indexOf メソッドを使います。
String クラス の
indexOf メソッドを利用して、指定した文字列の出現する先頭の位置を調べることができます。開始位置、終了位置を指定して、文字列の一部を substring メソッドを利用して抜き出すことができます。
複数の商品ページでテストしましょう。
Yahoo! ショッピングのサイトで検索すると、Yahoo!ショッピングではなくPayPayモールの商品もヒットしますが、
両方のサイトのページに対応する必要はありません。
ファイル名: YahooShoppingShippingExtractor.java
提出先: 授業フォルダの第03回
提出期限: 次回の前日 22:00
課題2
課題2: 「妥当な」XML文書ファイルの作成意味的に適切な構造を持つ ようにしてください。
意味的に適切な構造を持つとは、例えば、実世界で階層構造を持つものは、
XMLの構造上も階層構造を持っている、といったことです。
5階層以上の構造を持つようにしてください。
スキーマを記述する必要はありません。
構造だけでなく、実際のデータを記述してください。内容はダミーでもかまいません。
ファイル名の拡張子は「.xml」としてください。
文法的に正しい整形式の文書になっているか、
ブラウザで表示させてみるなどして提出前に確認をしてください。
5階層とは、root要素から下にたどって5要素あるものを言います(root要素を含みます)。
提出先: 授業フォルダの第02回
提出期限: 次回の前日 18:00 授業開始時
課題1