追記 2016年3月に以下の記事によってこの内容はupdateされています。今後はそちらをお読み下さい。 主に自分向けのまとめという意味合いが強いんですが（笑）、僕が実際に2013年6月現在webデータ分析＆データサイエンスの実務でツール・ライブラリ・パッケージを利用しているものに限って、統計学・機械学習系の分析手法を10個挙げて紹介してみようと思います。 追記 回帰分析（特に線形重回帰分析） 独立性の検定（カイ二乗検定・フィッシャーの正確確率検定） 主成分分析(PCA) / 因子分析 クラスタリング 決定木 / 回帰木 サポートベクターマシン(SVM) ロジスティック回帰 ランダムフォレスト アソシエーション分析（バスケット分析・相関ルール抽出） 計量時系列分析 おわりに おまけ1：「素性ベクトル＋分類ラベル」なるデータ前処理 おまけ2：グラフ理論*10 {igraph}パッケージでグラ
ニコニコ動画をご利用いただきありがとうございます。 去る4月末、第四回ニコニコ学会β開催を記念し、国立情報学研究所 情報学研究データリポジトリ(IDR)ご協力の元、ニコニコ動画のメタデータ「ニコニコデータセット」を公開しました。 データはニコニコ動画に昨年11月初旬までに投稿された約830万件の動画のメタデータ（タイトル、説明文、タグ、投稿日時、再生数等）約12GBと、それに対するコメントデータ（コメント本文、投稿日時、コメント位置等）約300GBです。動画データ本体および個人を特定するユーザIDは含まれません。原則「すでに公開されているデータ」をとりまとめており、非公開のデータは含みません。 本データが公開されることにより、スクレイピング等を行わなくともニコニコ動画に関する研究が行えるようになります。 また、学術機関に所属する研究者が検証可能な形で公式に研究発表しやすくなるものと考えられ
レポート 泥にまみれた塚田九段が譲れなかったもの -『将棋電王戦』第四局 "棋士の意地"すら超えた、勝負への壮絶な執念 人間対コンピュータの戦い。このレポートも4回目を迎えるが、今回の戦いほど異様な勝負はこれまでの将棋界では見たことがないものだった。筆者は第三局のレポートの結びで「意地の勝負なら塚田九段はきっとやってくれる」と予想したが、塚田九段が見せたのは「棋士の意地」の範疇をすら超えた、勝負への壮絶な執念だった。泥にまみれることすらいとわない、なりふり構わぬ戦いぶりに対しては賛否両論もあるだろう。しかし、この戦いを称えるのか非難するのか、それは勝負を見た人間がそれぞれに決めればいい。ここでは、この日の盤上とそれを取り巻く人たちの間で何が起こっていたのか、その真実に迫ってみたい。 「第2回将棋電王戦」は、日本将棋連盟に所属する現役プロ棋士5人と、第22回世界コンピュータ将棋選手権で上位に
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
GW中にやることリストのひとつである確率的情報検索ノートができたので公開． Notes on Probabilistic Information Retrieval ―Probability Ranking PrincipleからBM25まで― 確率的情報検索とは，Prbability Ranking Principle (説明はノート参照) をスタート地点にして適合確率をモデル化した情報検索のいち分野．Binary independence modelやBM25などが含まれる (BM25はいろんなヒューリスティクスが入っているのだけれど)． BM25とは， [tex:\sum_{t \in q} q_t \cdot \frac{f_{t,d} (k_1 + 1)}{k_1*1 + f_{t,d}} \cdot w_t] という (説明はノート参照)，ぱっと見ワケワカラン計算式だけれど当た
【DL輪読会】How Much Can CLIP Benefit Vision-and-Language Tasks?
2016年度までのITロードマップ（ビッグデータ編）を発表 ～ビッグデータ活用が企業の競争力の向上や社会問題の解決に寄与～ 2011年5月24日 株式会社野村総合研究所 株式会社野村総合研究所（本社：東京都千代田区、代表取締役社長：嶋本 正、以下「NRI」）は、2016年度までのビッグデータ活用の進展と、そのインパクトを予測した「ITロードマップ」※1をとりまとめました。ハードウェア、及びソフトウェア技術の進化によって、これまでは困難だった、複雑で大規模なデータの分析処理が可能になり、今後、企業の競争力の向上や社会問題の解決に役立つことが予想されます。 この数年、利用者が急激に拡大しているソーシャルメディア※2内のテキストデータ、携帯電話・スマートフォンに組み込まれたGPS（全地球測位システム）から発生する位置情報、時々刻々と生成されるセンサーデータなど、我々の日々の生活の中で生み出される
overlasting.net 2019 Copyright. All Rights Reserved. The Sponsored Listings displayed above are served automatically by a third party. Neither the service provider nor the domain owner maintain any relationship with the advertisers. In case of trademark issues please contact the domain owner directly (contact information can be found in whois). Privacy Policy
情報検索入門シリーズ。 テストコレクション(test collection)とは、評価用データセットのこと。 特に、様々な研究機関が共有し、異なる研究環境間でも評価結果の比較ができるようしたものを 自前の評価用データと区別するために標準テストコレクション(standard test collection)と呼ぶこともある。 情報検索のテストコレクションは通常、検索対象である文書セットと、検索課題セットと、各検索課題に対する正解(適合文書)セットから構成される。 検索システムを評価する際には、各検索課題をシステムに与えて得られた検索結果に対し平均精度などの評価指標を計算し、さらに評価指標の検索課題セットに関する平均などを算出する。 テストコレクションは歴史的に数百～数千件の文書を扱うものが多かったが、1992年に米国の評価型ワークショップTREC(Text Retrieval Con
検定手順: 前提 帰無仮説 $H_0$：「母代表値に差はない」。 対立仮説 $H_1$：「母代表値に差がある」。 有意水準 $\alpha$ で両側検定を行う（片側検定も定義できる）。 $n$ ケースの，対応のある $2$ 変数を $X_{i}$，$Y_{i}$ とする（$i = 1, 2, \dots, n$）。 $X_{i}$，$Y_{i}$ の大小関係を調べ，$X_{i} \gt Y_{i}$ の組の数を $n_p$，$X_{i} \lt Y_{i}$ の組の数を $n_m$とする。 例題では，$X_{i} \gt Y_{i}$ は $7$ 組，$X_{i} \lt Y_{i}$ は $2$ 組なので，$n_p = 7$，$n_m = 2$ である。 帰無仮説のもとでは $n_p = n_m$ となる。 検定は「母比率$\ = 0.5$ の二項検定」になる（ケース数$\ = n_p
Home 「情報と通信のハイパーテキスト」 は下記へ移動しました。 http://www.mnc.toho-u.ac.jp/v-lab/
出典は列挙するだけでなく、脚注などを用いてどの記述の情報源であるかを明記してください。 記事の信頼性向上にご協力をお願いいたします。（2023年5月） 線形計画法（せんけいけいかくほう、線型計画法、英語: linear programming、略称: LP）は、数理計画法において、いくつかの1次不等式および1次等式を満たす変数の値の中で、ある1次式を最大化または最小化する値を求める方法である。線形計画法の対象となる最適化問題を線形計画問題という。 線形計画法はいくつかの理由で最適化の重要な分野である。オペレーションズリサーチの多くの実際的な問題は線型計画問題として記述できる。ある特殊なケースのネットワークフロー問題や多品種流問題（英語版）といった線型計画問題はこれらを解くために特別なアルゴリズムを考案するに値するほど重要だと考えられている。他のタイプの最適化問題に使われる多くのアルゴリズム
この記事には参考文献や外部リンクの一覧が含まれていますが、脚注による参照が不十分であるため、情報源が依然不明確です。 適切な位置に脚注を追加して、記事の信頼性向上にご協力ください。（2023年1月） 木構造は、一般のグラフ構造と同様の、ノード（節点、頂点）とノード間を結ぶエッジ（枝、辺）あるいはリンクで表すこともできるが、木構造専用の、特に有向の根付き木となるような表現が使われることも多い。 データ構造として使われる木は、ほとんどの場合、根となるノードが決められた根付き木である。さらに、有向木であることも多い。[注 2] ノード間の関係は家系図に見立てた用語で表現される。木構造内の各ノードは、0個以上の子ノード (英: child node) を持ち、子ノードは木構造内では下方に存在する（木構造の成長方向は下とするのが一般的である）。子ノードを持つノードは、子ノードから見れば親ノード (英
■ [prog] 正規文法、文脈自由文法、解析表現文法 について調べたのでまとめ。それぞれ Regular Grammer(RG), Context Free Grammer(CFG), Parsing Expression Grammer(PEG)とも。 解析表現文法はPEGって呼ばれる方がずっと多いよね。てかPEGが「文法」の一種であることを今まで分かってなかった(^^; 「パーズ関係の新しいやつでしょ」みたいな。 正規文法 < 文脈自由文法 =?< 解析表現文法 の順で、表現できる言語が増える。 (追記：CFG<PEGであるとはまだ証明されていないそうです(コメント欄を参照)) 正規文法はいわゆる正規表現のもとになったやつ。(現在のLLのRegexpは拡張されまくりなので正規文法以上のものも解析できる) 文脈自由文法はBNF記法で書けるやつ。 文脈自由文法(のサブセット)の解析方法と
Collective Intelligenceという本を読もうとしていて、とりあえず下読みというか、拾い読みをした。内容はというと、Collaborative Filtering、k-Nearest-Neighbourによるクラスタリング、Neural Network、Page Rankといったよく知られたアルゴリズムを使ったデータ処理遊びといった趣き。概念の説明だけじゃなくPythonを使ったコードもあり、データはdel.icio.usなどのWebサイトからWeb APIで入手するなど、実践的に学べるようになっている。スバラシイ。 Programming Collective Intelligence: Building Smart Web 2.0 Applications 作者: Toby Segaran出版社/メーカー: Oreilly & Associates Inc発売日: 20
Googleで検索したとき,どのような順序で表示しているかというと,PageRankというものでページにランク付けをして表示している. PageRankの基本概念 PageRankとは,「多くの良質なページからリンクされているページは,やはり良質なページである」という再帰的な関係をもとに全てのページの重要度を判定したものである. まず検索エンジンGoogle自身によるPageRankの解説を見てみると,PageRankは,ページAからページBへのリンクをページAによるページBへの支持票とみなし,この投票数によりそのページの重要性を判断している.しかし単に票数,つまりリンク数を見るだけではなく,票を投じたページについても分析している.それは重要度の高いページによって投じられた票はより高く評価されて,それを受け取ったページを重要なものにしていっている. このアルゴリズムを具体的に見ると次の図の
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く