こんにちは、「Yahoo! JAPANビッグデータレポート」チームです。 「音楽CDが売れるとサバの漁獲量が増える」と聞いたらどう思いますか？ ほとんどの人は、まさか！と思ったことでしょう。 では実際のデータを見てみましょう。 （図1）Yahoo!ショッピングの音楽CDの流通総額とサバの漁獲量 （R=0.82） 資料： Yahoo!ショッピング、農林水産省統計 Yahoo!ショッピングでの音楽CDの流通総額とサバの漁獲量の推移が見事に一致しています。 つまりデータ上ではその関連性が裏付けられたことになります。 これを一般的には「相関がある」といいます。 では、本当にCDの売上とサバの漁獲量の間に繋がり、つまり因果関係はあるのでしょうか？ 恐らくこの2つのデータ間に因果関係はないと思われます。 つまり、このデータは「相関があるが、因果関係はない」というデータなのです。 では、なぜこの2つのデ
これはなんですかタイトルの言葉は若干強すぎる気もしますが、最近TLで話題になっていた多重比較のお話についてです。元ポストはこちら↓ これ普通にアウトですね。 「AI(A)とAI(B)が存在して、AとBを4回対戦させたところ、Aが4勝した。」 という結果を見た後に仮説を立ててしまっているので、多重比較補正をせずに統計的検定を行うのは当然不正に当たります。 セーフだと勘違いした人は頭を丸めて反省し、論文を取り下げてください。 https://t.co/ET7Xni0OQz — まますさん (@mamas16k) August 5, 2025 結論から言うと、まますさんがおっしゃる通りで不正（正しくはない）に当たります。ただし、何がどう悪いのかを誰も言及していなさそうなのでサクッとまとめておきます。 手続きの整理AI(A)とAI(B)が存在して、AとBを4回対戦させたところ、Aが4勝した。(i)
総務省が公表している家計調査で、そばとうどんにかける外食費用は現在、同じ品目として集計されていますが、山形市の市長らが16日総務省を訪れ、「そば」だけであれば全国で上位がねらえるとして、別々に集計するよう求める要望書を提出しました。 総務省は、全国の県庁所在地や、政令指定都市を対象に家計調査の結果を公表していて、去年1年間にかけた外食費用のうち、同じ品目で集計されている「そばとうどん」では、「さぬきうどん」が名物の高松市が23年連続で日本一となり、山形市は5番目でした。 山形市内では、そば店が多く、冷たい水にそばの実を浸して甘みを引き出す「寒ざらしそば」が有名で、市は、「そば」にかける外食費用では全国で上位がねらえるとしています。 こうした状況を受けて山形市の佐藤孝弘市長とそば店などでつくる組合の関係者が、16日、総務省統計局を訪れ、要望書を手渡しました。 要望書では「そばの消費額の実態が
「○○年に一度の大雨」の計算方法とは？気象庁は観測結果をもとに、各地点について「〇〇年に一度の降水量」を算出し、発表しています。 ある期間内に1回起こると考えられる降水量のことを確率降水量といいます。気象庁の解説ページでは、確率降水量の推定方法が解説されていますので、これに基づいて「〇〇年に一度の大雨」の値を計算してみたいと思います。 大まかには次のような流れになっています。 年最大日降水量のヒストグラムを作成する分布関数を当てはめる分布関数の当てはまり具合を確認する当てはめた分布関数から確率降水量を算出する今回は、上記2. の「分布関数を当てはめる」を実際にやってみましょう！ 当てはめる分布関数気象庁の解説ページにあるように、当てはめに用いられる分布関数は次の５種類です。 グンベル分布一般化極値 (GEV) 分布平方根指数型最大値分布対数ピアソンⅢ型分布対数正規分布気象庁では、まず、1か
新型コロナウイルスの感染リスクについて、国立感染症研究所などのグループが発熱外来などを受診した280人余りを分析したところ「酒の出る3人以上の会食」に2回以上参加していた人は、感染の危険性がおよそ5倍高かったという暫定的な解析結果を公表しました。 この分析結果は、国立感染症研究所の鈴木基感染症疫学センター長らのグループが7日の専門家会合で示しました。 グループは、発熱外来などを受診して検査を受けた284人について、発症前2週間の行動をアンケート調査し、感染していたかどうかの検査結果とあわせて詳しく分析しました。 その結果「酒の出る3人以上の会食に2回以上参加していた人」は「会食には参加していない」もしくは「酒の出ない会食に1回だけ参加した人」に比べて、感染の危険性が4.94倍高いという結果になったということです。 また、2週間以内に「大人数や長時間におよぶ飲食をする場面」を経験した人につい
記者宅に届いた国勢調査の資料一式。記入の仕方を説明した冊子や、郵送用に調査票や返信封筒が同封されていた＝2020年10月1日午後1時15分、生野由佳撮影 みなさんはもう回答を済ませただろうか。現在実施している国勢調査だ。将来の国の制度設計や政策立案のため、国が5年に1度行っている重要なもの。だが質問項目を見ると、勤務先の名称や居住するマンションの階数など、「一体なぜ？」と首をかしげたくなるものがある。総務省の担当者にあれこれ聞いてみた。【生野由佳/統合デジタル取材センター】
政府は統計不正の再発防止に向けた対策案を固めた。統計の専門職員の資格を創設し「統計データアナリスト」と認定する。統計に関わる各省庁の職員に取得を求め、統計部局には有資格者の配置を義務付ける。第三者の目で精査するため、各省庁に「統計監理官」のポストもつくり、民間人の起用を求める。政府の統計をめぐっては、厚生労働省の毎月勤労統計で全数調査をすべきところを抽出調査で済ませる不正が昨年12月に発覚した
import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns import json import glob import math from pathlib import Path from collections import Counter from sklearn.linear_model import LogisticRegression from sklearn.metrics import accuracy_score from sklearn.metrics import confusion_matrix from sklearn.metrics import roc_auc_score from sklearn.model_selection imp
先日、twitter上で食べログの星の数について、 ある問題が話題になりました。 食べログの闇として話題になったその問題とは、 「評価3.8以上は年会費を払わなければ3.6に下げられる」 というものです。 食べログは飲食店についての口コミを集めるサイトで、 その評価は実際のユーザーによって形成されるものとして広く認知されています。 専門的なグルメリポーターでもなく、 一般の人々の素直な感想を集めることで、 その飲食店のリアルな価値が知れると期待して、 利用しているユーザーも多いでしょう。 それだけに、 「食べログが評価を恣意的に操作しているかもしれない」という話は、 瞬く間にネットで話題となりました。 さて、この話は実際に行われていることなのでしょうか。 食べログでは、当然評価点は公開されているので、 このような恣意的な操作があれば、 何らかの形で偏りが見つかるはずです。 ということで、食
直感的に操作できる統計解析ソフトは、ただ使い勝手が良いだけではありません。ソフト操作のストレスから解放されることで、より深いデータの考察を可能にしてくれます。 「パレート図と円グラフ」の作り方を1ステップずつ確認したのが前回（未見の方はこちら）でしたが、今回は統計解析ソフト「JMP（ジャンプ）」を使って「モザイク図と分割表」にチャレンジしてみましょう。 「JMP（ジャンプ）」なら今回も数ステップで簡単にグラフが作れます。[※分割表は二次元の度数表で、モザイク図はそれをグラフで表したものです。これらは、2つのカテゴリカル変数の関係を調べるときに役立ちます。] JMPを持っていなくても大丈夫です。初めての方も30日間無料のトライアル版で一緒に操作してみましょう。統計解析ソフトは操作が難しいと思っている方はぜひJMPを使ってみてください。 ■ セットアップ JMPを起動します（インストールがまだ
霜降り明星の最年少優勝で幕を閉じた『Ｍ-１グランプリ2018』。 平成最後で過去最高の注目度と言われたが、番組の平均視聴率も関東18.8％・関西28.2％と、共に歴代で５本の指に入るほどの盛況ぶりだった。 ところが番組終了後に、Ｍ-１はもっと注目されるようになった。 とろサーモンの久保田とスーパーマラドーナの武智が、審査員を務めた上沼恵美子を痛烈に批判したからだ。 「審査員の皆さん、もう自分の感情だけで審査するのやめてください。1点で人の人生変わるんで、理解してください」 「お前だよ！分かるだろ？右側のな！クソが!!」 かなり口汚く否定された上沼恵美子だったが、彼女の審査はそんなに頓珍漢だったのか。 当日リアルタイムで番組を見ていた全国1000万世帯ほどの動向を分析すると、他の６人の審査員とはやや点の入れ方が異なるのは事実だが、実は大多数の視聴者の感覚と近かったことがわかる。 視聴者はどこ
経済産業省は26日、繊維製品の在庫量などを調べる「繊維流通統計調査」で長年、実態と異なる数値を記載していたと発表した。40超の品目ほぼ全てで改ざんがみられ、10年以上前の数値がそのまま記載され続け、実際の数値と最大で10倍程度の差が生じた例もある。11月に経産省から業務を請け負う業者の告発があり、不正が発覚した。同統計は1953年から実施しているが、同省は不正発覚を受け年内で廃止する。政府は統
指定されたURLは存在しません。 URLが正しく入力されていないか、このページが削除された可能性があります。
「まとめサイト」について調査した結果を、ヴァリューズが3月23日に発表した。 全国20万人規模のモニター会員が所属するマーケティング分析サービス「VALUES eMark+」を使用し、2015年2月度のサイト訪問者数を集計。また、上位サイトについて、2014年12月～2015年2月のサイト訪問者の属性、アクセス時間帯、流入元構成、LP（ランディングページ）を分析した。 まとめサイト訪問者数ランキング（訪問者数は推計） 訪問者数の1位は「NAVERまとめ」で、断トツの1位。前年同月比も112％で、プラス成長を維持していた。 2位「nanapi」は、前年同月比68％で、上位サイトのなかで唯一前年比マイナスだった。3位「MERY（メリー）」は前年同月比312％、4位「Rettyグルメ」は前年同月比299％と、対前年比で大きく躍進している。 特定ジャンルを強化したまとめサイトほど、ユーザー数が伸長
2017年1月20日追記：『ダメな統計学――悲惨なほど完全なる手引書』という本が出版されることになった。この本は、ここに掲載されているウェブ版の『ダメな統計学』に大幅に加筆したものだ。ウェブ版の『ダメな統計学』を読んで興味を持った方は、書籍となった『ダメな統計学』をぜひ読んでいただければと思う。書籍版の詳細については「『ダメな統計学――悲惨なほど完全なる手引書』の翻訳出版」という記事をご参照願いたい。 ここに公開する『ダメな統計学』は、アレックス・ラインハート (Alex Reinhart) 氏が書いたStatistics Done Wrongの全訳である。この文章は全部で13章から構成されている。詳しくは以下の目次を参照されたい。 はじめに データ分析入門 検定力と検定力の足りない統計 擬似反復：データを賢く選べ p値と基準率の誤り 有意であるかないかの違いが有意差でない場合 停止規則と
『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day
3月28日 農業は地球の環境悪化の緩和に重要な役割を果たす フランス農学・獣医学・林学研究院 アグリニウム会長 マリオン・ギュー 氏 3月8日 近未来SF漫画で描かれるテクノロジーの未来 漫画家 山田胡瓜さん 12月28日 「世界中の望遠鏡が協力して中性子星合体を観測 ―重力波と光の同時観測『マルチメッセンジャー天文学』の幕開けは、何を意味するのか?」 理化学研究所仁科加速器研究センター 玉川 徹 氏 4月2日 《JST主催》「トップサイエンスによる社会変革への挑戦」―JSTの第2回ACCELシンポジウム開催 サイエンスポータル編集部 3月22日 第84回「日本発のデザインバイオロジー確立に向けて」 科学技術振興機構 研究開発戦略センター ライフサイエンス・臨床医学ユニット 山本秀明 氏 3月9日 市民の感情に「科学的知見」を持つ科学者はどう向かい合うか―AAAS年次総会2018レポート
Yahoo! JAPANトップページの機能を正しくご利用いただくには、下記の環境が必要です。パソコンでご利用のお客様 Windows：Internet Explorer 11.0以上 / Chrome 最新版 / Firefox 最新版 / Microsoft Edge macOS：Safari 9.0以上 ※Internet Explorer 11.0以上をご利用の場合は、 「Internet Explorerの互換表示について」を参考に、互換表示の無効化をお試しください。タブレットでご利用のお客様 iOS 9以降、または、Android4.0以降のOSに標準搭載されたブラウザー ※日本国内版として発売されている端末でご利用ください。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く