各新聞社の世論調査結果が大きく異なることに関して
(過去の記事から転載 それぞれ2008/07-08ころに書かれたものです)
各新聞社の世論調査・・結果違いすぎて吹いた
今日，待ってる時間が長かったので，読売新聞，産経新聞，朝日新聞を買って読んでた．ちなみに，毎日新聞がないのは，別に他意があるわけではない．まあ・・毎日に金払うの嫌ってのはあったけどさ（他意ありまくりやん）．
それはともかくとして，新聞によって内閣支持率がかなり違うんだ．ホント・・なんやねんこれ・・・ってくらいの勢いで．でまあ，これは日記のネタになる・・ということで，今日は統計学ネタで．題して，新聞の世論調査を正しく読み取ろう，ってね．各新聞社の内閣支持率は全然違うけど，統計学的に見てその妥当性はどうなのかと．
まあ，最初はしっかり書こうかと思ったんだけど……ごめん，ニート魂が発動した．やる気がないので簡単に．
でだ，前置きが長くなったのでそろそろ本題に入る．本日，07/15（火）の各新聞には内閣支持率に関する世論調査の結果が書かれている．しかし，各新聞社でかなり支持率に差がある．それを以下に示す．（ネット上の記事を示せば良いんだろうけど，めんどいから新聞から記載する）
●読売新聞 内閣支持率：26.6% - 調査方式 調査日：07/12, 07/13 有効回答数：1828人（60.9%，層化2段無作為抽出による3000人中；個別訪問面接聴取法） ●朝日新聞 内閣支持率：24% - 調査方式 調査日：07/12, 07/13 有効回答数：1975人（57%，無作為3段抽出法による(3465人中；全体数の記述なし)；朝日RDD方式） ●産経新聞 内閣支持率：21.7% - 調査方式 調査日：07/12, 07/13 有効回答数：1000人（不明(記述なし)，不明（記述なし）；RDD方式）
んー，これだけ見ると，産経新聞はよろしくないなあ．．何人に対して質問したのか，それに対して有効回答数はどの程度か．これでは，世論調査の結果における信頼性の評価がまったく出来ない．回答率の評価はけっこう大事だったりする．回答率が低いアンケートは，それだけ回答しにくい項目があったと考えるべき．そうなると，回答結果はいささか偏ったものとなると考えられ，（少数の意見が反映される結果）当然ながらその標本によって母集団（この場合は世論）を評価することは妥当性に欠ける．
まあ，しかし今回はそこまで細かい部分を議論するつもりは無いので，（というか，そもそも今の僕はそこまで議論出来るほどに統計学を理解してないorz）各新聞社の内閣支持率と有効回答数だけ見て議論してみよう．
で・・まあ，各支持率における誤差とやらを考えてみるわけだが，そのためには，"母比率の区間推定"というものを用いる．まず，母集団からサンプル数Nで抽出された標本は，その分布が標準正規分布であると仮定する．正確には，支持する・しないの2項母集団を考え，その2項母集団から標本をランダムにN個抽出し，2項分布B（N, p）となったものを，サンプル数Nが十分に大きいと仮定して，正規分布で近似して・・・ってな過程を経るんだろうけど，あんまり詳しいことはここでは述べない．……詳しく述べすぎて，僕の理解が浅いことを露呈したくないので（苦笑）
さて，それはさておき，区間推定に関して簡単に述べておくと，今，手元にある確かな情報というのは標本データであって，そこから母集団における未知のパラメータを推定しようってわけだけど，当然ながら，「これだ！」って感じで推定することは無理なわけだ．そこで，ある程度の適当な幅を持たせて，標本の値からこんな感じじゃない？
って推定しようというのが"区間推定"なわけです．そして，その幅のことを"信頼区間100(1-α)%"という．
まあ，母集団値とか分からんから，確率統計的に妥当な値評価してみようぜってこと．んで，一般的には母集団の正規性を仮定して行う．また，母集団が正規分布とみなされるとき，その母集団を正規母集団といいます．正規性を仮定しない区間推定法もあるわけだけど，議論が面倒なので，一般的には正規性を仮定してやる・・のかな．以上の説明に関して分からないこと，あるいはさらに詳しく知りたい場合は，参考文献[1]により詳しく，かつ分かりやすく載ってる．これは入門書なので，より専門性を求めてる方は，他の本をお薦めする．（まあ・・そういう人は，僕のようなブログを覗きには来ないと思うけどorz）とまあ，簡単な説明はここまでにして，実際にやろうかと思う．
まず，簡単に式を挙げておくと，参考文献[2], [3]に示されてるWaldによる式を用いる．
p±Z{p(1-p)/N}^0.5
p：予想母比率や標本比率といわれる変数
N：サンプル数
Z：標準正規分布の100・α/2%点
ってやつだ．一般的には，95%信頼区間で以って評価されることが多いので，上式は以下のように表せる．
p±1.96 × { p × (1 - p) ÷ N}^0.5
でまあ，この式を使えば，誤差を評価出来るわけだ．ただし，参考文献[3]にあるように，このWaldによる式はサンプル数Nが少ないときには用いないほうが良いらしい．まあ，この辺はよく分からなかったので，触れないことにする．また，おいおい勉強します......orz
さて，上式を用いて実際に各新聞社の支持率を95%信頼区間で推定してみよう．計算しやすいように，もう一度各社の調査をまとめてみると，
読売： 予想母比率p=0.266 サンプルサイズN=1828 朝日： 予想母比率p=0.24 サンプルサイズN=1975 産経： 予想母比率p=0.217 サンプルサイズN=1000
そして，上述した次式を適用する．
p±1.96 × { p × (1 - p) ÷ N}^0.5
すると，各新聞社の支持率の95%信頼区間は以下のようになる．
読売：24.6≦p=26.6≦28.6 （誤差：2.0[%]）
朝日：22.1≦p=24.0≦25.9 （誤差：1.9[%]）
産経：19.2≦p=21.7≦24.3 （誤差：2.6[%]）
これを見てどう思うだろうか．なんというか……同じ母集団（世論）を議論しているとは思えない差だろう．はあ……間を取って，朝日が一番正確……という訳でもないだろうし（苦笑）これだけじゃ，よく分からないから，急遽毎日新聞も調べてみた．
毎日新聞世論調査：質問と回答 - 毎日新聞
●毎日新聞 内閣支持率：22.0% - 調査方式 調査日：07/12, 07/13 有効回答数：1060人（不明（記述なし），不明（記述なし），RDS法（RDD法に同じ））
これを95%信頼区間で推定すると，
19.5≦p=22.0≦24.5 (誤差：2.49[%])
もっかいまとめると，以下のようになる．
読売：24.6≦p=26.6≦28.6 （誤差：2.03[%]） 朝日：22.1≦p=24.0≦25.9 （誤差：1.88[%]） 産経：19.2≦p=21.7≦24.3 （誤差：2.55[%]） 毎日：19.5≦p=22.0≦24.5 (誤差：2.49[%])
ふむ……この結果を見ると，少なくとも，読売の統計結果にはかなり疑問が残る．また，産経や毎日がそれぞれ独自の世論調査の結果，同じような結果が得られているから（サンプル数こそ少ないが），この結果はそれなりに信頼性がおけると考えて良いだろう．また，朝日の世論調査に関しても，十分に誤差の範囲内であると考えられるから，読売以外の世論調査結果に関しては，妥当性を見出すことが出来るだろう．読売は……なーんかおかしい．統計誤差とかいう問題ではなく，アンケート調査のやり方，あるいは集計の仕方に問題があるのではないだろうか．
それか，読売以外がおかしいとも考えられなくもないけど．果てさて，どちらが正しいのだろうか．同じ日付でランダムに抽出された標本からの評価は，統計誤差こそあれ，上述したほどの差が有意に現れることは本来無いはず．
となれば，誰かがアンケートのやり方を間違えてるってこと．（あるいはアンケート項目が非常に恣意的であるか）
新聞の世論調査を見て「へー」と思う前に，ちょっとそこら辺のことを考えて読んで欲しい．
という話なのでした．
ちなみに，余談ではあるけど，上述した誤差を求める式は，母比率100(1-α)%信頼区間の誤差をE以内で押さえたいときに，
サンプルサイズN=p(1-p)(Z/E)^2
という形に式変形できる．また，誤差が最大化するのはp=0.5のときだから，誤差を最小にするNを求めるために，
サンプルサイズN=(Z/E)^2/4
とも書ける．
まあ，普通は統計を取る前に，この式でサンプル数Nを定めてから統計を取るわけです．例えば，世論調査をするときにだいたい誤差を2%以内に抑えたいとすれば，サンプル数Nは約2,200人程度になるわけです．（支持率が50%であるとき誤差が最大となるので，それも考慮するなら約2,400人）
参考文献
[1] 入門はじめての統計解析 石村貞夫 著 東京図書（2006/11） [2] 統計には誤差があるんですってば - マーケットの馬車馬 [3] 母比率の信頼区間 [4] 比率の信頼区間推定法
新聞社の世論調査は信用できない
改造内閣支持率バラバラ マスコミ世論調査信用できるのか - J-CAST
今回は，各新聞社の世論調査における調査方式を調べてないので，この件に関して，あまり深く言及することは避けるけども，それにしても，母集団からきちんとランダムに抽出して標本を作成し，それを元に推定値を出したならば，母集団を（統計学的に）正確に推定できる（これを，"統計的推定"という）．なのに，これだけ結果に違いが出るのはおかしい．
世論調査というのは， "日本国民の現内閣に対する支持率"という母集団を推定するのに，全数調査（母集団（日本国民）すべてを調べる）するわけにはいかないから，標本調査（数千人を無作為抽出して標本を作成し，それを調べる）から母集団値を推定する．んで，当然ながら，サンプルから推定しているわけだから，誤差ってのが当然ある．（p±Z{p(1-p)/N}^0.5；計算の仕方は関連[1]参照*1）で，一般的に，新聞などでは点推定が用いられているけど，より確からしい議論をするために，普通は区間推定を用いる．（母比率の区間推定）
区間推定を用いる場合，推定の妥当性を100(1-α)%という確率で明記し，信頼区間100(1-α)%（一般的に95%が用いられる）のとき，その確率で，その区間内に推定値があるということを意味する．同じ母集団に関して議論しているならば，当然ながら，その信頼区間内に推定値が無ければ，統計的に妥当性に欠く結果であると云える．
実際に，以前に計算したことがあるので，そちらを参考にして欲しい．*2
各新聞社の世論調査・・結果違いすぎて吹いた*3
統計学ってのは確率的に物を扱うから，どうしても・・「妥当性に乏しい」だとか「その結果は妥当であるとは云えない」って感じで，これは絶対にあり得ないと断言は出来ないんだけども，この結果を見てもらえば，統計学的に明らかに新聞社の世論調査はおかしいというのが分かるだろう．そして，今回の世論調査に関してだが，計算するまでも無く，同じ母集団を議論しているならば，統計学的に考えて20%以上の差が現れることはあり得ない．（そもそも，5%以上の誤差ですら統計学的にあり得ないわけだが）
J-CASTの記事では，「いささかの不信感を持ちますね」と書かれているが，いささかどころの話ではないわけで，もはや，おかしいんですよ．統計のやり方に問題があるのか，アンケート方法に問題があるのか．そもそもの無作為抽出時に，無作為では無くなってしまっていて，本来"日本国民における内閣支持率"という母集団を推定したいのに，"日本国における一部の内閣支持率"という形で有意な差が生じてしまっているのか．なんにせよ，いずれかの新聞社（あるいはすべてかもしれないが）は明らかに誤った結果を算出しており，その結果，有意な差が出てしまっているというこの現状．世論調査に関して，昔からおかしいってのが言われてるけど，未だに改善される気配はなし……．
つーかまあ，
- 質問項目の作り方が悪くて回答結果に有意に表れてる
- 電話の仕方に問題がある
ほかにも，朝日から電話掛かってきたら即切る・・つまり，朝日からの電話を取るって時点で，もうそれだけで有意な差が表れそうだしね．
けっきょくのところ，推定している母集団が違うんだろうなあ．日本国民における支持率ではなく，日本国民の一部の有意な方における支持率が推定されてるから，新聞社によってこんなにも違う結果になってしまうんだろう．
とりあえず，新聞を読むときは無闇に信じたりせずに，こういうことがあるってことに十分留意したうえで，その世論調査の結果の妥当性に関して，よくよく吟味する必要があるということで，くれぐれも，新聞の世論調査を全体の総意だと思ってはいけない．
どのような母集団における推定値か，その点に十分留意して読まないとね．
