効果ありか？ただの誤差か？その見極め方！
こんにちは！
はやとです。
みなさんは、
試しにやってみたことに対して
やってみたことが
本当に効果があったのかどうかを
測ることはできますか？
こんなことを考えたことがある方は
いらっしゃるのではないでしょうか？
「DMの本文を変えてみたけど閲覧数は増えたのか？」
「ツイッターからインスタに変えて発信したけど効果はあったのか？」
「単価を値上げしてみたけれど、結局売り上げは伸びたのか？」
実験をするからには
検証をし、考察することはつきものです。
そこで、本日は
試しにやったことに効果があったのか測る
「検証」という手段についてお話していきます！
現在、4回に分けて
基礎統計の4分野について
詳しくお話をしています。
本日は第3弾になります！
これまで確率と相関について
お話してきました！
まだご覧になられていない方はぜひ
ご覧になってみて下さい！
そうしましたら、今回は
「DMの本文を変えてみたがアクセス数が本当に増えたのか？」
について検証をする
という事を題材にして
検証の威力を体感していただきたいと思います！
DMの本文を変えてみて
アクセス数が増えた場合、
考えられるのは、
➀本当に読者に刺さる内容になった
②偶然起こったこと
この２つが考えられます。
コストがかかる場合は特にですが、
少し増えた程度で効果があったと思い込んでしまうことは
危険な事なので、
思い込みに陥らないためにも
検証というものを
ぜひ活用していきましょう！
上の表をご覧ください。
文面AでDMを送った時にサイトにアクセスした回数と、
修正を加えて、文面Bで送った際のアクセス数を
日別で集計したと考えてください。
平均を見てみても、
0.5ほどしか変わっていませんね。
この時、
このアクセス数の差が誤差の範囲内である確率は、
表の右側の8.2%になります。
検定を行う際、
だいたい誤差の範囲が5%を下回ると
効果があったと判断されます。
なので、今回の場合は、
文面Bにしたからと言って、
十分な効果があったとは言い切れない
という結論になります。
一方、もうひとつ作成した表もご覧ください。
先ほどの表と比べて違っているところは
6月20日にアクセスした数が13から14に
なったというただそれだけのことです。
ですが、誤差の可能性は2.7%
と出ています。
これは、1回でも文面Aに比べて
効果が下がったような結果が出てしまうと
それだけで誤差の可能性が
急浮上することを表しています。
このように、
数値を使わなければ
感覚的に良し悪しを判断してしまいがちですが、
検定を使えれば客観的に判断をすることが
可能になります。
ここで使ったのは、
ｔ検定という、
検定では有名な手法です。
エクセルを活用すれば、
簡単に誰でも使うことができます。
今回使った関数も紹介しておきますので、
ぜひ参考にしてみて下さい！
=TTEST(K2:K13,L2:L13,2,1)
このような検定をする際は、
まずどんなものが効果的かを
考え、仮説を立ててみることが
必要な事だと思います。
なので、
自分が「こうした方が良いのでは？」
と思い、変えてみて、
どのような変化があったのか、
まずはデータのストックからしてみて下さい！
次回は基本統計の4要素のラスト、
回帰について
お話していきます。
データ同士の因果関係についての考察です。
それではまた！
