What is A/B-Test?

Goal

• A/B-Testについて調査する

Dev-Environment

• OS: Windows8.1

What is A/B-Test?

A/Bテストをやりたいと思いました。
しかし、A/Bテストと言うものをよく知らない(笑)

そういうわけで知らないなら調べればいいじゃない！
今回は、A/Bテストについて調べた調査記録と言うことになります。

テストについて素人以前の人物がまとめた内容になりますので、
ご指摘等あると思います。その際はコメントにてご教授いただけると幸いです。

A/B-Test is 何？

A/Bテスト・・・それは可能性の検証・・・って書くと少しかっこいい気がする(笑)
下らない妄言は置いておくとして、早速本題に入りましょう。

A/Bテストとは、2つある選択肢のうち、どちらが良い結果をもたらすか見極めること。

別名としてスプリットテスト、スプリットランテストとも言う。(個人的にはこちらの方が好き)

※AとB以外にもテストを用意して行うのは多変量テストと呼ばれている

色々なサイトを見て大体どこにも載っていたの内容があった。

「小さく始める」

なんだが、マイクロサービスやスクラムのようですね(笑)

実際、ある重要な業務においてやったこともない人をいきなりアサインするでしょうか？
いや、しませんね・・・少なくとも私はそうします。もし新しい人を導入するなら小さく補助付きでやらせます。(状況が許せば)

それと同じく、サイトの重要な部分にいきなり着手するのではなく、
ごく些細な部分から始めていくことが大事なようです。

これには別の意味もあると思います。

それは、まず効果を観測/測定すると言うことです。
効果をデータとして出力され観測/測定してから、追加でテストをしていくと言うことですね。

A/B-Test の Point

• AとBにおける要素の違いを明確にする

例) 女性と男性でメッセージを分けるなど

• テスト対象とするユーザの条件を明確に分類し行う

全てのユーザに行っても正確なデータが取れるか分からないし、
データを取得するためにかかる時間も多くなるでしょう。

A/Bテストを行うための格言

辛抱強く数%の小さい改善を繰り返し、最終的に数十%の効果にする

つまり忍耐強く耐えましょうってことですね。
すぐには効果が出るかは分かりません。
そのため、単発で終わらせてはいけないと言うことです。

1. 部長を説得してA/Bテスト導入
2. しかし、あまり効果は上がらない・・・
3. 部長「効果が出ないじゃないか、これは意味がないな中止しろ」
4. A/Bテスト終わり

これはダメですね(笑)
そも前提として、本当に導入する意味はあるのか？っという問題もあるでしょうが・・・

取りとめもない独り言

単純にやるだけなら簡単だと思います。(実際、ツールやライブラリは探せば割とすぐ発見できます)
しかし、効果を出そうとするのが難しいのは別の要因があると思います。

意思決定と同じで評価基準となる部分が話を難しくしているのだと考えます。
データとして結果が出た・・・でも、その解析を間違えていたら？
AとBを用意した・・・それは本当に意味のあるAとBですか？
辛抱強く改善を繰り返していける環境なのか？
などなど、プログラムの部分ではないことが多いのではないかと感じました。

効果や分析については、あらかじめ本や論文で勉強し、
効果のあるパターン(？)のようなものを学ぶのが手っ取り早いと思います。

職場環境、人間関係は・・・私があまりコミュニケーション能力ないので、なんとも言えませんね。(汗)

以上、少しでも誰かの参考になったら、この上ない喜びです＞＜

Bibliography

A/Bテストとは何ですか？
ABテストの正しい導入方法と、序盤のテストを成功させるまでの5ステップ

​