【全公開】CBT・OBT・チューニングテストの定義と観点v2.00｜クローズドβ オープンβの違い

【全公開】CBT・OBT・チューニングテストの定義と観点V2.00｜クローズドβオープンβの違い
1. まとめ

【全公開】CBT・OBT・チューニングテストの定義と観点V2.00｜クローズドβオープンβの違い

こんにちはトロネコです。

ゲーム開発において「開発ビルドテスト」は避けては通れません。

ゲーム開発には大きく3つのテスト

CBT（クローズドβ）、OBT（オープンβ）、チューニングテストが存在します。

この3つのテストを検討する際に重要なのが定義と観点です。

・テストの実施目的は？

・押さえておくべき重要なポイントは？

・テストで収集できる項目は？（＝テスト設計）

今回は、トロネコがマーケティングコンサルティングでも使っているオリジナルのシートを全公開します。（無料なのですがが、ほぼ有料級・・・トロネコのノウハウをかなり詰め込みました）

CBT、OBT、チューニングテストに関すること、違いや必要なこと、注意すべきことを、ほぼ網羅していますので、ぜひテストを検討されている方は参考にしてください。

とはいえ、かなり踏み込んだ専門的な事を書いていますので

実際にCBT、OBT、テストを設計、実行する上で、書いてある各項目がわからない、どうやって設計実行すればいいか悩む・・・という場合はトロネコまでお仕事の一環としてご相談をください。

CBT・OBT・チューニングテストの定義と観点　v2.00					チューニングテスト	CBT	OBT
定義	目的				・開発初期における「継続・課金モチベーション」に影響する原因の発見と解決方法の「仮説」洗い出し・開発後期における「継続・課金モチベーション」の確認	・チューニングテストを経て開発されたビルドを使ったターゲットユーザーによる確認テスト・チューニングテストの結果、「仮説」を持ってビルドに反映した結果に対する答え合わせ	・CBT、チューニングテストを経て開発されたビルドを使った本サービスに近い環境で行う大規模な確認テスト・CBT、チューニングテストの結果、「仮説」を持ってビルドに反映した結果に対する答え合わせ
	必要ビルド				・実施目的によって異なる └ゲームコア部分が遊べるもの └配信日からのゲーム運営を含むもの	・実施目的によって異なる └インゲーム、アウトゲームのサイクルが体験できるもの └配信日からのゲーム運営を含むもの	・実施目的によって異なる └本サービスと同じもの └配信日からのゲーム運営を含むもの
	実施タイミング				・開発に反映できるタイミング └開発初期 └タイトル発表前 └ゲーム配信前	・開発に反映できるタイミング └開発初期 └タイトル発表前 └ゲーム配信前	・配信日を延期できるタイミング └ゲーム配信前
	実施方法				対面式	非対面式	非対面式
	実施期間				1週間〜最大2週間 ※タイトルの規模、目的によって変動	数日 ※タイトルの規模、目的によって変動するが、プレイを強制しにくい非対面式であるため、1-3日程度しか価値あるデータは取りにくい	数日 ※タイトルの規模、目的によって変動するが、プレイを強制しにくい非対面式であるため、1-3日程度しか価値あるデータは取りにくい。CBTよりさらにコントロールしにくい
	実施回数				1回以上 ※タイトルによって変動	1回から2回	1回
	対象ユーザー				非公開でゲーム会社からリクルートされたユーザー、またはテスター経験のあるユーザー ※一般人であってもテスター属性が高い人材が必要	ターゲットユーザーに近いユーザーとして集められた一般ユーザー（ある程度限定ユーザー）	本サービスに近いユーザーとして集められた一般ユーザー（非限定ユーザー）
	ユーザー属性				マーケティング戦略上のターゲットユーザー。ペルソナそのもの	事前登録ユーザーに近い属性。このゲームの売り上げを支える「プレイモチベーション」「課金モチベーション」が高いコア中のコアユーザー	このゲームに対する興味がある、プレイモチベーションがあるユーザー。DAU、MAUを構成する無課金、オーガニックユーザーを多数含む
	必要ユーザ数				10人程度 ※例）戦略ターゲットセグメント5つ×各2名程度 ※タイトルによって変動	数百人から最大1,000人程度 ※タイトルによって変動	数千人から1万人程度 ※タイトルによって変動
	集客方法				・直接雇用 ※優秀なテスターさんと直接繋がっている場合・自社内雇用 ※ターゲットユーザーに近い属性が社内で見つかる場合・社外雇用（リクルーティング会社を通して探す）	・オンライン広告 ※要ターゲティング・事前登録媒体	・アプリストアOBT機能・オンライン広告 ※一定のターゲッティング必要・事前登録媒体・自社の他タイトルユーザー ※自社でユーザー属性が近いゲームを運用している場合
	メリット				・ターゲットユーザーのリアルな定量・定性データを収集できる・継続、課金モチベーションに影響する核心に踏み込んだ原因と解決策の仮説を究明できる・KPIや任意アンケートから収集できない揺れ動くユーザー感情まで深掘りできる	・チューニングテストによるビルド反映の答え合わせができる・開発中のビルドに対するチェックが網羅的にできる	・チューニングテスト、CBTによるビルド反映の答え合わせができる・実運用に近い状況で行うため致命的な事故を回避できる
	デメリット（≒課題）	テスト			・テスト設計者のスキル・ターゲットユーザーのリクルーティングの質・テストをまわすファシリテーターの能力・価値あるチューニングテストを行うにはテストする側の経験と能力が求められる・テスト参加者のリクルーティングによる時間とコスト・テスト実行者の工数と負荷	・定量データが中心。取得できる定性データは限界あり。・網羅的に収集したアンケートやKPIデータから課題を推測するため、分析担当者の能力に依存する。・CBT参加者の属性を完全にコントロールすることが困難・集客、運用によっては得られたデータに与えるバイアスが大きく使えない・CBTはゲーム会社都合のテストであり、そもそもユーザー自身はCBTを遊ぶ、遊び続ける理由がないため、「継続・課金モチベーション」を分析するデータが収集できるか怪しい	・CBT以上にバイアスが多く、テスト結果に対する信頼性は低い
	デメリット（≒課題）	ゲーム事業			特になし（テスト参加者による情報漏洩の可能性は指摘されるが、一般的に参加者と書面で機密保持契約を締結することで対応する）	CBT参加者の多くは、そのゲームの今度の事業を支えるコアユーザー（≒事前登録者）である。テストとはいえ参加者を満足させられない場合は配信後のKPIへの影響が懸念される。いわゆる「逆パブ」になる恐れあり。CBT後のアフターフォローで解決できる場合もあるが、完全に解決はできない。 CBT参加規約でユーザー行動を縛りきれず、ゲーム会社としては「不都合なプレイ映像」が拡散されるリスクもある。	コントロールが難しい不特定多数ユーザーに対するテストであり、CBT以上に「逆パブ」になるリスクは高い。 OBT参加規約でユーザー行動を縛りきれず、ゲーム会社としては「不都合なプレイ映像」が拡散されるリスクもある。
テストで収集できる項目	モチベーション	インストールモチベーション			◯	◯	◯
		継続モチベーション			◯	×	×
		課金モチベーション			△	×	×
	プロダクト	世界観	好き嫌い/没入感	初動	◯	◯	◯
		ストーリー	好き嫌い/没入感	初動/継続	◯	◯	◯
		キャラクター	好き嫌い/共感	初動/継続/課金	◯	◯	◯
		楽しさ	コアゲームの魅力	初動/継続/課金	◯	△	△
		遊びやすさ	UI/導線/説明	初動/継続	◯	△	△
		ボリューム	コンテンツ供給量	継続/課金	◯	×	×
		テンポ感	成長実感/プレイサイクル	初動/継続	◯	△	△
		BGM	好き嫌い/没入感	初動	◯	◯	◯
		ゲーム運営	コンテンツ供給量	継続/課金	◯	×	×
その他					CBT、OBTと比べて「テスト観点」の部分で実施価値があるが、これを実現するためには、リクルートしたテスターの属性、能力、テスト設計者、テスト実施のファシリテーターによる部分が大きい。	CBTの目的はチューニングテストで代用できる場合あり。どうしてもCBTでなければならない理由を明確にすること。CBT実施の必要性がないのにCBTをやることが目的になっているケースあり	OBTはゲーム会社都合であり、ユーザーにとってのOBTは「オープン先行体験版」である。目的と成果のバランスを考えること。