【ゲームアプリ開発】CBT・OBT・チューニングテストの設計方法とメリットとデメリット

ゲーム開発

2020.12.03 2020.12.02

OBT、CBT、チューニングテストの違いや目的、メリット、デメリットも解説

OBT、CBT、チューニングテストの違いや目的、メリット、デメリットも解説

こんにちは

マーケティングスペシャリストのトロネコです。

今回はCBTやチューニングテストの実施がゲームアプリ開発にはとても重要であり、実施せずにゲームを配信リリースすることは極めてリスクが高いという話をします。

さらにOBT、CBT、チューニングテストの違いや目的、メリット、デメリットについてもお話をします。

でも、最初にお伝えしたいことは

3つの中でも「チューニングテスト」がもっとも重要なので

サービス開始前には必ずやって欲しいのです。

OBT、CBT、チューニングテストは必ずしもゲーム開発チームだけの仕事ではありません。ここにマーケターが関わる必要があります。これがゲーム事業の成功において重要なのです。

なぜ重要なのかその理由についても後半でお話します。

OBT、CBT、チューニングテストとは

まず最初にOBT、CBT、チューニングテストの違いを整理しておきましょう。一見同じように見えるかもしれませんが、実は全然別物です。

	CBT(Closed Beta Test)	チューニングテスト	OBT(Open Beta Test)
テスト形態	クローズド	クローズド	オープン
必要人数	少ない（100人程度）	非常に少ない（10人以下）	多い（数千人単位）
集客方法	個別でリクルーティング	個別でリクルーティング	ストアのOBT機能を使ったり、twitterや事前登録ユーザーを対象に集客
実施タイミング	タイトル発表前、または配信開始3ヶ月以上前		タイトル発表後、配信予定日から1ヶ月程度前
主な実施目的	離脱ポイントやゲームプレイサイクルにおける課題の収集	離脱ポイントやゲームプレイサイクルにおける課題の収集と改善確認、課金モチベーションの起伏がわかる	配信前提とした完全なる状態での最終チェック。壊れチェック、パラメータチェック

ここで注目して欲しいのは

「CBTで課題の大枠を発見して」

「チューニングテストで改善確認をしつつ、さらに課題を明確にして」

「課題を解決した状態でOBTで最終確認を行う」

といった役割と時系列の関係が3つのテストには存在します。

こんな感じのイメージになります。

しかし、多くのケースでこの役割分担が明確に設計されていません。どういうことかというと3つのテストの目的や役割が明確に設定されておらず、3つとも同じように考えて実施している場合も見られるのです。またCBTとOBTは実施するゲーム会社は多いのですがチューニングテストは実施しないゲーム会社も存在します。

ただし最初に結論をお伝えすると

本気で課題を発見し、解決し、最終チェックを行い、万全の状態でゲームアプリを配信するならば、CBT→チューニングテスト→OBTという流れは必須です。

避けてゲームを配信するのは極めてリスキーなのです。

本気でゲーム事業で成功を目指すならば、このプロセスを前提としてゲーム開発のスケジュールを引くべきです。

もちろん、全部やりきれないという場合は、目的を決めてどれかに注力しても問題ありません。3つのテストのうちどれを優先するべきか、後ほどお話します。

現場ではCBT、チューニングテスト、OBTの役割が混同しているケースがあります。そこで、その違いについて次のパートで説明していきましょう。

OBT、CBT、チューニングテストの違い（メリット・デメリット）

CBT、チューニングテスト、OBTの違い、メリット、デメリットについてお話していきましょう。

結構長文ですが、書いてあることはかなり本質に踏み込んでいます。

	CBT	チューニングテスト	OBT
目的	離脱ポイントやゲームプレイサイクルにおける課題の収集	よりフォーカスした離脱ポイントの発見、ゲームプレイサイクルの改善、課金モチベーションの起伏がわかる	配信前提とした完全なる状態での最終チェック、壊れチェック、パラメータチェック
目標	全体的な課題感の把握	離脱ポイントの洗い出し。離脱ポイントにおける対応優先順位の決定。	本番サービスの模擬試験として初動継続率の最終チェック
課題	ひとりひとりの声に対して踏み込んで聞きにくいため情報が散漫になる	少数のテストのため、一人の意見が強くバイアスがかかりやすい傾向あり	KPIツール上でのデータ推移でしか把握できない。個人に踏み込んで分析はできない。またこのタイミングで大きなゲーム改修は困難。1週間実施してもプレイモチベーションが実サービスと同じように担保できないので1日目、2日目程度のKPI数値しか参考にならない
戦略	実際のターゲットユーザーに近いユーザーを課金、非課金、ライト、ミドルなど複数のセグメントでリクルートして実施する	実際のターゲットユーザーに近い課金ユーザーをリクルートし、踏み込んだインタビューも並行実施する	事前登録キャンペーンを並行実施し、アプリ初動でインストールしてくれる特に重要なユーザーによって実施する。ターゲット外のユーザーを無駄に集めない
メリット	コストと工数を抑えてざっくりとした課題感の傾向がわかる。	離脱ポイントや課題改善に向けたピンポイントな解決策のヒントをインタビューから引き出せる。離脱しそうだったら、その場で理由を口頭で引き出せる	本番サービスにおける配信初動に近い状態でテストができる
デメリット	100人を1箇所で集めて実施が困難でありリモートのテストになるためテストの精度には課題あり	人数が少ないため、チューニングテスト実行者の能力次第ではバイアスがかかったデータになってしまいミスジャッジに繋がる可能性がある	本番サービスの配信初動で遊んでくれる重要顧客が参加する場合が多く、OBTとはいえ不満を与えてしまうと本番サービスに影響が出てくる。OBTの集客方法によってはターゲット外のユーザーが混ざってしまいデータとしての信頼性に欠ける

ざっくりまとめてみましたが、この表では書ききれなかったですね。

実際のところもっと細かい表をタイトルごとに作りながら、3つのテストの目的とその実施タイミングを事前に洗い出していきます。

ここで、知ってほしいことは3つのテストは同じではなく違うのです。それぞれの役割や目的を認識した上でCBT、チューニングテスト、OBTを設計する必要があります。

CBTとチューニングテストの組み合わせは最強

基本的にテストというのは「仮説」と「検証」の繰り返しです。

言い換えれば「仮説」と「検証」がないテストは価値がありません。

CBTとチューニングテストでは次のような「仮説」と「検証」のプロセスが入ります。

「これで問題ないだろう」という開発チームによる仮説で臨んだ「CBT」に対して、多くのケースで「課題」が見つかります。

↓

その課題を修正して再度「これで問題ないはずだ」という開発チームの仮説で臨んだ「チューニングテスト」で、それが本当に正しかったのか検証します。

↓

チューニングテストでは単なるデータではなく、実際にチューニングテストに参加しているユーザー（そのゲームのターゲットとなる重課金ユーザー）からのインタビューで答え合せをします。

このようなプロセスで得られる事実やヒントはゲーム開発には非常に価値があるのです。

その後、OBTを実施します。もちろんチューニングテストで発見した課題を改善してOBTでも答え合せができますが

チューニングテストのようにひとりひとりに深く掘り下げてインタビューができないので、答え合せの精度が低くなりがちです。

そして、OBTは本番サービス前の最終チェックですから、ここで見つかったお大きな課題を修正する時間は残されていないのです。

（もちろん修正するという判断を下すことはできますが、OBTはタイトルを発表した後の事前登録期間中ですから、ここでの修正によるスケジュールの大幅変更はゲーム事業としてかなりの痛手となります）

またOBTは本番サービス前のユーザー参加型のオープンなテストですから

テストであっても、ユーザーの不満に繋がるような状態のゲームを遊ばせるのはリスクが高いのです。

OBTはそれ自体が逆パブ（ネガティブなパブリシティ活動）になる可能性が高いことを十分に理解しておく必要があります。

よって無理にOBTを実施せず、CBT→チューニングテストを繰り返した方が課題の解決もできますし、ゲーム配信における影響も考慮する必要がないのです。

ゲームアプリマーケティングにおけるCBTの設計方法

CBTの設計方法について、今回はタスクリストという形で解説したいと思います。CBTはマーケティング担当だけでなく分析調査担当も巻き込んで実施がおすすめです。

なぜならCBTでリクルーティングすべきユーザーは、そのゲームのターゲットユーザーの各セグメントに相当するユーザーにするべきだからです。

ただ100人集めればいいというわけではなく、各セグメントごとにどのようなKPIや状態になったのか分析してゲーム開発に活かす必要があります。

そのタイトルのターゲットセグメントの洗い出しは分析調査担当とマーケターが一緒になって洗い出しているケースが多いので、分析調査担当も巻き込んだ方がCBTのユーザーリクルートも役立ちます。

番号	タスク項目	内容
1	そのゲームのターゲットユーザーを明確にする	メイン、サブ、ミドル、ライト等各セグメントごとにどのようなユーザー属性なのか定義してそれに近いユーザーをリクルートします。例えば100人リクルートするなら20人×5セグメントといった形になります。
2	CBTの目的とゴールを定義してテスト設計をする	CBTでどんなデータを収集し、どんな課題を発見して、ゲーム開発に活かすのか？そのためにはどのような日程で、どんなビルドの内容で、どんなゲーム運営内容でテストを実施するのか決めます。
3	設計にあったユーザーをリクルートする	多くの場合は外部の調査会社を使ってリクルートします。実際のテストはandroid端末で行われることも多くAPKを対象者に配布して決められた日程でテストをすることがあります。なお、APK配布が機密漏えいなどのリスクがあるならリモートのCBTはできないため、工数とコストをかけて特定の場所に来訪して頂き実施する方法になります。
4	メッセンジャーツールなどを連携して実施する	例えば12/1から12/3まで毎日3時間ずつ3回に分けて実施するならば、その間に適切なプレイをしてもらうように体験者とメッセンジャーツールで連絡が取れるようにするケースもあります。なぜならある程度コントロールができないと信頼おけるデータがとれなかったり、ゲームのプレイに障害があった場合の対応がとれないからです。どのセグメントのユーザーがどのユーザIDなのか把握しておく必要もあります。
5	webのアンケートフォームでプレイレビューを収集する	webアンケートの内容も2番の項目の時点で設計しておく必要があります。ゲーム内のKPIはサーバー側でわかりますが、それ以外のユーザーの定量定性意見はアンケートフォームに依存せざるを得ないからです。
6	CBTの結果、課題と対策を明確にしてゲーム開発に反映します。	結果と課題と対策はCBTが終了した時点ですぐに明らかになるように事前設計しておきましょう。

実際にはもっと細かくタスクを切ります。

ちょっと文章ばかりで散漫になってしまい申し訳ないのですが、イメージを掴んでいただければ幸いです。

ゲームアプリマーケティングにおけるチューニングテストの設計方法

チューニングテストの設計方法についても、タスクリストという形で解説します。チューニングテストは少人数で、現場で数日間にわたって直接テストを実施しますので、ユーザーが回答した離脱ポイントをその場でヒアリングできるというメリットがあります。

なぜ、ゲームを離脱しようと思ったのか？

いままさに目の前で離脱しようとしているユーザーの感情をヒアリングできるというわけです。

こちらもマーケティング担当だけでなく分析調査担当も巻き込んで実施がおすすめですが、できればマーケティング担当が指揮をとってやるべきです。

なぜならマーケティング戦略の仮説と検証をリアルタイムに答え合せができるので、マーケターがテストを指揮することによる「新たな気づき」のメリットが非常に大きいからです。

番号	タスク項目	内容
1	そのゲームのターゲットユーザーを明確にする	人数が限られたテストのため、全てメインターゲットユーザーをリクルーティングしましょう。その中で違いをつける条件は「課金額」「プレイ時間」などターゲットユーザーの中でもゲームに対する「深さ」でセグメントをわけます。10人リクルーティングするならば「2人×５セグメント」といった構成イメージになります。
2	チューニングテストの目的とゴールを定義してテスト設計をする	チューニングテストは現場で答え合せができるテストです。よって事前に仮説を立てておき、その通りにユーザーが遊ぶのか？想定以外の行動はしないのか？チューニングテストにおいて収集すべきデータ設計を綿密にする必要があります。
3	設計にあったユーザーをリクルートする	人数が限られているテストですからユーザーリクルーティングは非常に重要です。「2人×５セグメント」といった構成イメージなら、そのイメージにあった人を徹底的に探しましょう。また探すだけでなく、ゲームプレイにおける感情を言語化できるテスターを見つけられるかは重要です。なぜなら「面白かった」「つまらなかった」としか言語表現ができないテスターさんの場合、「どこに問題があるのか」深掘りをするにも限界があるためです。
4	アンケートフォームでプレイレビューを収集する	チューニングテストは現場で実施するためwebでアンケートをとるか、それとも手書きでアンケートをとるのかは判断次第です。webでアンケートをとると集計は楽ですが、感情的な動きを収集しにくい場合があります。手書きだと感情的な部分が出やすい特性があるので、ここは判断してください。
5	チューニングテスト終了後、データ集計を行い、そのデータを元にゲーム開発チームと議論の場所を設けるとさらに課題抽出に効果あり	チューニングテストは現場で実施する少数のテストですから、テスト終了後に、さらに深掘りできるインタビューの場所を設けられるとさらに課題の深掘りができます。テスト終了後のインタビューも仮説と検証のプロセスを踏むため、さらにデータの精度があがるのです。

非常に細かい内容になっていますが、実際のところ細かい設計と細かいデータ集計シートなどを用意して実施します。ただし非常に踏み込んだ情報収集ができるので、今回の3つのテストの中では価値があるテストです。

その代わり結構な工数がかかります。

ちなみにチューニングテストを実施することでどんなデータが収集できるのかまとめておきましょう。

①離脱場所、離脱原因、離脱しそうな可能性があるポイントがわかる

チューニングテストは実際のゲーム運営を少人数でシミュレーションするテストです。例えばゲーム配信初日から14日目までにゲーム体験を再現してテストします。その結果、離脱ポイントがわかります。

②課金モチベーションの変化を把握できる

チューニングテストはテスターとそれを管理する人が同じ現場でマンツーマンで実施します。これによって、ゲームで課金をしたくなるタイミング、課金意欲がさがるタイミングなど課金モチベーションの変化を収集できます。DAUは維持していても課金がまわらない、というケースの原因を事前に把握して潰せるのです。