【全公開】ゲームアプリ評価テスト・レビュー設計シートv1.00（社内ユーザーテストで事業成功率をあげよう）

こんにちは

マーケティングスペシャリストのトロネコです。

今回は実際にトロネコがやっている「ゲームアプリの評価レビューの方法」について全てお話します。

別の言葉で言い換えれば「チューニングテスト」とも言われるものです。

CBT、OBTと比べると今回、お話しする「レビュー・テスト（＝チューニングテスト）」は少人数で行われますが、

「ゲーム開発、既存ゲームの改善を行う上で、やらないという判断はない」

というくらいに超重要で、効果も期待できます。

 

今回の記事の内容は

これらのために役立ちます。

 

ゲームマーケティングスペシャリストが作った「評価レビュー・テスト設計」です。

 

テスト評価を実施することが目的になりがちな現場において、

今回、お話しする内容は売上、KPI改善にダイレクトに活かせる内容になっていますので、活用いただくことで確実に事業に貢献できます。

 

ゲームアプリに特化した内容になっていますが、一部切り出すことでPCオンラインゲームはもちろん、家庭用ゲームにも応用が効きますのでご活用ください。

また、今回お話しする内容を踏まえて

御社で開発中、運営中のゲームレビュー設計についてもご相談を受け付けております。

結局のところユーザーテストや評価レビューは設計で99%価値が決まります

ちゃんと設計しなければ全く価値は出せません。

このように設計に特化したサポートも行っていますのでお気軽にご相談ください。

トロネコお問い合わせ先はこちら

 

ゲームアプリレビューとは何か？

そもそもゲームアプリの開発フェーズ、運用フェーズにおけるプロダクトに対するレビュー、テストとは何か？

これについて多くの人が誤解をしています。

ゲームアプリレビューとは以下を指します。これが全てなのです。

①「高得点」を得ることが目的ではない

②評価者選定によってレビューの精度が異なる

③定量評価は個人によって評価軸がバラバラなので係数算出して活用する

④定性評価は定量評価では見えない評価者の潜在意識の分析に活用する

⑤各評価項目を掛け合わせて分析することで「課題」と「対策」を抽出できる

①「高得点」を得ることが目的ではない

評価レビューにおいて、多くの現場では高得点を取ることが目的になりがちです。

そして、他の自社タイトルと比較して「勝った、負けた」「優れている、劣っている」と判断してしまいます。

でも、これは全く無意味ですので、今すぐにやめて下さい

なぜなら、ゲームというのは

「ゲームジャンル」×「コンセプト」の掛け算によって無限に生み出せる商品です。そして、この掛け合わせに応じて、それを好むユーザー属性によってさらに複雑化していきます。

ユーザーレビューで高得点を取ったから売れるわけではない

「ゲームジャンル」×「コンセプト」による無限の掛け算によって各ゲームは異なるので、他のユーザーレビューと横並びで比較はできない

というわけです。

 

極端にわかりやすい例を挙げると

 

今回の話は、高得点が取れれば嬉しいけど、そこが目的ではありません。

高得点を取ることが目的になってしまうと、本当の目的を達成できなくなってしまい、そのゲーム事業は失敗しますし、ユーザーレビューにかけたコストも無駄になります。

②評価者選定によってレビューの精度が異なる

ユーザーレビュー、ユーザーテストは

誰にレビュー、テストさせるかで精度が大きく変動します。

つまり、

レビューワー、テスターの選出が非常に重要になります。

 

レビューワー、テスターの選出に当たって重要なのは、このゲームを遊んでくれるユーザー、このゲームを成功させるために必要なユーザー属性を明確にして、それに近い人に遊んでもらうということです。

よって

マーケティング戦略がしっかり作られており、ターゲットユーザーが明確になっていないとユーザーテストも、評価レビューもできません。

必ず

 

という順番を厳守してください。

この順番は絶対です！

 

多くの場合で、マーケティング戦略もターゲットユーザーも決まっていないのにユーザー評価レビューやテストを実施していますが、

それって本当に無駄です。

なぜなら、誰にテスト、レビューさせるかによって全く異なる結果が出るわけです。適切でない人（＝ターゲットユーザーではない人）に対して実施したテストやレビュー結果は、みなさんの事業判断を間違えさせることになります。

マーケティング戦略については下記で説明していますので参考にしてください。

 

③定量評価は個人によって評価軸がバラバラなので係数算出して活用する

ユーザーテストでは開発中、運営中のゲームに対して「数値による採点」をします。

そして多くの現場で、その数字による採点を合算してゲームに対して評価レビューをします。

でも、これは一番やってはいけないことです。

 

なぜならテスター、レビューワーによって評価に対する基準がバラバラだからです。

例えばテストで５段階評価をするとしましょう。そして、下記のように評価基準を明確にしたとしましょう。

１：最低

２：よくない

３：普通

４：良い

５：最高

でも、個人によって、良い、最高、普通、よくない、最低の基準は完全一致しません。

 

実際にレビューをすると、ある人は全ての項目で1をつけるとしましょう。一方である人は全ての項目で5をつけるかもしれません。

でも、客観的に見ると、彼らは3をつけるべき内容なのかもしれません。

（これはあくまでも極端な話ですよ）

ユーザーテスト、レビューは少人数で実施されることが多く、極端な評価をつける人に、そのテスト、レビュー全体のスコアが引っ張られます。

こちらの表をご覧ください。

レビュワー名	スコアA	スコアB	スコアC	合計
レビュアーA	5	5	4	29
レビュワーB	5	5	4	29
レビュワーC	1	1	1	3

レビューワCを採用してしまったゆえに、このゲームの平均スコアは大きく下げてしまいますよね。

でもレビューワCは、そもそもゲームに対する経験が深く「１」しかつけない人かもしれません。めちゃくちゃ面白いゲームでようやく「３」をつける人かもしれません。

これは極端な例ですが、その人のバックグラウンドによって採点基準はブレます。事前にどんなに

1点の定義、2点とは何か？3点が普通で、4点がそこそこいい、5点が最高・・・

といったように説明しても、ブレますし、ブレを完全解決できません。

 

よって単純な「数値による採点」ではなく、そのテスター、レビュワーによる評価基準を考慮した上での合算が必要になります。

係数に置き換えて、計算する必要があります。

 

④定性評価は定量評価では見えない評価者の潜在意識の分析に活用する

数字で評価するだけでなく、必ずコメントによる定性評価も実施します。

実はコメントによる定性評価はユーザーテスト、評価レビューにおいて数字による評価以上に重要です。

なぜなら

テスター、レビュワーは必ずしも冷静に正直な評価をすると限らないから

コメントによる定性評価は、そのテスター、レビュワーの深層心理に潜む、このゲームに対する本当の課題と解決策を探るためのヒントが埋もれています。

よって、数字による定量評価とコメントによる定性評価はセットで分析する必要がります。

実際の現場では、コメントをただの「意見」として「ふーんそうなんだ」で終わらせているケースを多く見られますが、本当に大切なことを見失ってしまいます。

⑤各評価項目を掛け合わせて分析することで「課題」と「対策」を抽出できる

この後から、解説する各評価項目は

それ単体で評価するのではなく、相互に関連しており、相互に掛け合わせて分析することで「課題」と「対策」を抽出することができます。

多くの現場でこれができていないので

必ず「掛け合わせる」ことを大前提として、この先を読み進めてください。

タイトルの整理をしよう

実際のゲームアプリレビュー、評価テストに入っていく前に、このゲームのユーザーについて整理しましょう。

整理すべき観点は以下になります。

ベンチマークタイトル	自社と直接競合するゲーム	ゲームコンセプト×ゲームジャンル＝ユーザー属性の近さからユーザーを奪い合うゲーム
ターゲットユーザー	1stターゲット	配信初動に獲得できるユーザー＋コンセプト×ジャンルから算出するユーザー属性 ※（年齢/性別/職業/課金額/趣味嗜好/行動）＝可処分時間×可処分所得
	2ndターゲット	配信中期に獲得できるユーザー＋コンセプト×ジャンルから算出するユーザー属性 ※（年齢/性別/職業/課金額/趣味嗜好/行動）＝可処分時間×可処分所得
	サブターゲット	1st、2ndに比べると獲得確度は低いが取れる可能性があるユーザー＋コンセプト×ジャンルから算出するユーザー属性 ※（年齢/性別/職業/課金額/趣味嗜好/行動）＝可処分時間×可処分所得
想定継続率		1st+2ndの平均継続率をday1からday180まで算出
想定LTV		1st+2ndのday60、90、180LTV

ちなみに、1stターゲットは明確にして欲しいのですが、無理して2nd、サブターゲットまで洗い出す必要はないケースもあります。

ここはマーケティング戦略次第になります。

マーケティング戦略が作れていれば、ここの項目は秒速で決めることができます。

レビュー・テスター設定

実際のアプリレビュー、テストを実施する上で、誰にやってもらうのか、レビュワー、テスターの設定を明確にしましょう。

1stターゲット	重課金	毎月の売上のベースを支えるヘビーユーザー
	標準課金	毎月の売上の変動に影響を与えるミドルユーザー
	無課金or微課金	毎月の売上に対する影響は軽微だが将来の売上に影響を持つライトユーザー
2ndターゲット	重課金
	標準課金
	無課金or微課金
サブターゲット	重課金

CBTやOBTとは異なり、アプリレビュー、テストは少人数で、ターゲットユーザー属性に近い人をピンポイントで招集して実施します。

よってマーケティング戦略に基づいたターゲットユーザーのペルソナに極めて近い人を連れてくる必要があります。

ターゲットユーザー属性×課金度合の掛け合わせでユーザーをリクルートしてきます。社内に該当ユーザーがいるなら、その方でもいいですし、いないなら社外から連れてくる必要があります。

ここでのポイントは

このゲーム事業を成功させることが目的のテストなので

無課金ユーザー　＜　課金ユーザー

ということになります。

仮に今回のゲームに対して課金が見込めない無課金ユーザーばかり連れてきて、高評価を得られても、そこにあまり価値はありません。

DAUは獲得できるかもしれませんが、売上が回らないのです。

ゲームビジネスは

継続モチベーション×課金モチベーション

という計算式が成立しないとうまくいかないのです。

ユーザーレビュー（社外）

ここから実際のテスト項目の内容についてお話をしていきます。

カテゴリーにおける観点はたった3つです。

この3つの評価軸を数字による「定量評価」、コメントによる「定性評価」でレビューするだけです。

その際のレビューワー、テスターは前のパートに登場した「マーケティング戦略に基づいたターゲットユーザー」になります。

リクルーティングしたレビュワー、テスターの評価を分析しながら、このゲームにおける「課題」と「対策」を分析するのが今回の目的になります。

 

カテゴリ	評価項目	評価軸	定量評価					定性評価 （コメント）	備考
			1	2	3	4	5
プロダクト	コンセプト/世界観	コンセプト×世界観＝遊びたくなるゲーム （既視感/オリジナリティ/）
	ゲームジャンル	好きなゲームジャンルか？テスト対象者とジャンルとの一致チェック							ゲームジャンルと一致しない場合は、テストユーザーがそもそもターゲットユーザーでない可能性があり、集計から除外を検討
	ゲームシステム	このゲームの根っこにある「基本的な遊び」に対する評価 （例：アクションゲームならアクションのインゲームにおける楽しさ）
	キャラクター	キャラクターデザインに対する評価							年齢、趣味嗜好によってキャラクターデザインに対する評価が分かれるため、ユーザー属性における評価の違いを分析する
	IP/ブランド	原作IP/ブランド力の有無、及び原作IP/ブランドの活用度							有名IPやシリーズモノであることはプレイモチベーションに影響を与える。一方で名ばかりのIP使用はユーザー離脱に影響する
	競合タイトル比較	ベンチマークタイトルとの相対評価							最終的にベンチマークタイトルとのユーザーの奪い合いになるため重要な評価項目
	サウンド	BGM、SE、キャラボイスに対する評価							BGM、SEが重視されるゲームにおいては長期的なプレイモチベーションに影響を与える。
	テンポ/バランス	自キャラや敵キャラ、ステージなどのレベル設計、実プレイによる成長実感、及び達成感、ストレスなく遊べるか							ゲーム内における離脱ポイントを分析する上で使える
	期待値チェック	プレイ開始前に抱いていた期待値とのギャップ							期待値ギャップはプレイモチベーションに影響を与える
必要クオリティ	わかりやすさ	ルール、プレイサイクル、ゲームの進め方、攻略法に対する理解度							アウトゲームにおける理解度は初期継続率に影響を与える
	遊びやすさ	UI設計全般（ボタンの場所、大きさ、フロー）と遊びやすい機能（倍速モード、スキップ、一括売却）など							「わかりやすさ」とセットで初期継続率に影響を与える
	ゲーム耐性バランス	ターゲットユーザーのゲーム耐性と「わかりやすさ×遊びやすさ」から算出される実際のゲームとのバランス							ユーザー属性を考慮した「遊びやすさ」×「わかりやすさ」が設計されていないと初期離脱に繋がる
モチベーション	インストールモチベーション	アプリストア、公式サイトの情報をみただけでインストールしたくなるモチベーション。ゲームジャンル×コンセプトだけでユーザーの気を惹けるか							インストールさせられないと何も始まらない。見た目やスクリーンショット1枚だけでインストールしたいと思わせるか？あらゆるマーケティング活動の効果に影響する
	継続モチベーション	インストールした後、これからも遊び続けたいと思うモチベーション							継続モチベーション（RR/DAU)×課金モチベーション(LTV)=ゲームビジネスを成立させるための方程式
	課金モチベーション	プレイした後、課金してもいい（課金するお金はないけど、お金があれば課金したい）と思うモチベーション

 

継続率(RR）とセットで設計しよう

ちなみに、これらレビュー項目は「プレイ前(day0)」と「プレイ後(day1からday14)」で、それぞれの項目を評価します。

緑色のセルがプレイ前に評価するべき項目であり、黄色部分はプレイ後の時間経過による評価の変化を含めて実施します。

実際のオペレーションとしては

プレイ前に該当項目を評価レビューして、プレイ後、day1が経過するたびに1日ごとに必要な項目をレビューして、その評価の変遷をチェックして分析します。

（ゲーム内の管理ツールを使って時間を早回ししてテストをしていきます）

ここまで実施することで、特にユーザーの離脱率が多い「ゲーム開始7日間」を乗り越えるための「課題」と「対策」が明確になります。

ビジネスレビュー（社内）

実はここまでで一般的なユーザーレビュー、テストみたいなものは終了なのですが、トロネコの場合は、さらにもう一つ、社内における「ビジネスレビュー」というものを提案しています。

これは何かというと、いくらユーザーテストやレビュー評価が高く、またそこで課題を見つけて、対策を講じたからといって

「ビジネスとして破綻していたら、そんな労力は最初から無駄だからです」

 

そのために、そもそも、このゲーム企画、内容、現状のビルド（動作するアプリ）に戦闘力があるのか？

プロモーションをかけることで、大きく伸ばせので、コストをかける価値があるのか？社内でレビューをします。

「開発費、宣伝費かけすぎ、投資回収の見込みなし！」

そんな状態で発売、配信しても事業として続かないですよね・・・

 

社内のレビュワーは社内のマネージャーや決裁者でOKです。

ゲームに詳しい「目利きのある人」をレビュワーに採用してもOKです。

複数人を抽出して下記の項目でレビューしましょう。

 

・市場制

・新規性

・事業性

・拡散力

 

評価項目	評価軸	定量評価					定性評価 （コメント）	備考
		1	2	3	4	5
市場性	このゲームが売れる市場が存在する。その市場で戦うことができる							ゲームをユーザーに売り込む上での「商品力」チェック。インストールモチベーションと関係する。 市場性×新規性×事業性×拡散力＝4項目の掛け算がユーザー獲得に影響する。不十分な状態では効率的なプロモーションが困難
新規性	既視感なく、独自性があり、市場に埋もれない。既視感があっても、それを補う新規性がある
事業性	事業としての収益性が担保されている（適切な開発、運用、マーケコスト配分や適切なビジネス設計）
拡散力	インストールしたユーザーがクチコミしたくなる、友達や他のユーザーを誘いたくなる拡散力（機能や仕組み、ゲーム性）が実装されており、実際に機能している

実はスマホゲームが事業として、ビジネスとして成功するかは

この4つの項目の掛け算が、どれだけ成立するかにかかっています。

この掛け算が成立しない状態で、いくらゲーム開発を続けて、プロモーションコストをかけても無駄です。

逆に言えば、この掛け算が一定基準を超えたなら、そのゲームは発売、配信するだけのコンディションが整ったと言えますし致命的な失敗を回避することができます。

ビジネスレビューについては各ゲーム会社でも社内で実施していますが

この4つの項目の掛け合わせで判断している会社はまだまだ少ないので、ぜひ御社の決裁プロセスに組み込んでください。

そうすれば御社のゲーム事業は大きく改善します。

まとめ

今回は「ゲームアプリ評価レビュー設計方法」というテーマでお届けしました。

よくわからない部分や、もっと掘り下げて社内で検討したい場合はトロネコまで、お気軽にご相談ください。

今回、ご紹介したシートはスプレッドシートで作成していますので、これをベースに御社向けにカスタマイズしてご提供も可能です。

 

というわけで今回はここまで

トロネコお問い合わせ先はこちら