こんにちは、QAチームのTeiiとakinkです。
この記事は Gunosy Advent Calendar 2018、14日目の記事です。
昨日の記事ははよんさんのUIデザインにおけるKPI設定の重要性でした。
はじめに
テストプロセスをより良いものにするため、現在アジャイルチームと親和性の高いテスト管理ツール導入を検討しています。
そこで、Top 20 Best Test Management Tools (New 2023 Rankings)
という記事で評価が高かったqTestとPractiTest を試しに触ってみたので、個人的な感想も踏まえて紹介したいと思います。
実際のプロジェクトでは利用していないため、探しても見つからなかった機能等あるかもしれませんが、ご了承ください。
qTest
qTest は、要件管理からリリースまで全てのQAプロセスをサポートするツールです。
冒頭で紹介した記事では第一位として紹介されており、非常に多機能であることが特徴です。
テスト計画
- テスト期間に対して、リリーススコープとなる要件の紐づけができます。 このデータの小タスクとして、テスト期間内におけるビルドスケジュールの作成も可能です。
要件管理
- 要件に紐づくテストケース、モジュール、ステータス、リリースターゲットが一目で分かります。
テストケース管理
テストケース作成画面
- ステップごとに期待値を埋めていく形式です。
- ステップの途中で、別のテストケースを呼び出すことも可能です。
テスト実行
リリーススコープ別テストケース一覧
- 各フィールドはインライン編集可能で、地味に便利です。
テスト実行画面
* テストケース一覧画面からテストケースを選択し、「RUN」を押下すると、上記ポップアップが表示されます。
リリーススコープ別課題一覧
- リリースで検出した課題一覧では、不具合、テストケース、要件の紐付きが可視化されています。
分析ダッシュボード
カバレッジ分析
- qTestは分析機能が充実しておりさまざまな観点のレポートが用意されているのですが、中でも要求のカバレッジレポートが素晴らしかったです。
要求全体に対するカバレッジを俯瞰してみることができ、問題のある部分をドリルダウンで確認できます。
所感
良かった点
- どの機能もデータ紐付きの視認性が高く、「修正の影響範囲」を特定しやすく便利です。
残念だった点
- ページの読み込み速度
デモサイトだからなのか、どのページも初回遷移時は5~6秒程待たされ、ワッフルメニューより分析モードに切り替えた時は10秒以上かかりました。
PractiTest
PractiTest は、アジャイルチーム向けに開発されたテスト管理ツールで、QAプロセスのほぼ全てをカバーしています。
業界では後発ですが、最近だとThe 10 Most Innovative Agile Solution Providers 2018 September2018 - Insights Successという賞も受賞しており、勢いのあるツールです。
冒頭で紹介した記事では第二位として紹介されています。
要件管理
- qTestと同様に、要件を階層で管理できます。
テストケース管理
- ステップごとに期待値を埋めていく形式です。
- qTest同様、ステップの途中で別のテストケースを呼び出すことも可能です。
- テストケース作成画面でステップの並び替えができないのは残念です。（並び替え自体は別画面で可能）
テストセット作成＆実行
テストセット作成画面
- テストセットというデータにテストケースを紐づけます。
テスト実行画面
- テストセット上で、「Run Now」というボタンを押下すると、上記画面に遷移します。
- テスト中にケースを編集した場合、一番下の「Update Original Test」ボタン押下でマスターに変更が反映されます。これはかなり便利。
課題作成画面
- 類似のissueをサジェストしてくれる機能があり、重複起票防止に良さそうです。
所感
良かった点
グローバル検索機能
要件、テストケース、issueの検索ができるのですが、検索結果のAdvanced Searchからさらなる絞り込みが可能です。
「あのとき要求かテストケースに書いたあれ・・」といった断片的な記憶でも、欲しい情報に辿り着けるので、テスト情報の再利用が捗りそうです。タスクボード（β版）
各データをかんばん形式のタスクボードに追加することができます。
テスト業務の流れの中で自然とプロジェクト状況の可視化ができるため、報告のためのデータ整備が不要になります。問い合わせ（チャット）
画面右下のボタンから、チャットで質問できるのですが、平均回答時間は5分とのこと。
数百社、数千ユーザーが利用しているとのことなので驚異的な数字です。
実際に利用してみましたが、「テスト結果の一括入力ってできる？パット見できなそうだけど...」「他のテスト管理ツールにない特徴的な機能って何？」といった雑な質問にも、2~3分程で丁寧な回答が返ってきました。
この手のツールは初見で便利な機能を見落としがちなので、トライアル段階で「この機能ないのか〜」と諦める前にサクッと質問できる環境があるのはありがたかったです。
残念だった点
- タブUI
どのエンティティでもタブUIが採用されているのですが、クリックしないとデータの紐付きが入力できない/閲覧できないという点に手間を感じました。
ただ、これは個人の好みの問題かもしれません。
比較表
| 比較項目 | qTest | PractiTest |
|---|---|---|
| プロジェクト管理 | ◯ | ◯ |
| 要件管理 | ◯ | ◯ |
| テストケースの複製 | ◯ | ◎ プロジェクトを横断した複製が可能 |
| テストケース管理 | ◯ | ◯ |
| テスト実行管理 | ◯ | ◯ |
| テスト結果の一括入力 | ◯ | △ 通常モードでpass all stepを選択するか、fast runモードでpass all /fail all/ block all/ norun allを選択 |
| BTS連携 | ◯ JIRA, Bugzilla, FogBugz, Rally, VersionOne ALMの5種類 | ◯ JIRA, Redmine, Githubなど17種類 |
| 自動テスト結果の連携（公開API） | ◯ qTest APIs | ◯ API-v2 |
| その他ツール連携 | ◯ jenkins, Katalon Studio 他 | ◯ slack, Zapier 他 |
| プロジェクトダッシュボード | ◯ | ◯ 外部向けダッシュボードは、グラフのembed code取得可能 |
| テスト結果のレポート出力 | ◯ | ◯ |
| グローバル検索 | △ グローバル検索？エリアはあるが、検索精度は良くない | ◯ |
| フィルタ機能 | ◯ | ◯ |
| カスタムフィールド | ◯ | ◯ |
| インポート/エクスポート | ◯ Excel | ◯ Excel or Google SpreadSheets |
| カスタマーサポート | ◯ 問い合わせフォームからチケットを切る形式 / 応答時間不明 | ◎ チャット／平均回答時間：5分 |
| 料金 / 月 | 要問い合わせ | Enterprise 45$ per tester, 15$ per developer |
番外編
上記以外に触ってみたツールの雑感も載せておきます。
- Testuff
qTest, PractiTestと同様にQAプロセスを包括的にサポートしているツールで、月額27$/userと比較的安い。
ただ、数十分さわっただけで不具合を2つも見つけてしまったので、却下。 （テスト管理ツールなのでここは厳しくいかせてもらいます） - Kualitee
要件管理こそできないが、ビルド管理、テストシナリオ管理、テストケース管理などの機能があるツール。
プロジェクト作成時、OSと端末の選択が必須だが、一括選択できないので一つ一つ選択しなければならない。そして、iOSに関してはiPhoneX以降が選択肢になかった。アップデート頻度が低そうなので却下。 - Spira Test
昔のファミコンゲームを彷彿とさせるUI。一画面に表示される要素が多く目が疲れる。サンプルデータの日付が2005年で年季を感じた。
課題入力画面でクリップボードから画像を貼り付けようとすると、500エラー。この時点で却下。
おわりに
この記事ではトライアル段階での使用感を中心に紹介しました。
実際に導入した際は、運用Tips等も発信していければいいなと思っています。乞うご期待。
引き続き Gunosy Advent Calendar 2018 をお楽しみください。
