モバイル自動化ツールを使用開始した所感

こんにちは。QAエンジニアの塩谷です。

当社ではWEBの自動テストは運用開始して1年ほど経過しておりますが、先日やっとモバイルの自動テストの導入を開始いたしました。

まだ自動テストシナリオの準備中であり、本格的な運用は実施できていませんが、導入してみた所感について記事にしたいと思います。

自動テスト導入の背景

まず当社で自動テストを導入している背景を改めてご説明いたします。

当社ではWEB・モバイル（iOS、Android）でそれぞれサービス展開しており、

WEB：１〜２回/月

モバイル：5〜８回/月

程度のリリースを行なっています。

WEB、モバイルそれぞれのリリース前にテストを実施しており、基本的に同じ項目を実施しています。この定期的に同じテストを繰り返すという点が自動テストで効果を発揮すると考え自動テストを導入するに至りました。

モバイルの自動テストでは、複数のツールを比較検討し、MagicPodを導入させていただきました。当社の利用方法から自動テストの実現性及び費用対効果を検討し料金プランはスタンダードを使用しています。

なお料金プランによって、料金のほかにプロジェクト数や作成可能テストケース数などの機能的差分が発生します。利用方法から適切な料金プランを選択してください。

料金プランの詳細はMagicpod社のHP（https://magicpod.com/corporate/）をご覧ください。

モバイル自動テストツールのMagicpodを使用し始めた所感について記載します。

当社では料金プランにスタンダードを選択しました。

料金プランの選択においてプロジェクト数・作成可能テストケース数は事前の想定で問題ないと考えていました。

特に懸念していたのが作成可能テストケース数が収まるかどうかという点になりますが、こちらは事前にどのテストケースを自動化するか抽出しておいたことにより想定の範囲に収まるということを把握できました。

実際にプロジェクト数・作成可能テストケース数は、問題ありませんでしたが、事前にあまり想定していなかった画像差分チェックステップ数がオーバーしてしまいました。

こちらはテスト実施結果などの成否チェックのために画像チェックに利用しますが、そちらのチェックをどれくらい実施するのか事前に想定していなかったため、スタンダードプランの上限に到達してしまいました。

感覚的にテストケース数の2倍が上限となっており問題ないと思い込んでしまったために発生した問題になります。

こちらはオプションで追加が可能なため、急遽社内稟議を行いオプション申し込みをしてなんとか希望する数を設定できるようになりました。

今回、料金プランによる機能の上限において想定外の問題が発生してしまいましたが、

事前に自動テストで実現したいテスト数およびテスト結果の確認方法をしっかりと把握しておく必要があります。

当社ではすでに存在していたテストケースを自動化するため、テスト数の抽出は簡単に実施することができました。テスト結果の確認方法についてはどの自動化ツールを採用するかによって変わりますが、１ケースずつどのように確認すれば期待結果を得られるのかチェックしておく必要があります。

当社では偶々オプションを追加しても効果が得られる条件でしたが、自動化ツールを導入する際には、何をどれくらい自動化するのかをしっかりと準備して検討を行うことが大切だと改めて実感しました。