android CTS ! Goodbye fails ! Goodbye timeout !

?為什么要進(jìn)行cts測試

Android兼容性測試（CTS）和連帶的兼容性定義文檔（CDD），是一個確保終端設(shè)備與特定版本Android兼容的自管理程序。CTS測試集包含大約24,000個在Android設(shè)備上運(yùn)行的測試用例，這些用例分別針對電話、圖形、相機(jī)、GPS、觸摸屏、無線網(wǎng)等功能。Google針對每個主要Android版本公布了CDD文檔，其中指出了對CTS中每類測試的具體要求。通過CTS測試是訪問Android軟件市場的 必要條件 之一。通過CTS測試之后便允許在設(shè)備上使用Android商標(biāo)，它標(biāo)志著該設(shè)備能夠良好 兼容 軟件市場中的數(shù)十萬應(yīng)用程序。

?常見問題和解決方案

我在這里不寫怎么執(zhí)行CTS，-p 是什么意思 -t是什么意思，我總結(jié)的是在執(zhí)行 cts_host > start --plan CTS 之后，想all pass 的那些有營養(yǎng)的東西。

? testcase timeout

測試某個testcase的時候一直出現(xiàn) “........”，遲遲沒有pass或者fail，等良久出現(xiàn)一個血淋淋的timeout，很讓人傷心。有不少人笑嘻嘻的以為timeout 挺好，至少它不是fail。在我看來timeout 比 fail 還恐怖，因為它連進(jìn)行測試到底是pass還是fail的權(quán)利都沒有。想不被硬件設(shè)備廠商笑話，必須0 timeout ，然后再爭取0 fail 。

timeout多數(shù)都是由于這個錯誤造成的：

Exception in thread "Thread-XX" com.android.ddmlib.ShellCommandUnresponsiveException

at com.android.ddmlib.AdbHelper.executeRemoteCommand(AdbHelper.java:408)

at com.android.ddmlib.Device.executeShellCommand(Device.java:276)

at com.android.cts.TestDevice$1.run(TestDevice.java:1718)

解決方案：

這個錯誤是由于CTS和SDK版本不匹配造成的。倘若用android2.2 SDK 和 android2.2 cts -r6 還是出現(xiàn)了這個問題，那么編譯自己工程的sdk （在整體m后，再make sdk），配套官方的cts一起，就可以百分百解決這個問題了。

必須要注意的是，不要用自己的工程代碼編譯出來的cts（make cts），因為可能編譯出來的不是最新的（通常是r1版本）。而google提供的才是最新的，而硬件設(shè)備廠商都會信賴最新版本的cts的測試結(jié)果。

?Restarting device ...Restarting ADB...

板子執(zhí)行幾個測試項就停下，讓人很郁悶

CTS_INFO >>> Max ADB operations reached. Restarting ADB...

CTS_INFO >>> Restarting device ...
Device(xxxxxxxxxxxxxxxxxxxxxx) disconnected
Test stopped.
Device(xxxxxxxxxxxxxxxxxxxxxx) connected

解決方案：

其實重啟adb和板子是正常現(xiàn)象，如果不重啟會影響他們的正常工作。但是這樣頻繁的重啟，很影響工作效率。

我們可以控制測試中重啟的頻率:

修改android-cts/repository/host_config.xml中的 reboots value：

<!-- Number of tests executed between reboots. A value <= 0 disables reboots. -->
<IntValue name="maxTestCount" value="200" />

5000是我測試比較合理的數(shù)字，如果不跑全部的cts項23700個test的話，數(shù)量不多可以修改為-1，禁止重啟。

如果數(shù)量過多，則還是重啟的好，否則中途adb會卡死停止test。自動化測試，你不會一直盯著它的對吧？

?java.io.IOException: sad result from adb: closed

倘若中途出現(xiàn)：

java.io.IOException: sad result from adb: closed
00:47 E/ddms: ADB rejected shell command (am instrument -w -e bundle true android.tests.devicesetup/android.tests.getinfo.DeviceInfoInstrument): closed

CTS_ERROR >>> Failed to execute shell command am instrument -w -e bundle true android.tests.devicesetup/android.tests.getinfo.DeviceInfoInstrument on device 0xxxxxxxxxxxx

java.io.IOException: sad result from adb: closed

解決方案：

別擔(dān)心，重啟一下板子就好了。

?其他fail

因為各個項目差異，所以fail項不同，拋開硬件差異所決定的fail，還有系統(tǒng)工程師為了掩飾別的bug而新增的cts fail bug，我們還需要注意的是：

1.Net相關(guān)的testcase ，記得開wifi \ 3G,保持網(wǎng)絡(luò)聯(lián)通

2.SMS相關(guān)的testcase，記得插SIM卡

3.當(dāng)I2C上某個設(shè)備的testcase沒有過，試試禁掉I2C上其他的sensor服務(wù)，單一測試，也許會有意外收獲

如果你還深陷cts fails 困擾 ，歡迎交流。

Android cts all pass 全攻略