Regressiyani avtomatlashtirish: qachon o'zini oqlaydi va qachon byudjetni yondiradi

«Hammasini avtomatlashtiraylik» — testlashdagi eng qimmat ibora. Avtotestlar faqat tez-tez yurgiziladigan va kam o'zgaradigan barqaror ssenariylarda o'zini oqlaydi. Qolgan hammasini qo'lda tekshirish arzonroq — va buni buyurtmachiga ishlar boshlanishidan oldin aytish halolroq.

Avtomatlashtirish o'zini oqlaydigan uchta shart

• Barqarorlik: ssenariy bir necha reliz ketma-ket o'zgarmagan va uning kutilgan natijasi qayd etilgan. Har hafta qayta ishlanadigan narsani avtomatlashtirish — foyda keltirishdan oldin buziladigan testlar yozish.
• Chastota: to'plam har bir relizdan oldin yoki tez-tez yurgiziladi. Chorakda bir marta regressiya avtomatlashtirishni yillar davomida oqlaydi.
• Determinizm: ssenariy bir xil ma'lumotlarda bir xil natija beradi. Beqaror test rejimli to'lov shlyuzlari va tashqi reklamali ekranlar yomon avtomatlashtiriladi.

Nimani birinchi avtomatlashtirish kerak

1. API va kontraktlar: eng barqaror, eng tez va qo'llab-quvvatlashda eng arzon testlar — javob sxemalari, xato kodlari, majburiy maydonlar.
2. Kritik foydalanuvchi yo'llari: ro'yxatdan o'tish, kirish, to'lov, buyurtma rasmiylashtirish — har bir yo'lga bitta ssenariy, variatsiyalarsiz.
3. Ma'lumot tekshiruvlari: solishtirishlar, maydon validatsiyasi, migratsiyadan keyingi yaxlitlik — qo'lda tekshirish uzoq va zerikarli joylarda.
4. Faqat keyin — variatsiyalar va interfeys mayda-chuydalari, va faqat dastlabki uch daraja barqaror bo'lsa.

Nimani qo'lda qoldirish kerak

Yangi funksiyalarni tadqiq qilish, LQA, turli qurilmalarda vizual to'g'rilikni tekshirish, beqaror test rejimidagi tashqi servisli ssenariylar, aksiya oldidan bir martalik tekshiruvlar. Bu joylarda qo'lda regressiya avtomatikdan yomon emas va bir necha barobar arzon. Qoida: ssenariy yiliga o'n martadan kam yurgizilsa, avtomatlashtirish o'zini oqlamaydi.

Yashirin narx — qo'llab-quvvatlash

Avtotest yozish — xarajatlarning to'rtdan biri. Qolgani — qo'llab-quvvatlash: interfeysning har bir o'zgarishi testlarning bir qismini buzadi va kimdir ularni tuzatishi kerak. Jamoada bu vazifasiga kiradigan odam bo'lmasa, to'plam bir necha oyda yomonlashadi: testlar qulaydi, ularni o'chirishadi, keyin ishga tushirishni to'xtatishadi. Shuning uchun avtomatlashtirishni freymvork tanlashdan emas, «yarim yildan keyin testlarni kim tuzatadi» savolidan boshlaymiz.

Buni qanday rasmiylashtiramiz

Qo'lda regressiya birinchi boradi: to'plam yig'iladi, bir necha relizda barqarorlashadi va faqat shundan keyin yuqoridagi uchta shart bo'yicha avtomatlashtirishga nomzodlar ajratiladi. Avtomatlashtirish alohida shartnoma bilan rasmiylashtiriladi: bu testlash emas, ishlab chiqish va Rossiyadagi buyurtmachilar uchun boshqacha soliqqa tortiladi. Natija — sizning repozitoriyingizdagi testlar, jadval bo'yicha yoki CI da ishga tushirish, jamoa chatiga hisobot va dasturchingiz ularni tuzatadigan hujjatlar.