решение, что и когда автоматизировать / Хабр

Автоматизация тестирования обычно вводится в проект для решения таких проблем, как повторяющаяся ручная работа, работа с большими наборами данных или получение более быстрой обратной связи в пайплайне CI / CD. Из-за этого шума вокруг автоматизации тестирования вы можете подумать о том, чтобы автоматизировать «все». Возможно, вы уже выбрали фреймворк тестирования и команду, которая будет выполнять автоматизацию тестирования. Но серьезно ли вы задумывались о том, что вам следует автоматизировать или насколько это выполнимо для вас?

Исчерпывающее тестирование невозможно. Это один из ключевых принципов тестирования программного обеспечения. Перед тем, как начнется автоматизация тестирования, вам необходимо принять решение на основе данных о том, что вы будете автоматизировать, а что нет, и в каком приоритете. При принятии решения о том, что автоматизировать, следует учитывать несколько основных моментов, например уровень автоматизации, на котором вы будете создавать свои тесты. Автотесты можно разделить на три основных уровня: модульные тесты, интеграционные тесты и UI тесты. Вы должны оценить плюсы и минусы написания тестов на каждом из этих уровней, прежде чем приступать к их написанию.

Независимо от того, какой уровень автоматического тестирования вы выполняете, цель должна заключаться в автоматизации того, что приносит наибольшую пользу и учитывание областей, всегда тестируемых для каждого релиза, и областей, которые трудно тестировать вручную. Вам также следует обратить внимание на области, в которых требуется обрабатывать огромные объемы данных. Все эти факторы необходимо учитывать перед автоматизацией. Если вы создаете автотесты вслепую или по своей прихоти, это увеличивает вероятность того, что вы не получите от них столько пользы, сколько следовало бы.

Ниже подробно описаны пять критических областей/факторов, о которых следует помнить, когда вы рассматриваете возможность интеграции автоматического тестирования в свой текущий рабочий процесс.

Автоматизируйте ваши смоук тесты

Смоук тесты очень важно выполнять для получения уверенности, что ваше приложение функционирует на базовом уровне, после каждого изменения или при создании нового билда. Смоук тесты могут быть интегрированы в пайплайн CI / CD, чтобы убедиться, что блокирующие ошибки обнаруживаются на ранней стадии. Смоук тесты гарантируют, что наиболее важные аспекты и основные компоненты приложения работают правильно. Они тестируют области, которые всегда должны работать, и могут помочь вам понять, достаточно ли стабильна сборка или приложение для продолжения дальнейшего тестирования. Автоматизация смоук тестов может:

1. Помочь быстро обнаружить блокирующие ошибки, например, не загружается приложение/веб-страница, пользователь не может войти в систему, пользователь не может создать учетную запись или платежные сервисы не работают.

2. Обеспечивает более быстрое устранение новых и регрессионных багов. Смоук тесты по своей природе имеют большой охват и небольшую глубину. Это приводит к тому, что тестируется широкий спектр тест-кейсов, не углубляясь в приложение. Когда эти критические области заработают, вы сможете глубже изучить приложение, чтобы протестировать другие функции.

3. Приводит к меньшему количеству ручного труда и экономит время. Путем интеграции ваших автотестов в пайплайн CI/CD ваши смоук тесты сворершают проверку до завершения сборки. Это означает, что сборка не передается QA, если автотесты не пройдут смоук.

Автоматизируйте тесты, которые выполняются всегда, например, регрессионные тесты или тесты, которые всегда находятся в начале каждого рабочего процесса.

Это позволяет вам иметь набор стабильных тестов, жизненно важных для приложения. Например, создание учетной записи пользователя необходимо будет выполнить до того, как пользователь сможет войти в систему и просмотреть панель управления, совершать платежи и т. д. Создавая набор автоматизированной регрессии, вы можете:

1. Запускать тесты, которые быстро выявляют любые ошибки, возникающие в результате изменений в программном обеспечении. Эти изменения могут быть новыми функциями или исправлениями багов.

2. Иметь набор стабильных тестов. Регрессионные тесты обычно предназначены для существующих функций, что означает, что эти функции не являются новыми и были протестированы раньше. Это предотвращает появление флаки автотестов, из за которых вам пришлось бы тратить много времени на ручное тестирование, так как вы не уверены, действительно ли тесты провалились или нет.

3. Экономить время, так как теперь вы можете сосредоточить свои усилия на ручном тестировании на большем количестве крайних кейсов.

Автоматизируйте обширные тесты

Исчерпывающие тесты, такие как ввод больших наборов данных, тестирование формы или тесты, требующие от тестировщика многократного выполнения одного и того же процесса, но с большим разнообразием данных, должны быть автоматизированы. Вы можете создавать автотесты на основе данных, которые позволяют сэкономить время. Для различных форм автотесты позволяют вам быстро тестировать различные комбинации входных данных, например, отсутствуют ли поля, являются ли они неполными и т. д. Тестирование на основе данных очень полезно, поскольку оно позволяет вам изменять только данные, а не тестовый сценарий, чтобы получить разные результаты. Такие тесты очень многоразовые и эффективные.

Автоматизируйте тесты, требующие нескольких конфигураций

Речь идет о тестах в различных операционных системах и комбинациях браузеров. Делать все это вручную — утомительно. Также, автоматизация таких тестов может помочь сэкономить время. Автотесты можно запускать в различных средах (таких как Dev, QA, Staging, Integration или PROD), просто изменив переменную среды. Тесты также можно запускать параллельно, что сокращает время, необходимое для выполнения. Вы можете использовать различные инструменты CI, такие как CircleCI, чтобы указать ОС, браузеры и среды, в которых вы хотите запускать параллельные тесты. Убедитесь, что вы следуете лучшим практикам при создании параллельных тестов, чтобы получить от них максимальную пользу.

Автоматизируйте ваши тесты производительности

Это позволяет избежать сбоев при запуске, и снижения производительности. Тестирование производительности проверяет, как система работает под нагрузкой и стрессом, а также выявляет узкие места. Он проверяет скорость, время отклика, надежность, использование ресурсов и масштабируемость программного обеспечения в соответствии с ожидаемой рабочей нагрузкой. Автоматизация может помочь вам легко сгенерировать тысячи пользователей, чтобы увидеть, как приложение отреагирует. Например, Fandango — один из крупнейших в Америке сайтов по продаже билетов (около 36 миллионов посетителей в месяц покупают билеты на их сайте), и они хотели убедиться, что готовы к фильму «Звездные войны: Последний джедай». Они хотели узнать, какова их пиковая производительность и определить узкие места. QualityWorks автоматизировала тесты производительности и предоставила им отчеты, которые помогли бы выявить узкие места, и в результате они успешно запустили продажу фильмов. Это то, что они могут продолжать использовать, чтобы гарантировать, что производительность их веб-сайта соответствует определенным стандартам.

Ваш следующий шаг

Этот список соображений ни в коем случае не является исчерпывающим, но это отличная отправная точка, если вы думаете, как интегрировать автоматизацию в текущий рабочий процесс QA. Будьте стратегичными и сфокусированными в своем подходе. Посидите с вашим текущим QA, чтобы обсудить их текущие практики и выявить узкие места в их процессе, которые могут быть устранены с помощью автоматизации. Автоматизация «всего» никогда не поможет. Помните, прежде чем создавать автотесты, подумайте о том, какой уровень вы хотите автоматизировать. Затем решите, какие тесты вы хотите автоматизировать, чтобы обеспечить максимальную рентабельность инвестиций для вас и вашей команды — те, которые повторяются, требуют много времени, критичны для бизнеса или которые тестируют производительность приложения.

Переведено командой QApedia. Еще больше переведенных статей вы найдете на нашем телеграм-канале.

Лучшие практики автоматизированного тестирования / Хабр

Сейчас корпорации научились доставлять изменения за 2–3 дня или даже день в день, тогда как раньше они делали это за год, месяц или неделю. Появление автоматизированного тестирования ПО и его использование в сочетании с ручным тестированием позволило менеджерам проектов придерживаться желаемых сроков доставки. 

Своевременное тестирование ПО позволяет выявлять проблему и устранить ее до того, как функция попадет к пользователю. Тестирование ПО – одна из самых актуальных тем для обсуждения, в то время как архитектура ПО создается для удобства пользователей и является неотъемлемой частью его разработки. 

Однако для максимизации использования автоматизированного тестирования необходимо соблюдать определенные правила. Сегодня в статье мы обсудим несколько практик, которым стоит следовать при внедрении автоматизации тестирования.

Знать все барьеры на пути к автоматизации тестирования

Как только у вас появится команда тестировщиков, следующим шагом будет узнать, что мешает ей перейти к автоматизированному тестированию. В большинстве случаев это идея изучения нового языка программирования. Может ли команда выучить новый язык программирования и реализовать успешный проект по автоматизации тестирования? Все эти факторы – барьеры, которая команда должна преодолеть. Чтобы преодолеть такие страхи, команда должна начинать с малого.

Правильные инструменты и фреймворки

Основная идея в том, что ваша команда должна освоиться с инструментами и фреймворками, которые вы хотите использовать. Выбор инструмента автоматизации играет жизненно важную роль и это факт. Инструмент может быть либо бесплатным с открытым исходным кодом, либо платным коммерческим, но иметь лучший функционал и предлагать лучшую поддержку. Функции инструмента должны соответствовать требованиям к тестированию ПО. Он должен поддерживать несколько языков программирования, операционных систем и т.д.

Что автоматизировать

Прежде всего команда должна определить приоритеты и понять, какие тесты нужно автоматизировать. Не следует применять автоматизацию к тестам, просто потому что вы можете это сделать. Не нужно автоматизировать все. Многие тесты лучше проводить вручную. Автоматизация сложных и редко используемых тестов – это провал, и эта процедура не стоит усилий команды. Кроме того, создайте список браузеров и устройств, которые необходимы для вашего конкретного набора тестов.

Распределяйте и разделяйте усилия по автоматизации

Обычно создание различных тестов отражает уровень квалификации QA-инженеров. Поэтому очень важно определить опыт и навыки каждого члена команды. Затем нужно распределить усилия по тестированию в зависимости от набора навыков члена команды. Например, написание тестовых сценариев требует глубокого знания скриптовых языков. Таким образом, за выполнение конкретно таких задач у вас должны отвечать специалисты, которые знают скриптовые языки, предоставляемые инструментом автоматизированного тестирования. Эффективность плана автоматизации тестирования зависит от правильного распределения задач между персоналом на основе плана тестирования, опыта специалистов и размера команды тестировщиков.

Декомпозируйте

Создание отдельных модулей облегчает менеджерам проектов эффективное отслеживание покрытия тестами и понимание точного местоположения дефектов или ошибок. Тестировщикам аналогично проще писать тестовые сценарии для небольших модулей.

Кастомная тестовая среда

Создание эффективной кастомной тестовой среды достигается точной репликацией производственной среды. Таким образом, тестовая среда должна включать системы автоматизации тестирования и инструменты, которые используются при разработке ПО с индивидуальными конфигурациями. 

Тестируйте чаще начиная с ранних стадий

Частое тестирование на ранней стадии способствует значительному сокращению времени устранения дефектов или ошибок. Кроме того, частое тестирование на различных этапах разработки программного обеспечения позволяет ему функционировать лучше.

Метрики для анализа результатов тестирования

Получение правильных метрик для оценки и мониторинга целей в области контроля качества на протяжении всего цикла разработки ПО является еще одним важным аспектом эффективного плана автоматизации тестирования ПО.

Акцент на сообщения об ошибках

Существует прямая связь между качеством отчетов об ошибках и времени выполнения (TAT). Кроме того, наличие четкой, подробной и точной информации об ошибках в ПО помогает быстрее их устранять.

Обильно комментируйте

Большую часть времени вы будете работать над автоматизацией не в одиночку. Так что помогите себе и своим коллегам – оставьте к коду хорошие комментарии. Люди не умеют читать мысли и не должны понимать ход ваших мыслей. Поэтому всегда добавляйте очень подробные комментарии в невероятно запутанные разделы не только для ваших коллег, но и для себя самого в будущем!

Переиспользование кода

Одним из наиболее частых действий при автоматизации является поиск элемента для каждого действия по типу клика, ввода и т.п. Возможность переиспользования кода крайне важна, поскольку поиск одного и того же элемента на каждом шагу – пустая трата времени. Напишите его один раз, а потом переиспользуйте везде, где требуется.

Поставка качественного программного обеспечения зависит от эффективности и действенности плана тестирования ПО. Таким образом, автоматизация тестирования помогает создавать качественное ПО и сокращать время выхода на рынок только в том случае, если она соответствует передовым практикам. Однако важно понимать, что у каждой компании свои требования. Поэтому изучите эти методы и внедряйте их так, чтобы они наилучшим образом соответствовали вашему ПО, бизнесу и требованиям пользователей.

Материал подготовлен в рамках курса «Python QA Engineer».

Блог | Практика автоматизации тестирования

За последние несколько недель я видел, как несколько человек в Интернете спрашивали об одной и той же ошибке. ElementClickInterceptedException: Элемент нельзя щелкнуть в точке исключения. В Интернете есть много ответов, но многие из них очень разные. Некоторые из предложенных решений работают для одних людей, но не для других.

Элемент не доступен для кликов в точке, исключение не требует пояснений. Это означает, что элемент, на который вы пытаетесь щелкнуть, не может быть нажат в этой конкретной точке. Обычно это происходит, когда вы находите элемент и пытаетесь выполнить действие щелчка по нему. Одной из наиболее распространенных причин возникновения этой ошибки являются перекрывающиеся элементы. Что-то на странице скрывает ваш элемент, на который вы пытаетесь нажать. Но решение будет отличаться в зависимости от вашего конкретного случая.

В этом видео я решил воспроизвести эту ошибку. Я показываю, почему возникает эта ошибка, и что я обычно делаю, чтобы узнать, как исправить этот элемент, не кликабельный в точке исключения.

Код, который я использую в этом видео, загружен на GitHub, и вы можете получить к нему доступ здесь: https://github.com/dimashyshkin/Element-is-not-clickable-at-point

Если вы новичок в Selenium Webdriver с Java и TestNG, ознакомьтесь с моими курсами . Узнайте, как создать подобную структуру, как использовать Selenium для автоматизации тестов на работе и автоматизации других утомительных задач, не связанных с вашей работой по контролю качества.

Одним из правил хорошей автоматизации тестирования является написание небольших быстрых атомарных тестов. Другими словами, небольшие тесты, выполняющие только один тестовый пример. И обычно у одного тестового случая должна быть только одна проверка. Однако исключение составляют случаи, когда мы делаем несколько проверок без дополнительных тестовых шагов между проверками и они не зависят друг от друга (могут выполняться в любом порядке).

Давайте посмотрим на Тестовый случай 1: Положительный тест входа в систему на нашей странице входа в тренировочный тест.

1. Откройте страницу: https://practicetestautomation.com/practice-test-login/
2. Введите имя пользователя student  в поле [Имя пользователя]
3. Введите пароль  Пароль123  в поле [Пароль2] Отправить  кнопка]
4. Подтвердить, что URL-адрес новой страницы содержит  Practicetestautomation.com/logged-in-successfully/
5. Новая страница должна содержать ожидаемый текст («Поздравляем» или «Вы успешно вошли в систему»)
6. Кнопка подтверждения [ Выйти ] отображается на новой странице

Шаги 5, 6 и 7 являются проверками и не зависят друг от друга. В результате мы можем выполнять эти проверки в любом порядке.

Чтобы выполнить все три проверки без провала тестов, мы можем использовать мягкие утверждения вместо жестких утверждений.

Подробнее Жесткие и мягкие утверждения в автоматизации тестирования

Поиск рейсов может быть долгой скучной задачей, поиск дешевых рейсов вручную может занять несколько часов. Так почему бы не автоматизировать это?

Selenium — это не просто инструмент автоматизации тестирования. Это инструмент автоматизации, автоматизация браузера. Даже если вы не инженер по автоматизации тестирования, вы все равно можете извлечь выгоду из Selenium.

Помимо использования Selenium на работе для автоматизации веб-тестов, я несколько раз использовал его для автоматизации других задач. Я использовал его для автоматизации поиска работы, поэтому я мог выполнять больше поисков работы каждый день, когда искал ее. А совсем недавно я создал проект по автоматизации поиска рейсов на Expedia.

Я использовал этот фреймворк в течение многих лет, чтобы сэкономить деньги на перелетах, и теперь хочу поделиться им со всеми, научить вас, ребята, как его использовать, чтобы вы также могли искать дешевые авиабилеты с помощью Selenium.

Я записал видео и загрузил его на YouTube, чтобы показать, как загрузить фреймворк и как его использовать.

ПодробнееКак найти дешевые авиабилеты с Selenium, чтобы сэкономить время

Меня часто спрашивают, какие книги я могу порекомендовать к прочтению тестировщикам программного обеспечения и инженерам по автоматизации тестирования.

Обычно я говорю, что лучший способ стать хорошим инженером по контролю качества и автоматизации тестирования — это не читать книгу, а практиковаться и делать это. Вот почему все мои курсы по автоматизации тестирования практические, с минимумом теории.

Тем не менее, никогда не помешает добавить немного теории, если она может принести вам пользу. В этом посте я не буду утомлять вас «Топ-10» книг для тестировщиков ПО. Я рекомендую только две книги: одну по тестированию программного обеспечения и другую по автоматизации тестирования. Всего двух должно хватить, чтобы стать хорошим специалистом по обеспечению качества программного обеспечения и инженером по автоматизации тестирования.

ПодробнееЛучшие книги для тестировщиков ПО

Вы изучили Selenium WebDriver. Автоматизировал несколько тестов, потом еще несколько и еще. Кроме того, вы узнали некоторые продвинутые приемы, стратегии. Вы становитесь более уверенным в его использовании. Такое ощущение, что нет теста, который нельзя было бы автоматизировать.
Все положительные тестовые случаи для набора регрессионных тестов автоматизированы. Вы добавили отрицательные тесты. Вы хотите автоматизировать все с помощью Selenium, потому что теперь вы знаете, как это сделать.

СТОП!

Selenium WebDriver — это инструмент для автоматизации тестов веб-интерфейса. Не все следует автоматизировать с помощью Selenium. Позвольте мне показать вам несколько тестовых случаев, где лучше НЕ ИСПОЛЬЗОВАТЬ Selenium WebDriver , хотя это возможно.

ПодробнееПрекратите автоматизировать все с помощью Selenium

Начало работы с CI/CD

Задумывались ли вы когда-нибудь, что такое DevOps? Кроме того, знаете ли вы, как тестировщики могут быть частью DevOps?

20 ноября Джефф Фадж обучал участников встречи QA Meetup в Тампе DevOps 101! Его определение и значение, архитектура DevOps и ее компоненты, различные инструменты DevOps, ее культура и процессы.

ПодробнееDevOps 101 для тестировщиков

Тестирование Rest API с помощью Postman и JavaScript

Postman — один из самых популярных инструментов, используемых для тестирования API. Он бесплатный и доступен в виде собственных приложений для Mac, Windows и Linux, а также в виде расширения для Chrome.

24 октября 2019 года мой хороший друг Иван Шматок, работающий в Experian, выступил на местном митапе в Тампе, Флорида. Он поделился своим опытом автоматизации тестов RestAPI с помощью Postman и JavaScript.

Вот видео с его презентации.

Работа с оповещениями браузера с помощью Selenium

Оповещения браузера могут раздражать новичков в области автоматизации тестирования. Окно предупреждения уводит фокус с текущего окна и заставляет браузер прочитать сообщение. Но в Selenium WebDriver есть простой способ работы с различными типами предупреждений браузера.

В этом видео вы узнаете о нескольких различных типах предупреждений и о том, как с ними работать с помощью Selenium WebDriver.

Работа с флажками и переключателями с помощью Selenium WebDriver

Флажки и переключатели — это элементы, которые присутствуют почти на каждом веб-сайте. Вот почему каждый инженер по автоматизации тестирования должен знать, как с ними работать. С помощью Selenium WebDriver легко устанавливать флажки или выбирать и переключать кнопки.

В этом кратком руководстве по Selenium WebDriver вы узнаете несколько очень важных вещей. Как работать с флажками и переключателями. И как проверить, если флажок или радиокнопка уже выбраны

Стратегия локатора XPath не страшна и не сложна в освоении

Язык пути XML или XPath — это язык запросов для выбора узлов из документа XML. Кроме того, XPath можно использовать в качестве стратегии поиска Selenium.

В сентябре 2019 года я выступил на местной встрече в Тампе, Флорида.

Я поделился своим опытом работы с XPath. Я говорил о локаторах Xpath, о мифах, которые их окружают, и о том, почему каждый должен попробовать использовать XPath.

курсов | Практика автоматизации тестирования

Selenium WebDriver с Java и TestNG. Этот курс предназначен для полных новичков в тестировании и автоматизации Selenium. Вебдрайвер

Запишитесь на этот курс на Udemy

Запишитесь всего за $9,99 на Teachable

Selenium WebDriver с Python предназначен для начинающих в тестировании и автоматизации Selenium

Изучите Selenium WebDriver с Python для профессионального тестирования Selenium

В этом курсе вы узнаете:

• Настройка среды автоматизации тестирования с помощью Selenium WebDriver
• Автоматизируйте свой первый тест WebDriver
• Выполнение тестов Selenium в разных браузерах
• Используйте функции PyTest для улучшения структуры тестирования и упрощения обслуживания фреймворка Selenium
• Распознавать различные ошибки и исключения в тестах селена и знать, как их исправить и избежать

Запишитесь на этот курс на Udemy

Зарегистрируйтесь всего за 9,99 долларов США на Teachable

Начните свою карьеру в области автоматизации тестирования, изучив Java с помощью этого курса, специально разработанного для начинающих.

Вся Java, необходимая для начала изучения автоматизации тестирования

В этом курсе вы узнаете:

• Начать с нуля, установить Java и IDE
• Создание первого проекта
• Изучение базовых вещей, типов данных
• Методы обучения, классы, разные функции
• Принципы объектно-ориентированного программирования
• Расширенные функции Java
• Работа с файлами
• Тестовые рамки

Запишитесь на этот курс на Udemy

Запишитесь всего за $9,99 на Teachable

Реальный пример платформы автоматизации тестирования Advanced Selenium WebDriver с Java и TestNG

В этом курсе вы узнаете:

• Разработка полнофункциональной среды автоматизации тестирования с нуля
• Внедрение среды тестирования, управляемой данными
• Использовать объектную модель страницы
• Автоматизируйте практически любой тест
• Используйте расширенные методы Selenium WebDriver (создание снимков экрана, захват ошибок консоли JS и т. д.)

Запишитесь на этот курс на Udemy

Запишитесь всего за $9,99 на Teachable

Создавайте сложные локаторы XPath для автоматизации Selenium, которые будут работать на любом веб-элементе

Бестселлер Курс в категории Selenium Testing Framework

XPath – самый сложный метод идентификации элементов. Он может найти расположение любого элемента на веб-странице, даже если у него нет атрибутов класса, имени или идентификатора. XPath создает надежные локаторы при правильном использовании.

В этом курсе вы узнаете:

• Создание сложных локаторов XPath
• Найдите ЛЮБОЙ элемент на странице с помощью XPath
• Автоматизировать тестирование любого элемента на веб-странице

Запишитесь на этот курс на Udemy

Зарегистрируйтесь всего за 9,99 долларов США на Teachable

Автоматизация тестирования Rest API с нуля. Создайте Cool Rest Assure Framework с Java и Testng

H I GHEST Rated Курс в RET ARSED Категория

В этом курсе вы узнаете:

• . Автоматизация с использованием REST Assured
• Создание среды тестирования REST API с нуля с помощью Maven и TestNG
• Используйте JsonPath и XmlPath
• Сериализация и десериализация POJO
• Работа с заголовками и файлами cookie
• Использовать обычную аутентификацию

Запишитесь на этот курс на Udemy

Запишитесь всего за $9,99 на Teachable

Расширенная среда автоматизации тестирования Selenium WebDriver с Selenium Grid, Cloud и непрерывным выполнением тестов в Jenkins

Станьте SDET или даже Test Automation Architect , изучив Selenium Grid!

В этом курсе вы узнаете:

• Настройка Selenium Grid
• Запуск тестов на Selenium Grid
• Преимущества и недостатки Selenium Grid
• Облачные провайдеры автоматизации тестирования
• Запуск тестов в облаке
• Запуск тестов на SauceLabs
• Дженкинс и непрерывное выполнение теста

Запишитесь на этот курс на Udemy

Зарегистрируйтесь всего за 9,99 долларов США на Teachable

Selenium WebDriver с Java, TestNG и Maven.