Очередная критическая разборка доклада, на этот раз на очереди Андрей Ладутько с беседой об аудите:
В целом доклад мне показался интересным, но в некоторых моментах неполным или спорным. Мне показалось, что в начале Андрей несколько нервничал и спешил, затем темп стал лучше и ведение доклада стало очень уверенным.
Начну с критики по содержанию доклада:
"аудит - предпоследняя фаза проекта" - вообще говоря, я бы не включал аудит вообще в фазы проекта. По моему опыту, он чаще проводится после окончания проекта или его части, чтобы использовать опыт в следующих проектах. Или в середине проекта - когда все ужас-ужас. Или, упаси Болтон, назначается судом, когда заказчик не смог договорится с исполнителем, как полюбовно разрулить абсолютное недовольство заказчика результатом.
Конечно, никто не запретит рутинно проводить аудит "предпоследним перед сдачей", но вроде и частью процесса он обычно не является. Для меня это полезный тул - который можно использовать (иногда).Update. Неправильно услышал, говорилось, что тестирование - предпоследняя фаза. Это тоже вещь довольно спорная, но то, что результаты тестирование ближе к концу наиболее полны и заметны - с этим не поспоришь.
- "Жизненный цикл процесса", "надо обсуждать весь процесс" - тут возникла путаница, мне показалось, что докладчик в большинстве случаев имел ввиду полный процесс разработки (который включает тестирование). Но в заголовке доклада - "процесс тестирования", и на некоторых других слайдах тоже однозначно он. Местами было сложно понять, какой из процессов имеется ввиду в данный момент, следовало как-то лучше разграничить.
- Треугольник качества живо напомнил мне об опасностях локальной оптимизации (т.е. если мы оптимизируем процесс тестирования без привязки к оптимизации всего процесса - мы рискуем улучшить там, где не болело, а только отдавало). Впрочем - это вопрос очень сложный (читайте Голдратта), и можно считать, что в докладе мы принимаем, что у нас боттлнек и проблемы только в тестировании, поэтому оптимизируем только тут.
- В частности (к локальной оптимизации) не было упомянута идея приглашать (иногда) разработчиков и проект менеджеров на беседы, если уж мы задумываемся про весь процесс
- Там, где говорилось что ищем поддержку - был непонятный переход, то ли поддержку должен найти аудитор, то ли всё-таки аудируемый (чтобы потом изменяться)
- На одном слайде написано (и быстро озвучено) - "посчитать ROI". На самом деле по моему скромному - на тему как неправильно посчитать ROI - можно не то что доклад, а целую конференцию созвать. Уже давно замечено, что тестирование не приносит напрямую денег (за редким исключением), а является частью, хотя и важной, процесса который эти деньги приносит. Поэтому считать ROI для тестирования во всех смыслах занятие неблагодарное. Рекомендуется к прочтению рассказ Никиты Макарова
- В примерах были рассуждения "автоматизация находит баги", "если автоматизацию отключить - не будут находиться баги". По моему опыту модель не полная, а очень упрощенная. Большое количество багов находится при автоматизации, но не ежедневным тестом, а самим автоматизатором, который более тесно общается с приложением в некоторых точечных местах. Поэтому баги найденный автоматизатором Сидоровым - это (на практике) часто не столько баги найденные его автотестами.
- Во всех примерах на мой взгляд была перепутан Priority и Severity. Priority важен скорее для программистов и мало что говорит о процессе тестирования. Вы знаете, где можно послушать короткий доклад на эту теме 🙂 В пример 1 строку none безусловно стоило убрать, чтобы не путать, она в примере не важна. Впрочем для понимания примеров разницу между Priority и Severity было знать необязательно.
- Совет, про то, что "Rejected <=10%" на слайде как раз выбился из того, что продвигал Андрей - не полагайтесь на циферки, а старайтесь разобраться почему так произошло. Впрочем на это тоже уже указали из зала вопросом.
Технические вопросы:
- Тут сложно ругать Андрея, он действительно старался повторять ответы зала, когда они шли без микрофона и это часто удавалось. Но несколько раз не удалось и на записи в этот раз не осталось.
- Очепятки и ошибки на слайдах - было очень хорошо! Я нашел только неправильный заголовок к примеру 5, и возможно, непонятную зеленую стрелочку на слайде 21, почему из анализа к гипотезе?
- Слайды были тоже хорошо оформлены, может быть комикс на 4-ом был со слишком мелким текстом
Напоследок, отмечу те места, которые понравились:
- Audit 1.0 и Audit 2.0 - хорошая метафора, хорошие сравнения, да согласен абсолютно
- Упоминание различий внешнего и внутреннего аудитов
- Практически не отсылал к TMMI и прочим сферическим стандартам в вакууме, это я тоже очень поддерживаю
- Неоднократно упоминал, что важен весь процесс (я понимаю всё же разработки?)
- Давал хорошие интересные примеры, про то что цифры не дают полной информации без знания других фактов
Вот и всё, напоминаю, что линч-пакеты происходят только по просьбе и с согласия докладчиков. Пишите мне, если хотите критического анализа своего доклада!