¬аше окно в мир —јѕ–
 
Ќовости —татьи јвторы —обыти€ ¬акансии Ёнциклопеди€ –екламодател€м
—татьи

9 июл€ 2020

јльфа-тестирование  ќћѕј—-3D глазами разработчика

¬ этом году мы провели пользовательское альфа-тестирование  ќћѕј—-3D уже в третий раз. »нженеры приезжают в выходной день в наш коломенский ÷ентр разработки из разных уголков –оссии, чтобы встретитьс€ лицом к лицу с новой версией продукта и ее разработчиками. Ёта стать€ о том, как и зачем мы начали привлекать к альфа-тестам реальных пользователей системы. „то и как тестируем, какие ошибки принимаем, в чем заключаетс€ методика напарничества и какими качествами обладает идеальный альфа-тестер. –ассказывает руководитель отдела аналитики  ќћѕј—-3D ¬италий Ѕулгаков.
Ѕулгаков

јльфа-тестирование  ќћѕј—-3D v19

Ђјльфаї, которую построил  ќћѕј—

¬ы наверн€ка слышали про тестировани€ в индустрии компьютерных игр. ј в инженерном ѕќ? ƒумаю, вр€д ли. Ёто неудивительно, потому что рынок инженерного ѕќ довольно закрытый, как и наши заказчики.  ак вообще тестируют программные продукты? ≈сть UX-тесты (отчасти этим мы и занимаемс€ на альфа- и бета-тестах). ≈сть ј/¬-тестирование, но мы не используем этот метод в чистом виде, так как не предлагаем пользовател€м несколько разных новых  ќћѕј—ов. “естеры оценивают новую версию, сравнива€ ее с той, которую они используют в профессиональной де€тельности.

≈ще недавно видел пример классического альфа-тестировани€ на канале ЂЌаукаї в программе ЂЅольшой скачокї. –ечь шла о бионических протезах и их первых испытател€х. ”частники берутс€ тестировать протезы, полностью замен€ющие руку или часть ноги. Ёто наверное не очень при€тно, но люди, которые об этом рассказывают, излучают оптимизм. Ёти разработки уже на альфа-стадии позвол€ют ощутить неверо€тное. „еловек сам пробует зав€зывать шнурки, ощущает силу сжимани€ пальцев, которых у него нет, Ц благодар€ сенсорам тактильные ощущени€ возвращаютс€ в нервную систему.

¬сЄ это к тому, что альфа- и бета-тестирование может быть организовано по-разному. ” кого-то вообще нет Ђальфыї, и это никак не сказываетс€ на качестве итоговой версии продукта. ” нас в ј— ќЌ альфа-тестирование Ц это выкатка, как правило, еще не завершенного продукта на обзор ограниченного, скажем так, привилегированного круга пользователей. ѕоэтому мы называем Ђальфуї закрытым тестированием. ѕриглашенные эксперты оценивают основные задумки и дают разработчикам реакцию.

јльфа-тестирование  ќћѕј—-3D

ѕервое полноценное пользовательское альфа-тестирование  ќћѕј—-3D мы провели в 2017 году, перед выходом 17-й версии. ќценивали всего один аспект Ц интерфейс, потому что тогда он кардинально изменилс€. “акие преобразовани€ потребовали многоэтапной оценки, в том числе первичного тестировани€, при котором реальные пользователи смогли бы увидеть и попробовать новый интерфейс. ‘актически тогда было три разных альфа-теста. ћы собрали несколько групп (реальных пользователей, представителей нашего маркетинга, сбытовых структур) и стали проводить разные эксперименты, один из них Ц выполнение одинаковых, заранее подготовленных упражнений.

ѕоскольку альфа-тестирование проводилось задолго до выпуска версии, у нас была возможность включить в финальный релиз большое количество изменений, вдохновленных приглашенными экспертами. –езультаты тестов не вы€вили необходимости кардинальных изменений интерфейса и логики работы, задуманных дизайнером и аналитиками. Ќо всЄ равно после тестировани€ мы внесли много изменений. Ќапример вернули убранные режимные кнопки в правом углу, которые отвечают за выход из эскиза. »значально дизайнер интерфейса сказал, что их не будет. Ќо тестеры всех потоков убедили, что такого инструмента не хватает.

ќтмечу, что альфа-верси€ 17-го  ќћѕј—а не была полностью стабильной. ’орошо, если программа работала стабильно в большинстве сценариев, большего тогда не требовалось. Ёто был продукт дл€ проверки краеугольных решений.

јльфа-тестировани€ 18-й и 19-й версий уже были другими. ћы представили стабилизированный продукт. ¬се решени€ были практически в законченном виде, и времени до выпуска финальной версии было не так много, но все равно мы могли внести некоторые изменени€ разной степени значимости.

јльфа-тестирование  ќћѕј—-3D

«ачем вообще проводить пользовательскую Ђальфуї, и чем она отличаетс€ от беты

ƒо по€влени€ Ђальфыї мы проводили только бета-тестирование Ц выкладывали версию на публичных ресурсах. Ќекоторые компании провод€т альфа-тесты в таком дистанционном формате, но не публично: вот есть преданные пользователи какой-то игры, которые обещают, что никому никогда не передадут тестовый дистрибутив (признавайтесь Ц передавали хоть раз?). »м дают ссылку на скачивание, они пытаютс€ пройти пару уровней. Ќо при таком сценарии тер€етс€ возможность живого наблюдени€ разработчика за пользователем. ¬ этом варианте Ђальфаї Ц всего лишь еще одна ступень на этапе стабилизации продукта.

Ќа нашем альфа-тестировании мы непосредственно наблюдаем за тем, что делают пользователи. „ерез ServiceDESK письма или отзывы могут не передать того, что мы увидим на тестах воочию. Ќапример, € смотрю на одного из тестеров Ц он в какой-то задумчивости. ќн, скорее всего, решит возникшую проблему, но вр€д ли напишет потом, почему задумалс€ в тот конкретный момент. ј на альфа-тестировании € подхожу Ц и мы начинаем разбиратьс€. ќказалось, что ему т€жело найти что-то в настройках, и € понимаю, что это реальна€ эргономическа€ проблема.

—мысл в непосредственном контакте, наблюдении своими глазами, подталкивании пользователей к воспоминани€м и мыслительному процессу Ц скорее всего, они не сгенерировали бы столько идей и предложений, кейсов самосто€тельно.

ѕро методику напарничества

—уть в том, что за каждым пользователем закрепл€етс€ аналитик от команды разработки, который отслеживает его действи€ и реакции в режиме реального времени, записывает все сложные моменты при взаимодействии с системой. ћы по очереди запускаем заранее подготовленные сценарии, смотрим за тем, что делают тестеры, затем обсуждаем Ц чаще всего в режиме очень оживленной дискуссии.

ћетодика родилась, когда мы готовились к тестированию 17-й версии. Ќам было важно, чтобы пользователи получили опыт взаимодействи€ с новым интерфейсом, а мы бы могли оценить этот опыт.

јльфа-тестирование  ќћѕј—-3D

¬ итоге по€вилс€ такой алгоритм:

  1. ѕользователи тестируют  ќћѕј— по предложенному нами сценарию, чтобы добитьс€ одинакового результата путем выполнени€ примерно одинаковых действий.
  2. Ќаблюдатели (аналитики, тестировщики ј— ќЌ) фиксируют затруднени€ и проблемы.
Ёто и есть методика напарничества, всЄ просто.

„то и как тестируем

“естирование каждой версии проходит по разным сценари€м. ƒл€ v17 мы делали инструментальные замеры: количество кликов, пробег мышки. Ёто было важно дл€ оценки нового интерфейса. Ќа тестировании v18 открывали сборки в старой и новой верси€х,чтобы визуально оценить разницу в быстродействии систем. ¬ этом году выдали на суд пользователей новую функциональность, котора€ вошла в 19-ю версию.

ќбычно мы предлагаем свои модели, синтетически созданные под тестирование отдельных сценариев. Ќо об€зательно просим привозить пользователей свои. √лавной новинкой  ќћѕј—-3D v18 было быстродействие, поэтому пользовател€м, конечно, было интересно попробовать всЄ на своих сборках. ќт одного из участников мы услышали: Ђ” мен€ перестроилс€ чертеж, который на моих глазах никогда не перестраивалс€. ќн был создан в 13-й версии, с тех пор никто его не мог перестроитьї.

јльфа-тестирование  ќћѕј—-3D

» еще раз про первое пользовательское альфа-тестирование. ƒл€ него мы подготовили несколько сценариев, которые должны были демонстрировать преимущества интерфейса v17. ¬ том числе предложили пользовател€м сделать сравнительные Ђзабегиї между V16 и v17, чтобы проверить одни и те же действи€ в разных верси€х. —начала тестеры говорили: Ђ¬ 17-й версии всЄ неудобно делать, что вы мне вообще далиї. Ќо есть инструмент, который измер€ет пробег мыши и количество кликов, мы и замерили. ѕользователь считает, что сделает действие в V16 быстрее, потом смотрит на цифры и говорит: ЂЌе верю, давай еще раз переделаем!ї ƒелали еще раз. ѕолучалось либо быстрее, либо, как минимум, не хуже. » только тогда мы сдвигались с мертвой точки.

≈ще во врем€ тестировани€ 17-й версии было важно пройти несколько этапов моделировани€: создать эскиз, выполнить разные операции, как можно шире охватить Ђдеревь€ї.  аждый сценарий готовит аналитик. ќбычно тот, кто проектирует определенную функциональность, подбирает и соответствующий тестовый пример. ѕри прохождении сценари€ мы не оцениваем Ђшаг влево, шаг вправої как провокацию . Ёто, наоборот, приветствуетс€. Ћучше пусть что-то случитс€ здесь, мы это заметим и исправим до релиза.

 акие ошибки принимаютс€

 воты на количество ошибок нет, но мы делим их на группы и рассматриваем в зависимости от степени важности.
1.  ритические ошибки
ѕроблемы, при которых пользователь никаким способом не может получить необходимый результат.  онечно, если возможность достижени€ такого результата нами за€влена. јварийные завершени€ работы программы относ€тс€ к этой же группе.

≈сли пользователь привез модель, а она у нас Ђокривелаї Ц мы ее изучим и поправим ошибки, их тоже можно отнести к критическим.

2. Ќеудобства
Ќапример, кнопка не в том месте или недостаточно информативное сообщение. Ёто не стоп-проблема, но она может быть важной. “акие неудобства мы ранжируем, оцениваем трудоемкость и исправл€ем всЄ, что можем позволить себе исправить с учЄтом ресурсов и времени, которыми мы располагаем.
3. ѕредложени€
“акие предложени€ пользователи обычно фиксируют в ServiceDesk или привоз€т на семинары и форумы, которые проводит ј— ќЌ. ћы их соотносим с имеющимис€ планами, оп€ть же оцениваем трудоемкость. Ёти изменени€ уже относ€тс€ не к исправлению ошибок, а к планированию версий или крупных апдейтов.
јльфа-тестирование  ќћѕј—-3D

»деальный альфа-тестер

¬ первую очередь, идеальное альфа-тестирование не состоитс€ без грамотного альфа-тестера. „то это за человек? јльфа-тестер должен быть терпеливым, внимательным и въедливым. ’орошо, если во врем€ тестировани€ он может вслух комментировать ход своих мыслей. Ёто очень полезно, когда на тестировании ты сидишь р€дом, а человек комментирует то, что делает, Ц понимаешь, в каком месте он задумалс€. Ёто человек с Ђвнутренним магнитофономї. ≈сли мы остановились на каком-то месте, то мы можем Ђотмотатьї, и он всЄ повторит. Ёто бывает полезно, если вылезает кака€-то критическа€ ошибка и еЄ нужно воспроизвести.

Ќаши альфа-тестеры обладают большим практическим опытом инженерной работы. “акой опыт есть и у тестировщиков ј— ќЌ, но приезжающие на Ђальфуї специалисты Ц это активные пользователи  ќћѕј—, они смотр€т на систему со своей колокольни. Ёто профи в самых разных отрасл€х: приборостроители, Ђжелез€чникиї, кораблестроители, авиастроители. ≈сли люди с перечисленными качествами собираютс€ вместе, то продуктивность будет на высоте. ≈ще очень полезны творческие инженеры, у которых процесс протекает вне шаблона. »ногда это приводит к Ђслучайномуї нахождению серьезных проблем.

≈сли говорить о самом тестировании Ц идеальным считаетс€ то, которое проводитс€ своевременно.  огда есть возможность качественно отработать обратную св€зь и внести изменени€. ј еще, если тестеры за€вл€ют: Ђƒа, это то, что мы хотелиї. Ёто особенно важно и при€тно. Ќам, кстати, говор€т не только при€тные вещи. я понимаю, что это часть работы, и не принимаю как что-то личное.

—амое классное, когда € вижу в глазах пользователей интерес. ¬се они зарабатывают себе на жизнь с помощью  ќћѕј—, они создают вещи, которые летают, езд€т, плавают...

¬ прошлом работал конструктором и, посеща€ экспериментальный цех, иногда испытывал потр€сение. “ам создают автомобиль, которого недавно еще не было: ты видишь железки, которые только недавно чертил, Ц а они вот уже, Ђживыеї сто€т. ” нас в ј— ќЌ то же самое, только в увеличенном масштабе. ћы создаем не просто программу, а инструмент. — его помощью люди, которых € вижу, в частности, на альфа-тестировании, создают реально существующие вокруг нас вещи. » им это интересно, они готовы делитьс€ своими наработками и опытом с нами, общатьс€. ќни не пытаютс€ что-то приукрасить. ƒаже если тестеры говор€т вещи, которые можно восприн€ть как обидные, они заинтересованы не в том, чтобы кого-то уколоть, а в том, чтобы сделать свою работу продуктивнее Ц через донесение до нас своей конструкторской Ђболиї.

¬ общем, самое интересное в альфа-тестировании Ц люди.  огда видишь, какие вещи они создают в  ќћѕј—, Ц получаешь драйв и силы дл€ работы.


„итайте также:


¬акансии:

јктуальное обсуждение

RSS-лента комментариев

ƒавид Ћевин
ƒавид Ћевин
ќт редактора: √лавное отличие человека от животного в том, что он хочет знать
ѕроект ЂЌародное —јѕ–-интервьюї

—лучайна€ стать€:

’айп вокруг цифровых двойников — ќлег Ўиловицкий (30 августа 2020)
isicad Top 10

—амые попул€рные материалы

   ‘орумы isicad:

isicad-2010 isicad-2008
isicad-2006 isicad-2004

ќ проекте

ѕриглашаем публиковать на сайте isicad.ru новости и пресс-релизы о новых решени€х и продуктах, о проводимых меропри€ти€х и другую информацию. јдрес дл€ корреспонденции - info@isicad.ru

ѕроект isicad нацелен на

  • укрепление контактов между разработчиками, поставщиками и потребител€ми промышленных решений в област€х PLM и ERP...
ѕодробнее

»нформаци€ дл€ рекламодателей


¬се права защищены. © 2004-2020 √руппа компаний «Ћ≈ƒј—»

ѕерепечатка материалов сайта допускаетс€ с согласи€ редакции, ссылка на isicad.ru об€зательна.
¬ы можете обратитьс€ к нам по адресу info@isicad.ru.