Об авторе

Поиск по сайту:

GUI.ruПерепроектируйте это немедленно!

Проектировать взаимодействие это вам не орешки щелкать

Алексей Копылов
31.08.2008Алексей Копылов

Комментариев:

18

Рольф Молик: интервью для издания UPA Voice

Рольф МоликПредставляю вашему вниманию мой перевод интервью с Рольфом Моликом — известным специалистом в области оценки качества пользовательских интерфейсов, опубликованного в издании UPA Voice.

Рольф Молик чрезвычайно любопытен. Он говорит, что именно любопытство привело к идее CUE – это английская аббревиатура сравнительной юзабилити-оценки (Comparative Usability Evaluation). В этом довольно известном исследовании рассматриваются варианты проведения юзабилити-тестирований и экспертных оценок и вопросы воспроизводимости их результатов. Однако деятельность Рольфа не ограничивается только CUE.

Ранние годы

Рольф всегда был любопытным. Несмотря на свое техническое образование (он имеет диплом в области инженерии ПО), когда Рольф познакомился с юзабилити в 80х годах, то сразу понял, что то, чем он хочет заняться. Как и ряд других пионеров-практиков, он вспоминает, что занимался фактически тем же самым, еще не зная, что это так называется: «Я просто разговаривал с пользователями. О юзабилити-тестировании тогда никто не знал».

Объединение с Якобом Нильсеном было плодотворным. Они оба работали над проектом для Датского правительства. В результате этого союза родится курс обучения, книга и длительная дружба.

Среди тех, с кем сотрудничал Рольф в те годы, были Клэйтон Льюис, Джеф Раскин, Бен Шнайдерман и Патрисия Райт. Рольф тогда был заядлым посетителем всех конференций, особенно когда «ИТ индустрия была настолько маленькой, что одна конференция могла покрыть все темы». Некоторых докладчиков Рольф затем привозил в Данию.

После долголетнего сотрудничества с рядом различных компаний, Рольф «осмелился стать независимым специалистом». В 1997 году он основал компанию Dialog Design. Кроме «желания полностью сосредоточиться на юзабилити», Рольф также был воодушевлен возможностью иметь свободное время и независимость, которые может дать владение собственной компанией. И это, а также желание удовлетворить собственное любопытство, привело его к первой сравнительной юзабилити оценке (CUE).

CUE

Рольф отмечает: «Масса людей говорили тогда о том, каким удивительным методом является юзабилити-тестирование. Я склонен был согласиться с ними, так как сам наблюдал, каким мощным политическим воздействием оно обладает. Но любопытство подтолкнуло меня к следующему вопросу: Насколько результаты тестирования воспроизводимы?».

Он поделился своими мыслями с участниками списка рассылки и получил первых четырех специалистов-добровольцев, которые помогли запустить первый этап CUE. В этом исследовании специалисты взяли Windows-приложение и каждый из них тестировал его так, как считал нужным, стараясь найти значимые юзабилити-проблемы.

Результаты были представлены на конференции UPA 1998. Несмотря на то, что «все нашли это интересным», со стороны многих специалистов возникло некоторое сопротивление, которое с того времени стало для Рольфа привычным. «Люди говорили, что это просто не может быть правдой. Не может быть такого существенного расхождения в результатах»,— рассказывает Рольф.

Но расхождения были. Во втором исследовании Рольф обнаружил, что из всех проблем, которые нашли девять независимых команд, проводя юзабилити-тестирование почты Hotmail, 75% не повторялось. Примерно такой же результат был и в первом исследовании.

В третьем исследовании был применен иной подход. Вместо юзабилити-тестирования двенадцать команд сделали экспертную оценку сайта по аренде автомобилей (avis.com). Несмотря на то, что «результаты третьего исследования нигде не были подробно опубликованы», оно было использовано как стартовая площадка для четвертого.

Четвертое исследование (самое масштабное из всех) было проведено в виде семинара на конференции CHI 2003. Всего было 17 команд, половина из которых проводила юзабилити-тестирование, а другая половина — экспертную оценку. Рольф говорит: «Одной из наших целей было проверить, есть ли разница между этими методами? Тестирование гораздо дороже. Но действительно ли оно дает лучший результат — более качественный, более надежный и более воспроизводимый? Мы обнаружили, что это не так».

Рольф продолжает: «Практически было невозможно определить разницу в результатах работы команд. Было только одно различие – команды, применявшие экспертную оценку, были чуть более производительны. Они тратили меньше ресурсов. В остальном отличий практически не было».

CUE-5 был проведен в рамках конференции User Interface Conference в 2005 году. 13 команд исследовало специальное средство IKEA, позволяющее пользователям самостоятельно конфигурировать мебель. На этот раз не все команды состояли из экспертов (на которых Рольф опирался в прошлых исследованиях). Тем не менее, «за исключением некоторых, кто просто не успел вовремя подготовить тщательный отчет, некоторые непрофессионалы сработали также хорошо, как и эксперты из четвертого исследования».

Последнее, шестое исследование было также выполнено в рамках UIC конференции в октябре 2006 года. 13 команд исследовали еще один сайт по аренде автомобилей (enterprise.com). Рольф затем обсуждал результаты с участниками в рамках семинара, проводившегося на конференции.

Превентивный удар

Без сомнения, наиболее важным открытием данных исследований является то, что имеется явное расхождение в результатах юзабилити-оценок. Рольф поясняет это, оперируя простыми числами: «Если нетривиальный веб-сайт содержит 500 проблем, то юзабилити-тест, обычно обнаруживает около 40 более-менее случайных проблем, и неудивительно, что каждый раз вы получаете новые результаты».

Каков же выход? Как ни странно, Рольф не видит смысла в увеличении количества пользователей или других методических изменениях. «Решение более радикально»,— твердо заявляет он: «Оно состоит в предотвращении проблем. Большинство проблем юзабилити не должны были появиться на веб-сайте с самого начала».

Но каким образом предотвратить ошибки? «Разработчики должны владеть базовыми эвристиками вроде тех, что мы с Якобом Нильсеном пропагандируем уже 30 лет»,— рекомендует Рольф. На самом деле, хотя многие связывают эти знаменитые эвристики с именем Якоба Нильсена, впервые они были опубликованы в их совместном труде на конференции CHI 90.

Юзабилити-тестирование

Так для чего же нужно тестирование? «Я все равно считаю, что юзабилити–тестирование — это очень важный метод, но не для обнаружения проблем юзабилити. Гораздо важнее, чтобы люди осознавали необходимость предотвращения юзабилити проблем. Юзабилити-тестирование — это очень и очень важный политический инструмент. Это абсолютно уникальный метод для того, чтобы разработчики осознали, что проблемы в их продукте существуют. Ваш ребенок отталкивающе безобразный, и надо что-то предпринять. Но метод слишком дорог для того, чтобы выловить абсолютно все юзабилити проблемы или даже чтобы выловить наиболее серьезные из них».

Рольф отмечает другую потенциальную проблему тестирования. Слишком часто разработчики не внедряют те рекомендации, которые были с ними оговорены. И тут снова сработало любопытство Рольфа: «Почему часто игнорируется то, что юзабилити специалисты сказали и продемонстрировали? Сразу после тестирований все полны энтузиазма, но потом они [разработчики] переключаются на иные вещи, и результаты тестирования оказываются заброшенными. Ведь очень важно не забывать о том, что проблемы юзабилити не исправляются сами собой».

У Рольфа есть догадка о причине этой проблемы — ее стоит искать в отчетах по тестированию. «Временами я бываю шокирован тем, что вижу в профессиональных отчетах о тестировании»,— сообщает по секрету Рольф,— «Они занимаются юзабилити, но юзабилити их отчетов совершенно не пригодно, что, как мне кажется, совсем не хорошо».

Рольф советует: «Делайте свои презентации максимально доходчивыми, так чтобы у разработчиков не было причин для их игнорирования». В частности Рольф рекомендует включать в отчет список проблем, отсортированный по серьезности (от 30 до 40 пунктов), а также включать в отчет одно-страничный вывод для лиц, принимающих решения («Я видел вывод из 10 страниц, что, на мой взгляд, нелепо»), а также не забывать писать о позитивных результатах («Этим вы покажете, что не только критикуете, но и хвалите»).

Будущее

Рольф переходит к главной проблеме: «Наша профессия страдает от того, что есть некоторое количество людей, продающих ее под видом волшебства. Качество — вот очень важный параметр в нашей профессии». В качестве способов повышения качества Рольф называет «широкие знания, опыт и склонность к занятиям в данной предметной области. Однако еще раз повторю, что опыт очень важен».

Рольф продолжает: «Сегодня юзабилити-профессионалы должны позиционировать себя в качестве специалистов, владеющих знаниями. Наша работа весьма специфична. Необходимо тратить много времени на то, чтобы не отстать от развития отрасли в целом. Нам необходимо развивать в себе определенные качества и постоянно их совершенствовать». Вероятно, особое любопытство здесь тоже не помешает.

Автор статьи: Cliff Anderson

Оригинал статьи: Thumbnail: Rolf Molich

Комментарии (18)

RSS feed for comments on this post | TrackBack URI

knop01.09.2008 12:42
1

Очень интересная статья и взгляд на проблему.

3

Да, спасибо, я уже поправил ссылку, она правильная, но видимо в RSS агрегаторах у людей она осталась прежней (надо заново вытягивать сообщение).

tinman32101.09.2008 13:13
4

ага, прошу прощения, после обновления появилась нормальная

kuschilop01.09.2008 13:15
5

Ну наконец-то! Я читал о его исследованиях раньше, но не знал что он проводил их много и с такой последовательностью. Однако мне кажется, что подобные выводы можно было сделать и так. Ведь ясно, что в общем случае ю-тестирование — это тычок пальцем в небо. Если сравнить его с традиционными психологическими экспериментами, то сразу делается очевидно, что ничего научного в процессе нет — слишком много переменных факторов, которые не измерить, но которые оказывают влияние на результаты. поэтому результаты никуда не годятся.

Молич говорит о “политическом” значении ю-тестирования, но мне кажется, оно хорошо работает так же при проверке определенных небольших частей интерфейса. Если в ходе эксперимента производить проверку не “общего удобства”, а ряда конкретных узких вопросов, то все получается хорошо. Например, “замечают ли пользователи эту кнопку?”, “понятно ли им на этом экране, что делать дальше”, и т.п. Понятно, что для такой постановки вопросов нужно хорошо понимать взаимодействие пользователя с компьютером.

Jurij Burkanov01.09.2008 13:59
6

Спасибо, очень интересно!

7

Здорово. Про тестирования все один-в-один, что мне приходило в голову в свое время. Приятно :)

@kuschilop: спорно про тычок пальцем в небо. качественно проведенное ю-тестирование — это вполне нормальный эксперимент.

Геннадий Драгун01.09.2008 17:52
8

Спасибо за перевод, как раз где-то месяц назад несколько раз перечитывал оригинал. С тех пор она висит у меня отткытой на закладках браузера. Ну, вот, теперь и перевод будет висеть. :) Буду заглядывать время от времени.

Алексей, откуда данные про произношение фамилии автора? Для себя уже много лет называл его Молих или Молич.

9

@Геннадий Драгун
Он сам сказал, как правильно произносить его фамилию :)

Геннадий Драгун01.09.2008 18:15
10

Где тут смайл, означающий: “жму вашу руку”?

kuschilop01.09.2008 22:05
11

@Дмитрий Павлов: качественно провести тестирование на предмет выявления общих проблем интерфейса, думаю, невозможно — слишком сложное дело, слишком много факторов которые невозможно учесть.

12

извините, но это аргумент из серии “это невозможно просто потому, что это невозможно”.
идеальный эксперимент — модель, далекая от реальности. идеальных экспериментов не бывает.
и юзабилити-тестирование при должной подготовке и грамотном проведении лишено многих артефактов.

и я готов спорить, что факторы учесть невозможно. лениво или часто нет необходимости — может быть, но не невозможно.

kuschilop04.09.2008 02:35
13

Дмитрий, но ведь Молик как раз и обращался к опытным тестировщикам. И наглядно доказал, что тесты немного необъективны. Разве этого одного мало?

По поводу факторов, то давайте посмотрим. Приходит человек на тестирование. Что у него в голове? Какие похожие продукты он знает? Не болит ли у него живот? Какое у него сегодня настроение? Какая ассоциация у него возникла, когда он посмотрел на эту кнопку? и вот, он не может выполнить часть задания. Что случилось? Думаете, он сможет вам об этом четко и ясно рассказать?

Взаимодействуя с любым интерактивным продуктом, человек в своей голове прокручивает десятки процессов, многие из них — полу- и бессознательно. Плюс у него еще существует контекст его жизни. Текущие дела, общие проблемы, и т.д. Как все это учитывать?

14

Спасибо, Валентин, я с этим как-то и не спорил даже.

Я спорил с другим. Меня совершенно сразило наповал сравнение с “традиционными психологическими экспериментами”. Вы вот привели ряд факторов. А как от них, по-вашему, избавиться в “традиционном”, “научном” эксперименте? “Контекст жизни” есть всегда. Я и говорю, что не бывает идеальных экспериментов. В любом есть вмешательства разного рода. Просто их надо уметь распознавать и вытаскивать. Некоторые из них не будут попросту иметь значения в данной конкретной ситуации. А некоторые — наоборот. Контексты использования многих интерактивных продуктов достаточно широки. Вот, Вы говорите, например, при тестировании у человека болит живот. Если боль в животе мешает человеку пользоваться продуктом, это момент, над которым стоит явно задуматься.

Ю-тестирование как самостоятельный инструмент, действительно, имеет мало ценности. Я совершенно согласен, что это во многом, больше инструмент политического воздействия. Ю-тестирование без экспертной оценки на том или ином этапе, по-моему, вообще не работает.

Плюс, я искренне считаю, что от того, как проводится ю-тестирование, зависит очень многое. Оно как метод по своей сути — классический лабораторный эксперимент. Другое дело, что, действительно, редко все делается “по науке”. Но это особенности проведения, а не метода. И, мне кажется, проблему надо искать прежде в форме проведения, а не в сути метода.

Геннадий Драгун04.09.2008 18:51
15

Дмитрий, Валентин,
Мне кажется, мы не рассматриваем такой фактор, как личность тестировщика, того, кто выбирает задания для теста, используемые методы, проводит тестирование и анализирует результаты. Тестировщик - основной фактор риска и субъективности при ю-тестировании.

То, что тестирование чаще проводится не “по науке”, такая же проблема, как и использование Ad Hoc персонажей. Методы популяризируют, в упрощенном, урезанном варианте.

Snake05.09.2008 08:09
16

Спасибо за перевод.

Сафаров Эльдар06.09.2008 21:34
17

Спасибо огромное за перевод.
Очень понравилась фраза
«Они занимаются юзабилити, но юзабилити их отчетов совершенно не пригодно, что, как мне кажется, совсем не хорошо».
Это мне наполнило историю рассказанную А.Лебедевым, когда академия по русскому языку прислала отчет о том, как правильно писать слово “интернет” на 3 листах, в тексте которого было более 10 орфографических и пунктуационных ошибок.

А мысль про, что ошибки необходимо исправлять на ранних стадиях разработки по-моему уже становится или стала как аксиома, только вот не всегда ей получается следовать. Как раз о том, что тестировщика, который отвечает за качество конечного продукта, необходимо подключать в разработке ПО как можно раньше написана книга Р.Калбертсон. “Быстрое тестирование”.

18

[…] В связи с предстоящим юзабилити-марафоном я задал ряд вопросов Рольфу Молику — признанному специалисту в области оценки пользовательских интерфейсов. Я уже публиковал перевод другого интервью с Рольфом, но думаю, что эти тексты дополняют друг друга. […]

Оставить комментарий