13.7. Компьютерное тестирование

7 этапов эволюции тестирования в компании

13.7. Компьютерное тестирование

Я выделил 7 ключевых стадий эволюции тестирования, чтобы проиллюстрировать, как меняются подходы к обеспечению качества в компаниях. В ходе чтения статьи вы сможете проследить эволюцию тестирования, определить свой текущий этап и узнать, что стоит предпринять для улучшения процесса и качества тестирования.

Статья изначально писалась для журнала CIS, но думаю будет интересна и пользователям Хабра. Итак, стадии.

  1. Нет тестировщика. Его функции выполняет сам разработчик или менеджер.
  2. Тестировщики появляются, но тестируют проекты только на стадии завершения.
  3. Тестировщики проверяют все задачи разработчиков на предмет соответствия результата изначальной постановке задачи.
  4. Тестировщики занимаются тест-дизайном.
  5. Внедряется система управления тестированием.
  6. Появляется автоматизация тестирования.
  7. Усложняется иерархия, появляются новые роли в команде тестирования.

Теперь о каждой стадии подробнее.

Стадия 1. Тестирование выполняет разработчик и\или менеджер

«Сделал — проверь за собой» — самый простой, «инстинктивный» подход к тестированию. Обычное дело в небольших компаниях. Когда нет возможности нанять профессионального тестировщика или нет понимания необходимости тестирования, этот фронт работ выполняется своими силами. Тестировать самому — самый нерациональный и проблемный подход. Вот почему.

  • Сам разработчик тестирует только те сценарии, которые реализовал и с теми данными, которые использовал в процессе разработки. При таком тестировании «в вакууме» альтернативные сценарии опускаются. В итоге жизнь вносит коррективы и у конечных пользователей как правило всплывают ошибки.
  • Если тестирует менеджер, то он делает это в качестве дополнительной нагрузки, не владея экспертизой и не имея времени и моральных сил плотно заниматься тестированием. Так можно обнаружить грубые ошибки, но многие нюансы упускаются из виду.
  • Субъективное отношение к проекту, желание побыстрее его сдать ведут к соблазну закрыть глаза на ряд казалось бы «несущественных» проблем.

Крайний случай, когда тестированием в компании вообще не занимаются, а репорт об ошибках приносит… заказчик. Он получил релиз, все уже на боевой среде, разработчик отчитался о запуске.

Клиент открывает проект и видит какую-то банальную ошибку базы данных или ошибку сервера. Потом еще и еще ошибки. Клиент становится тестировщиком за свои же деньги.

Стадия 2. Тестировщик проверяет проект в самом конце

Проверить весь проект на предрелизной стадии — классический метод при работе по модели Waterfall. Проект разделяется на глобальные этапы (иногда весь проект это один этап). На каждом этапе сначала делается софт, а уже потом тестируется. Тестирование уже есть, и это хорошо. Но проблемы тоже есть, и совершенно конкретные.

Во-первых, когда мы тестируем в самом конце, серьезные ошибки на уровне архитектуры будут найдены слишком поздно. Потребуется переделывать большую часть, а то и весь проект. Это никому не выгодно. Во-вторых, при отсутствии документации мы можем провести только поверхностное тестирование методом свободного поиска. Это сразу выключает часть альтернативных сценариев.

Бывает, что документация есть, но в процессе задачи видоизменяются и готовый продукт отличается от картинки на бумаге. Опять же возникают сложности в тестировании и в разборе баг-репортов. В третьих, практически все время проекта обычно закладывается на разработку как приоритетную задачу. Оставляют немного времени на проверку.

А вот на исправление ошибок времени-то и нет, в результате порой внушительные доработки тормозят проект и срывают сроки. При раздельном тестировании этапов возникает другая проблема. Между этапами тестировщик забывает детали проекта, и ему приходится каждый раз вникать в происходящее. Это тоже трата рабочих часов.

В общем, проверять проект в самом конце логично и вроде бы правильно, но этот метод не учитывает риск обнаружения глобальных ошибок. Поэтому тестирование эволюционирует дальше.

Стадия 3. Все задачи проверяются на соответствие результата изначальной задаче

Далее компания понимает, что лучше отлавливать ошибки по мере их накопления. Стало быть, переключаемся с Waterfall модели на методологию Agile. В этот момент тестировщиков более тесно интегрируют в процесс разработки. Все задачи начинают последовательно многократно тестироваться: отдельно, в составе релиза, на боевой среде.

На этой стадии задачи проверяются на соответствие заявленным требованиям. Agile помогает работать лучше, но далеко не все тестировщики, и особенно их руководители готовы по-новому относиться к тестированию.

Руководитель ждет от тестировщиков скорости и качества, а понимания необходимости тестовой документации и проведения регрессионного тестирования еще нет. Отсюда типичные проблемы этой ступени эволюции. Тестирование проводится больше интуитивно, чем структурированно. Главенствует принцип «что вижу — то и тестирую».

При каждой итерации делаются разные проверки и в разной последовательности. В результате ошибку можно как минимум пропустить на одном из этапов тестирования или вообще не увидеть. Альтернативные сценарии и изменения в связанном функционале тоже могут выпасть из поля зрения.

Плюс проблема с регресс-тестированием, которое если и проводится, то бессистемно. По факту тестировщик проверяет то, что сам считает нужным или то, что ему посоветовал проверить разработчик/менеджер.

Стадия 4. Тестировщики занимаются тест-дизайном

На этой стадии на сцену выходит тест-дизайн. Тестировщики начинают осознанно уделять внимание анализу требований. Функционал разбивается на логические блоки, которые покрываются чек-листами или тест-кейсами.

Чек-лист — список проверок, необходимых для тестирования функционала. Чек-листы более распространены, так как их проще поддерживать в актуальном состоянии, особенно в рамках большого динамичного проекта.

Тест-кейс — последовательность шагов, которые необходимо пройти для проверки функционала. Описание каждого шага сопровождается указанием на ожидаемое поведение системы.

Появляется полноценная тестовая документация, по которой можно отследить, как проверяется тот или иной функционал. Тестовая документация полезна не только при первичном тестировании, но и в регрессионных тестах.

Всё это и называется тест-дизайном. Можно сказать, что на этой стадии начинается осмысленное профессиональное тестирование. Больше это не просто гора задач, которые нужно проверить, а структурированный процесс по анализу требований, формированию тестовой документации и непосредственному тестированию. В том числе меняется подход к тестовым данным. Данные уже не придумываются спонтанно в процессе, а берутся из заранее подготовленных наборов. Явных минусов на стадии тест-дизайна нет. В целом это уже достойный уровень тестирования. Для потокового производства сайтов или подобных проектов тест-дизайна более чем достаточно. Главное правильно подходить к процессу тестирования: проанализировать продукт, составить документацию и по ней провести тесты.

Стадия 5. Внедряется система управления тестированием

Далее компания дорастает до необходимости использования специализированных систем для хранения тест-кейсов (чек-листов) и выполнения тестовых прогонов.

Такая система позволяет:

  • хранить требования и тест-кейсы;
  • связывать требования с тест-кейсами;
  • анализировать тестовое покрытие;
  • хранить разные версии тест-кейсов;
  • выполнять тестовые прогоны;
  • проводить сравнительный анализ по тестовым прогонам;
  • вести отчетность по тестированию;
  • отслеживать рабочую нагрузку команды для корректировки задач и ресурсов.

Система — это всегда новая ступень эволюции. В нашем случае прежде всего улучшается контроль за процессом тестирования. Мы лучше управляем тестами и получаем новый уровень качества продукта. На поздних стадиях развития проекта такая система помогает всем участникам помнить, как вообще что-то должно работать и как это проверять. Система ускоряет ввод в проект новых участников.

Стадия 6. Автоматизируются регулярные проверки

В процессе длительного развития проектов возникает потребность автоматизировать отдельные проверки. Для этого разработчики и тестировщики пишут автотесты. Разработчики обычно делают unit-тесты, тестировщики — ui-тесты.

Начинают с покрытия автотестами позитивных сценариев использования ключевого функционала: авторизации, регистрации, публикации записей и тому подобное.

Разработанные автотесты включаются в процесс непрерывной интеграции (CI/CD), что позволяет команде узнавать об ошибках непосредственно в момент коммита.

Автотесты значительно сокращают расходы на регрессионное тестирование и повышают качество конечного продукта. Но, чтобы их делать, нужен определенный уровень тестировщика. Также стоит знать, что автотесты не имеет смысла делать на ранних стадиях проекта. Система быстро меняется, поэтому во избежание фантомных ошибок нужно менять и автотесты, что занимает время.

Стадия 7. Усложняется иерархия, появляются новые роли

Мы подошли к высшей стадии эволюции, когда в отделе тестирования значительно усложняется иерархия и появляются узкие специалисты: тест-менеджер, тест-лид, тест-аналитик, тест-дизайнер и так далее.

Команда растет, задачи усложняются. Например, тест-менеджер больше всех знает о продукте и занимается организацией тестирования на более высоком уровне.

Он чаще и более тесно коммуницирует с заказчиками и разработкой, нежели с командой тестирования.

Тест-лид организует тестирование на проекте и распределяет задачи внутри команды. Тест-аналитик занимается аналитикой требований, их декомпозицией и приоритезацией, готовит материал для тест-дизайна и последующего тестирования. А тест-дизайнер трансформирует требования в чек-листы и тест-кейсы.

Новые роли нужны на больших проектах, где работает целая команда тестировщиков. Появление подобных ролей ведет к еще большей структуризации процесса тестирования, без чего невозможна работа над большими и сложными ИТ-проектами.

Выводы

Мы рассмотрели ключевые стадии эволюции тестирования в компании. Осознанное профессиональное тестирование начинается со стадии тест-дизайна. Тест-дизайн дает устойчивое повышение качества продукта. Процесс развития тестирования не всегда линейный.

Вы можете пропускать, объединять, смешивать определенные этапы или сразу выходить на более высокий уровень. Например, у нас в Qualitica есть система управления тестирования, то есть мы на стадии 5. Сейчас практически одновременно у нас появляются узкие специалисты (новые роли, стадия 7) и автоматизация (стадия 6).

Далеко не всем и не всегда нужны система управления тестированием, автотесты и тем более тест-дизайнер. Но, оставаясь на этапе инстинктивного тестирования или ограничиваясь финальными проверками, делать сложные длительные проекты вряд ли получится.

Поэтому желаю вам найти нужную точку в процессе развития тестирования и прийти к ней, чтобы повысить качество тестирования и давать заказчикам продукт высокого качества.

  • тестирование
  • управление тестированием
  • менеджмент качества

Источник: https://habr.com/ru/post/485812/

Статья на тему

13.7. Компьютерное тестирование

Компьютерные тестовые задания

Что такое тест? В переводе с английского — испытание, проба, исследование. Тест — это стандартизированное задание, по результатам которого судят о знаниях, умениях, навыках учащихся.

Метод тестирования широко известен за рубежом. В нашей стране в силу различных причин тесты разного назначения и качества появились не так давно.

Назначение тестов — не только и даже не столько контроль и оценка знаний и практических умений как итоговых результатов, сколько диагностика состояния и проблем работы учащихся с программным материалом на каждом этапе его изучения: выявление возможных затруднений, пробелов, смешения понятий, знания правил, и умения их применять и т.д.

https://www.youtube.com/watch?v=7sEeIb3VA9s

Тесты предоставляют учащимся возможность проявить самостоятельность, индивидуальность, способствуют обучению детей процессуальному самоконтролю

Существуют основные формы тестовых заданий:

1. Задания с выбором одного или нескольких правильных ответов. Среди этих заданий выделяются такие разновидности, как:

1.1. Выбор одного правильного ответа по принципу: один — правильный, все остальные (один, два, три и т.д.) — неправильные.
1.2. Выбор нескольких правильных ответов.
1.3. Выбор одного, наиболее правильного ответа.

2. Задания открытой формы.

Задания сформулированы так, что готового ответа нет; нужно сформулировать и вписать ответ самому, в отведенном для этого месте.

3. Задания на установление соответствия, где элементам одного множества требуется поставить в соответствие элементы другого множества.

4. Задания на установление правильной последовательности (вычислений, действий, шагов, операций, терминов в определениях).

Для компьютерного контроля знаний, осуществляемого в виде тестов, больше всего подходят задания с выбором одного правильного ответа. Среди этих тестов наиболее распространенными в настоящее время являются тесты с возможностью выбора правильного ответа из:

Выбор формы зависит от:

  • цели тестирования;
  • содержания теста;
  • технических возможностей;
  • уровня подготовленности преподавателя в области теории и методики тестового контроля знаний.

Каждая из форм позволяет проверить специфические виды знаний. Проверять с помощью тестов имеет смысл актуальные знания, которые дети должны уметь применять на практике. Проверяются знания, находящиеся в оперативной памяти, то есть, не требующие обращения к справочникам, словарям, картам, таблицам и т.п.

Приведем классификацию видов и уровней знаний, разработанную В. Аванесовым:

1. Знание названий, имен.2. Знание смысла слов, названий и имен. 3. Знание фактов. 4. Знание определений. 5. Сравнительные, сопоставительные знания. 6. Знание противоположностей, противоречий, антонимов и т.п. объектов. 7. Ассоциативные знания. 8.

Классификационные знания. 9. Причинные знания, знание причинно-следственных отношений, знание оснований. 10. Процессуальные, алгоритмические, процедурные знания. 11. Технологические знания. 12. Вероятностные знания. 13. Абстрактные знания.

14.

Методологические знания.

При разработке компьютерного теста очень важно продумать уровень его трудности в целом и отдельных тестовых заданий. Традиционно вопросы располагаются в порядке возрастающей трудности. Больше всего в процентном отношении составляется вопросов средней трудности.

При подборе заданий необходимо ориентироваться на общий уровень подготовленности тестирующихся. Так, например, при прохождении тестирования слабой по подготовленности группы уч-ся, трудные задания теста «не работают», так как ни один учащийся не может на них ответить.

У сильной группы детей не будут «работать» слабые задания и т.п.

Самым лучшим можно считать тест, в котором заложено широкое содержание, и оно охватывает более глубокие уровни знаний.

Разработчики тестов должны придерживаться следующих принципов:

  • Тест должен соответствовать целям тестирования;
  • Нужно определить значимость проверяемых знаний в общей системе проверяемых знаний;
  • Должна быть обеспечена взаимосвязь содержания и формы теста;
  • Тестовые задания должны быть правильными с точки зрения содержания;
  • Должна соблюдаться репрезентативность содержания учебной дисциплины в содержании теста;
  • Тест должен соответствовать уровню современного состояния науки;
  • теста должно быть комплексным и сбалансированным;
  • теста должно быть системным, но, вместе с тем, вариативным.

В начале любого теста дается краткая инструкция по выполнению задания, например: «Выберите правильный ответ…«, «Выберите наиболее правильный ответ…«, «Впечатайте в свободном поле ответ…» и т.п.

Если задания представлены в одной форме, инструкция пишется один раз для всего теста. Если же тест включает различные задания, то перед каждым новым заданием пишется новая инструкция.

Текст задания, как правило, пишется прописными буквами или жирным шрифтом для того, чтобы зрительно сразу же отделить само задание от вариантов ответа.

Какие общие требования предъявляются к заданиям в тестовой форме (по В. Аванесову)?

  • логическая форма высказывания;
  • правильность формы;
  • краткость;
  • наличие определенного места для ответов;
  • правильность расположения элементов задания;
  • одинаковость правил оценки ответов;
  • одинаковость инструкции для всех испытуемых;
  • адекватность инструкции форме и содержанию задания.

Текст заданий (и ответов!) компьютерных тестов необходимо делать кратким и лаконичным.

Краткость обеспечивается тщательным подбором слов, символов, графиков, позволяющих минимумом средств добиваться максимума ясности смысла задания.

Полностью должны исключаться повторы слов, малопонятные, редко употребляемые слова, а также неизвестные учащимся символы, иностранные слова, затрудняющие восприятие смысла.

  • Одно из важных требований при тестировании — наличие заранее разработанных правил выставления баллов. В общем случае применения тестов за правильный ответ в каждом задании дается один балл, за неправильный — ноль. Сумм всех баллов, полученных уч-ся, дает число правильных ответов. Это число ассоциируется с уровнем его знаний и с понятием «тестовый балл испытуемого». Но существуют и другие, более сложные схемы оценивания, например, рейтинговые

Этапы составления теста:

  •    определение цели тестирования  и уровня контроля;  
  •    определение времени тестирования и числа заданий в тесте;
  •    отбор содержания теста (с точки зрения полноты теста и его значимости, необходимо 70% содержания и более);
  • подбор тестовых заданий (открытые, закрытые) с заданными дидактическими характеристиками и формирование фасетов (задания с одинаковыми дидактическими характеристиками);
  •    определение шкалы оценки результатов;
  •    апробация и коррекция теста.

Достоинства и недостатки тестовых заданий.

 Главное достоинство тестовой проверки — в скорости и объективности, а традиционной проверки посредством дидактических материалов — в ее основательности.

Недостатки: если учащийся проставляет только номера ответов, тут учитель не видит характера хода решения — мыслительная деятельность учащегося и результат может быть только вероятностным. Гарантии наличия знаний у учащегося нет.

К недостаткам тестов также можно отнести возможность угадывания. Если, например, тестовое задание содержит только два ответа, один из которых правильный, то половину ответов на такие задания можно угадать.

Осмысление: в чём особенности компьютерного тестирования? Какие виды электронных (компьютерных) тестов  применяют учителя начальных классов?

 Компьютерное тестирование — это эффектное средство контроля знаний учащихся. Компьютерное тестирование помогает, во-первых, разнообразить формы контроля знаний, сделав их более привлекательными для учащихся за счет применения ЭВМ, а во-вторых, более объективно оценить знания учащихся.

Компьютерное тестирование – это один из вариантов использования ПК в начальных классах. Если занятие проводится в кабинете начальных классов, то для выполнения заданий теста ученики выходят к компьютеру поочерёдно.

Обычно на уроке можно опросить таким образом не менее четырёх человек, учитывая, что для тестирования не используется этап объяснения нового материала.

Если занятие проводится в кабинете информатики, то у учителя появляется возможность протестировать всех учащихся одновременно, сократив при этом время опроса.

 Для организации тестирования можно использовать:

1. Готовые программы для учащихся начальных классов (Фраза – русский язык, Математика и конструирование – математика);

2. Тесты, выполненные самостоятельно или другими авторами в программах Excel или PowerPoint на основе алгоритма (Excel) или шаблона (PowerPoint), а также программы MyTest(автор Башлаков А.С., программа распространяется бесплатно http://mytest.klyaksa.net/).

 И в первом, и во втором варианте есть свои недостатки.

Так на диске «Математика и конструирование» отсутствует оценивание в баллах (учитель заранее продумывает нормы оценок в зависимости от количества выполненных заданий и их сложности).

В программе «Фраза» по окончании работы высвечивается табло с указанием количества ошибок и оценкой, но задания неравноценны по сложности. В тестах по шаблону нормы оценок  могут быть завышены (1 ошибка – 3).

Содержательные элементы теста определяются следующим образом. Определяется тема дисциплины и разбивается на разделы.

В каждом разделе определяется тема, а в теме те содержательные элементы, на проверку усвоения которых и будет направлен тест.

Для каждого содержательного элемента определяется то количество тестовых заданий, которое необходимо для проверки усвоения этого элемента учеником. Потом устанавливается сложность и тип этих заданий.

Шкала оценки результатов может варьироваться учителем в зависимости от уровня контроля (входной, текущего, тематического, рубежного, итоговая аттестация), а также использоваться с целью создания положительной мотивации к обучению и реализации дифференцированного подхода.

Базы заданий в тестовых оболочках формируются таким образом, что существует возможность написания различных сценариев одного и того же теста, а также многократное использование одного и того же задания при составлении других тестов (обучающих, тестов, ориентированных на повторение учебного материала, тестов различного уровня контроля).

Таким образом, технология  компьютерного тестирования является неотъемлемой частью образовательного процесса, а также способствуют экономии временного ресурса учителя на этапе педагогической диагностики.

Источник: https://infourok.ru/statya-na-temu-kompyuternoe-testirovanie-2645786.html

Компьютерное тестирование и геймификация: перспективы мониторинга функционального состояния работников в эпоху компьютеризации психодиагностики

13.7. Компьютерное тестирование

Александр Шмелёв, Ирина Лисица, ВЕСТНИК МОСКОВСКОГО УНИВЕРСИТЕТА. СЕРИЯ 14. ПСИХОЛОГИЯ. — 2016. — №4 — С.98-109

Аннотация

В статье рассматриваются инновации в области обучения и оценки персонала, связанные с внедрением процессов геймификации компьютерных средств обучения и оценивания (психодиагностики).

В теоретико- методологической части статьи дается операциональное определение термина «геймификация», а также обсуждаются факторы, препятствующие успешной геймификации, — снижающие валидность компьютерных психодиагностических методов, построенных на использовании игровых элементов.

В экспериментально-методической части статьи приводится описание новой компьютерной методики «Ложки», предназначенной для оценки функционального состояния. Эта краткая (трехминутная) методика представляет собой игровую модификацию таких классических тестов внимания, как «корректурная проба Бурдона» и «устный счет по Крепелину».

Авторы публикуют данные о достаточно высокой надежности и валидности новой методики, подтверждающие возможность ее применения в качестве инструмента для мониторинга (оперативного отслеживания) функционального состояния.

Об игровом подходе в психодиагностике

Термин «геймификация» чаще всего встречается в современных прикладных разработках в связи с компьютерным обучением (один из лучших обзоров в этой области — Hamari et al., 2014; см. также статью “Gamification of learning” в англоязычной Википедии).

Под этим процессом имеется в виду не полное превращение процесса обучения в игру, а использование в процессе обучения определенных игровых элементов: игровых целей («обыграть компьютер» или «поставить рекорд», например), игровых объектов и персонажей, практически непрерывной обратной связи об успешности действий учащегося (игровая обратная связь), зрительных и звуковых игровых эффектов и других элементов. В последние годы сфера приложения геймификации расширилась. Особенно значима геймификация в сфере рекрутмента и ассессмента — привлечения и оценки персонала (Snider, 2015). цель всякой геймификации в ходе любого компьютеризированного процесса — повышение внутренней мотивации пользователя на выполнение деятельности (см. сайт германской консалтинговой компании www.gamification-software.com).

Первые работы по развитию игрового подхода были выполнены в российской экспериментальной психологии и компьютерной психодиагностике еще в конце XX в. (Джерелиевская, Шмелев, 1993; Шапкин, 1999; Шапкин, Варашкевич, 1999; Шмелев, 1984; Шмелев, Гребенюк, 1994). К сожалению, экономический кризис в России в 1990-е гг. привел к упадку этого нового направления из-за отсутствия платежеспособного высокоинтеллектуального спроса в области оценки персонала. Впрочем, и на Западе о геймификации в прикладной психологии широко заговорили только в XXI в., когда появилось поколение психологов, для которых компьютерная игра с детских лет стала понятным, привлекательным и привычным видом деятельности. Основная цель игрового подхода в психодиагностике оказалась фактически аналогичной той цели, которая ставится при геймификации обучения и рекрутмента. Ее наиболее кратко и ясно сформулировал В.А. Дюк: «“Включение” игровой мотивации повышает привлекательность процесса тестирования и увеличивает достоверность результатов» (Дюк, 1994, с. 25). Существенным содержательным тормозом для геймификации психодиагностики стало осознанное вскоре после ее появления препятствие, связанное с низкой экологической валидностью многих популярных стратегических и ролевых игр. Возможность переноса результатов компьютерной игры из виртуального игрового мира в реальный мир оказалась затруднена тем обстоятельством, что от имени виртуального персонажа многие пользователи-игроки ведут себя вовсе не так, как они ведут себя от собственного имени в реальном мире (понятие «экологическая валидность» обосновано в работах В.Н. Дружинина (2002)). В виртуальной игровой среде пользователи демонстрируют значительно большую свободу и раскрепощенность в своих действиях, ибо последствия ошибок в этом случае не являются тяжелыми и сводятся к банальным затратам лишнего времени на их исправление. Неслучайно первый автор данного сообщения ввел в свое время понятие «мир поправимых ошибок» (Шмелев и др., 1988). В игре пользователь часто демонстрирует совершенно иной профиль мотивации, чем это свойственно ему же в ситуации реального поведения: в игре он чаще проявляет конкурентные (соревновательные) мотивы и конкурентную стратегию поведения, тогда как в реальной жизни ему в большей степени свойственны конформность и кооперативность (Фомичева и др., 1991). Назовем этот фактор, снижающий валидность игрового подхода, «эффектом атипичной мотивации». В прошлом веке недостаточная экологическая валидность игрового подхода проявилась не только в стратегических и ролевых играх. Уровень достижений игрока в играх на точность-скорость сенсомоторных действий (локомоторные игры, «стрельба» и подобные им) в большей степени отражал не общий уровень сенсомоторных способностей, а лишь различия в степени тренированности игроков в данной компьютерной игре — в степени развития клавиатурных навыков, навыков манипулирования мышкой или джойстиком и т.п. А в 1990-е гг. степень тренированности и объем игрового опыта у разных пользователей еще в значительной степени различались. В настоящее время эти различия нивелируются в силу огромной повседневной практики у большинства пользователей в компьютерной коммуникации и работе с упрощенными интерфейсами, такими, как «тачскрин» — экран, чувствительный к прикосновениям. Этот фактор, снижающий валидность компьютерных игр, следует, очевидно, назвать фактором «специфических игровых навыков». Действие данного фактора заставляет разработчиков применять к игровым методикам не межиндивидуальные, а внутрииндивидуальные (ипсативные) тестовые нормы: сравнивать новые достижения пользователей с их собственными прежними достижениями с целью выявления положительной (рост показателей) или отрицательной (снижение) динамики результатов.

Третьим фактором, снижающим экологическую валидность игрового подхода, является чрезмерное многообразие игровых ситуаций и игровых сценариев, возникающих в современной развлекательной компьютерной игре. Назовем его «фактором игрового разнообразия».

Компьютерная игра будет слишком скучной и коммерчески неэффективной, если в ней раз за разом будут повторяться однообразные игровые сцены. В силу этого обстоятельства развлекательная игра всегда отличается от игроподобного теста недостаточной гомогенностью (однородностью) заданий (items), т.е.

игра лишена того свойства, которое как раз является главным условием измерительной точности-надежности для любого теста.

Тем не менее, несмотря на три указанных выше негативных фактора, снижающих диагностическую ценность компьютерных игр, все-таки разработку игроподобных диагностических тестов (геймифицированных тестов) следует считать достаточно перспективным направлением. И прежде всего мы можем ожидать в самое ближайшее время расширенного использования таких тестов в целях психодиагностического мониторинга функционального состояния работников — уровня мобилизации внимания и актуальной производительности умственной деятельности. Именно в диагностике функциональных состояний имеют значительную ценность такие тесты, которые требуется выполнять многократно и регулярно (в начале и в конце рабочего дня для контроля уровня утомления). В этом случае традиционные бланковые тесты или тесты без игровой обратной связи оказываются слишком скучными и менее валидными, так как быстрее вызывают пресыщение, чем игроподобные методики.

Компьютеризированный тест «Ложки»

С целью исследования психодиагностического потенциала игроподобных тестов нами был разработан в 2016 г. новый компьютеризированный тест на скорость-точность простых умственных действий под игровым названием «Ложки».

Этот тест реализован на базе тестовой онлайн-системы HT-LINE M-TEST силами программистов и методистов Инновационного центра «Гуманитарные Технологии» (см. сайт www.ht-line.ru) [1].

Трехминутная краткая версия этого теста предполагает предъявление испытуемому на экране компьютера 40 тестовых экранов с фотографическими изображениями столовых и чайных ложек разной формы, цвета, ориентации.

Тестовые задания предъявляются с применением случайного перемешивания и постепенным повышением сложности: в первом блоке в случайном порядке предъявляются 20 заданий с числом объектов от 5 до 8, во втором — с числом объектом от 9 до 25. На каждом шаге задача испытуемого состоит в подсчитывании числа объектов на экране и выборе одного (правильного) ответа из пяти предложенных. Пример тестового экрана приведен на рисунке.

Тестовый экран в игроподобном тесте «Ложки». Цвета ложек слева направо: голубая, оранжевая, зеленая, оранжевая, зеленая, голубая Сам по себе прием подсчета числа объектов не является новым и его можно даже назвать «классическим». И академическим, и практическим психологам широко известен один из самых популярных в мире бланковых тестов на продуктивность внимания — «корректурная проба Бурдона», в ходе которой задача испытуемого состоит в том, чтобы обводить и подчеркивать определенные буквы на листе бумаги, подсчитывая при этом их количество. В нашем тесте предъявляется несколько менее однообразный стимульный материал, что придает деятельности испытуемого большую зрительно-эстетическую привлекательность, снижает монотонию и эффект пресыщения (об этом собраны подтверждающие положительные отзывы от испытуемых, прошедших тест «Ложки»). Определенное напряжение в выполнении данного теста создается благодаря динамическому графическому образу «убывающего времени», отведенного на трехминутный сеанс [2].

Проверка надежности и валидности теста «Ложки» производилась на испытуемых-добровольцах, постоянных участниках виртуального проекта «Клуб испытателей тестовых технологий» (КИТТ).

Клубная форма с постоянной регистрацией и накоплением «индивидуальной истории» для каждого участника является удачным организационным решением для измерения конвергентной (конструктной) валидности между различными тестами.

Надежность измерялась как корреляция двух параллельных форм трехминутного теста — вариантов, созданных на базе различных тестовых заданий (по 40 разных заданий в каждой параллельной форме). Значение коэффициента линейной корреляции Пирсона оказалось равным 0.71 (на выборке n=133).

С помощью поправки Спирмена—Брауна для теста удвоенной длины надежность теста из 80 заданий (двух трехминутных серий) можно оценить величиной 0.83, что можно считать вполне удовлетворительной величиной для экспресс-тестов, построенных не на самоотчете, а на объективном показателе — количестве правильных ответов.

На 76 участниках клуба, выполнивших и новый тест «Ложки», и старый тест «Краткий тест отбора» (КТО), выявлена высокая значимая линейная корреляция между количеством правильных ответов в тесте «Ложки» и количеством правильных ответов в субтесте «Внимание» из КТО (0.49, значимость на уровне p

Источник: https://old.ht-lab.ru/cms/new/110432-2017-09-18-08-34-48

13.7. Компьютерное тестирование

13.7. Компьютерное тестирование

Компьютерное тестирование – недавновозникшее направление психодиагностическихисследований (обследований), связанноес использованием средствэлектронно-вычислительной техники.Появление компьютерной психодиагностикиобусловлено развитием информационныхтехнологий.

Попытки автоматизироватьпредъявление стимульного материалаиспытуемому и последующую обработкурезультатов предпринимались начинаяс 30-х гг. XXв. Но лишь с 70-хгг. начинается подлинное развитиекомпьютерной психодиагностики в связис появлением персональныхкомпьютеров. С 80-х гг. компьютерные тестыразрабатываются в массовых масштабах.

Сначала как компьютерные версии ужеизвестных бланковых методик, а в 90-е гг.как специальные методики, учитывающиевозможности современной техники инеупотребимые в бланковом виде, посколькурассчитаны на сложный, изменяющийся впространстве и времени стимульныйматериал, специфическое звуковоесопровождение и т. п.

Начало XXIвека отмечено тем, что все чаще управлениетестированием передается компьютеру.

Если в прошлые годы автоматизировалисьотдельные стадии исследования, напримерпредъявление материала (очень удобноиспользовать компьютер вместотахис-тоскопа), обработка данных (особенногромоздких в обработке тестов типаMMPI,16PF,социометрии), интерпретация результатов(тест Люшера), то на современном этапевсе чаще можно встретить программы,которые берут на себя все обследованиецеликом, вплоть до постановки диагноза,что сводит необходимость присутствияпсихолога к минимуму. И в этом есть своиплюсы и минусы.

Безусловными достоинствами компьютерныхтестов (КТ) являются: быстрое проведение;высокая скорость и безошибочностьобработки; возможность безотлагательногополучения результатов; обеспечениестандартных условий тестирования длявсех испытуемых; четкий контрольпроцедуры тестирования (невозможенпропуск вопросов, при необходимостиможет быть фиксация времени каждогоответа, что особенно важно для тестовна интеллект); возможность исключенияпсихолога как дополнительной переменной(что имеет особое значение при проведенииэкспертизы); наглядность и занимательностьпроцесса (поддержка внимания с помощьюцвета, звука, игровых элементов, чтоособенно важно для обучающих программ);легкая архивация результатов; возможностьобъединения тестов в батареи (пакетыпрограмм) с единой итоговой интерпретацией;мобильность экспериментатора (весьинструментарий на одной дискете);возможность проведения массовыхисследований (например, через Интернет).

Недостатки компьютерных тестов:сложность, трудоемкость и дороговизнаразработки программ; необходимостьдорогостоящей компьютерной техники;сложность использования ЭВМ в полевыхусловиях; необходимость специальногообучения испытуемого работе с КТ;трудности работы с невербальнымматериалом, особая сложностьперевода в компьютерную форму проективныхтестов; отсутствие индивидуальногоподхода к тестируемому (потеря частипсиходиагностической информации,получаемой в беседе и наблюдении);латентность этапов обработки иинтерпретации данных (качество этихпроцедур полностью зависит от разработчиковпрограмм). У некоторых испытуемых привзаимодействии с компьютером могутвозникать эффекты «психологическогобарьера» или «сверхдоверия» [56, с. 28].Поэтому данные о валидности, надежностии репрезентативности бланковых тестовне могут быть автоматически перенесенына их компьютерные аналоги, что ведетк необходимости новой стандартизациитестов.

Недостатки КТ вызывают настороженноеотношение к ним психологов. Малоиспользуются КТ в клинической психологии,где цена ошибки слишком высока. Л. С.

Выготский выделял три уровняпсиходиагностики: симптоматический(выявление симптомов), этиологический(выявление причин) и типологический(целостная, динамическая картиналичности, на основе чего строитсяпрогноз) [71, с. 257–321].

Компьютернаяпсиходиагностика на сегодняшний деньнаходится на низшем уровне – уровнесимптоматического диагноза, практическине давая материала для выявления причини вынесения прогноза.

Но, по-видимому, КТ имеют большое будущее,где наверняка многие из перечисленныхнедостатков компьютерной психодиагностикибудут решены благодаря дальнейшемуразвитию электронной техники исовершенствованию психодиагностическихтехнологий. Залогом такого оптимизмаявляется нарастающий интерес науки ипрактики к компьютерной диагностике,в арсенале которой уже сейчас имеетсясвыше 1000 КТ [54, с. 338].

Если попытаться классифицировать нынесуществующие КТ, то можно выделитьследующие их виды:

1. По структуре

а) аналоги бланковых тестов;

б) собственно КТ.

2. По количеству тестируемых

а) КТ индивидуального тестирования;

б) КТ группового тестирования (дляодновременной подачиидентичногоматериала на компьютерах, объединенныхвлокальную сеть).

3. По степени автоматизации тестирования

а) автоматизирующие один или несколькоэтапов обследования;

б) автоматизирующие все обсследование.

4. По задаче

а) диагностические КТ;

б) обучающие КТ (тесты-тренажеры,развивающие программы).

5. По адресату

а) профессиональные психологические;

б) полупрофессиональные;

в) непрофессиональные (развлекательные).

Пользователем профессиональных КТявляется психолог, поэтому ониразрабатываются специализированнымилабораториями или центрами компьютернойпсиходиагностики (из числа которыхстоит упомянуть центр «Гуманитарныетехнологии» в Москве, ЗАО «Иматон-М»,лабораторию клинической психологииПсихоневрологического института им.В. М.

Бехтерева в Санкт-Петербурге идр.).

Эти тесты имеют ряд специфическихособенностей: 1) наличие архива (базыданных); 2) наличие пароля на вход в тестили базу данных для обеспеченияконфиденциальности результатов; 3)развернутая интерпретация результатовс использованием профессиональныхтерминов, коэффициентов, с построениемграфиков (профилей); 4) наличие информациио разработчиках методики, сведений овалидности и надежности, справочныхматериалов о лежащих в основе методикитеоретических положениях.ПолупрофессиональныеКТ ориентированы на специалистовсмежных профессий, например на педагогов,менеджеров по персоналу. Такие тестызачастую снабжены редуцированнойинтерпретацией без использованияспециальной лексики, просты в освоениии работе. Тесты подобного уровня могутбыть предназначены и для неспециалиста,рядового пользователя персональногокомпьютера, интересующегося психологией.Наконец, существует также большое числонепрофессиональных КТ, направленныхна популяризацию психологических идейили преследующих развлекательные цели.

Пользуясь профессиональными илиполупрофессиональными КТ, необходимособлюдать те же этические принципы, чтои при бланковом тестировании.

Важно нераспространять результаты тестированияи защищать свои файлы паролем, особенноесли у компьютера несколько пользователей.И главное – «не сотворить себе кумира».

Помнить, что КТ является только средством,только помощником и имеет свои границыприменения (знанием чего профессиональныйпсихолог отличается от шарлатана отпсихологии).

Источник: https://studfile.net/preview/1763840/page:59/

Book for ucheba
Добавить комментарий