Вступ до практичної психометрики

Мультимедійний навчальний посібник

3.3. Перевірка валідності

Встановлення критеріальної валідності у тому випадку, коли критерієм валідизації є результат відповідей на іншу методику, передбачає обчислення коефіцієнта кореляції Пірсона або рангової кореляції Спірмена між результатами опитувальника, що валідизується, та критеріальної методики. При цьому рівень статистичної значущості отриманих показників конвергентної та дискримінативної валідності, який свідчить про придатність вимірювального інструмента до використання, має бути не меншим за 0,05.

Якщо критерієм валідизації виступає категоріальна змінна (стать, вік, фах тощо), то це передбачає формування двох контрастних груп. Результати відповідей у кожній із цих груп порівнюються між собою з використанням t-критерію Стьюдента (у випадку нормального розподілу показника за шкалою) або критерію Манна-Уітні (за відсутності нормальності розподілу).

Для обчислення t-критерію Стьюдента для незалежних вибірок (independent samples) в SPSS у меню Analyze (Аналізувати) послідовно обираються такі команди: Compare Means (Порівняти середні) → Independent-Samples T Test (t-критерій для незалежних вибірок) (рис. 34).

Рис. 34. Послідовність команд для відкриття діалогового вікна Independent-Samples T Test.

У діалоговому вікні Independent-Samples T Test перене-сіть змінну “Шкала_12” до списку Test Variables (Змінні, що тестуються) (рис. 35).

Рис. 35. Діалогове вікно Independent-Samples T Test.

У полі Grouping Variable (Змінна, що групує) задайте ім’я змінної, градаціям якої відповідають дві незалежні змінні (у нашому випадку – стать). Натиснувши на кнопку Define Groups (Визначення груп), задайте категорії змінної, що групує (у нашому випадку 1 – жін. та 2 – чол.), як це зображено на рис. 36.

Рис. 36. Вікно позначення незалежних груп.

Після цього поверніться в основне діалогове вікно та натисніть OK.

У верхній частині згенерованого програмою вікна виводу (рис. 37) подано такі дані: середній бал по двом вибіркам (Mean), середнє квадратичне відхилення (Std. Deviation) та стандартна похибка середнього (Std. Error Mean).

Рис. 37. Фрагмент вікна виводу Independent-Samples T Test.

Із наведених у нижній таблиці вікна виводу результатів випливає, що відмінності в середніх значеннях двох непов’язаних між собою вибірок є статистично достовірними на високому рівні значущості (t = 3,435; p = 0,001, df = 2).

Якщо нормальність розподілу відсутня або дані за методикою є порядковими замість t-критерія Стьюдента застосовується непараметричний критерій Манна-Уітні. Для цього в меню Analyze (Аналізувати) послідовно обираються такі команди: Nonparametric Tests (Непараметричні тести) → Legacy Dialogs2 Independent Samples (2 незалежні вибірки) (рис. 38).

Рис. 38. Послідовність команд для відкриття діалогового вікна Two-Independent-Samples Test.

У зображеному на рис. 39 діалоговому вікні Two-Independent-Samples Test перенесіть змінну “Шкала_12” до списку Test Variable List (Список змінних, що тестуються). Перемістіть змінну “Стать” до поля Grouping Variable (Змінна, що групує), а в поле Define Groups (Визначення груп) – ті значення, що вказують на приналежність до двох контрастних груп (у даному випадку – змінну “Стать”).

Рис. 39. Діалогове вікно Two-Independent-Samples Test.

Відмітьте прапорцем у групі Test Type (Тип тесту) Mann-Whitney U (U-критерій Манна-Уітні). Поверніться в основне діалогове вікно та натисніть ОК. Результати роботи програми подано нижче на рис. 40.

Рис. 40. Фрагмент вікно виводу Mann-Whitney Test.

Середній ранг (Mean Rank) для жінок дорівнює 56,19, а для чоловіків – 38,37. Величина U-критерію Манна-Уітні (Mann-Whitney U) дорівнює 587. Значення Z є нормалізованим та пов’язаним із рівнем значущості (p = 0,001). Оскільки величина рівня значущості (Asymp. Sig. (2-tailed)) є меншою за 0,05, можна говорити про статистично значущу відмінність між двома незалежними вибірками.

Однофакторний дисперсійний аналіз (ANOVA) декількох вибірок використовується у випадку, якщо валідизаційний критерій є категоріальною змінною та може набувати більше двох різних значень (наприклад, розподіл респондентів за віковими групами).

Для проведення однофакторного дисперсійного аналізу в SPSS в меню Analyze (Аналізувати) послідовно обираються команди Compare Means (Порівняти середні) та One-Way ANOVA (однофакторний дисперсійний аналіз) (рис. 41).

Рис. 41. Послідовність команд для відкриття діалогового вікна One-Way ANOVA.

У діалоговому вікні One-Way ANOVA перенесіть змінну “Шкала_12” до списку Dependent List (Список залежних змінних), а змінну “Вік” до списку Factor (Фактор), як це показано на рис. 42.

Рис. 42. Діалогове вікно One-Way ANOVA.

При натисканні на кнопку Post Hoc (Постфактум) відкривається діалогове вікно One-way ANOVA: Post Hoc Multiple Comparisons (Однофакторний дисперсійний аналіз: Множинні порівняння постфактум), подане нижче на рис. 43.

Рис. 43. Діалогове вікно One-way ANOVA: Post Hoc Multiple Comparisons.

Для здійснення парних порівнянь встановіть прапорець навпроти критерія Шеффе (Scheffe) та натисніть Continue для повернення в діалогове вікно One-Way ANOVA.

Натисніть на кнопку Options (Параметри) аби відкрити діалогове вікно One-way ANOVA: Options (рис. 44).

Рис. 44. Діалогове вікно One-way ANOVA: Options.

Встановіть прапорці Descriptive (Описові статистики), Homogeneity of variance test (Критерій однорідності дисперсії) та Means Plot (Графік середніх). Натисніть кнопки Continue та ОК для відкриття вікна виводу (рис. 45).

Рис. 45. Фрагмент вікна виводу One-way ANOVA.

Окрім поданих у таблиці Descriptives описових статистик вікно виводу містить також критерій однорідності дисперсії Левіна (Test of Homogeneity of Variances), власне результати однофакторного дисперсійного аналізу (ANOVA) та парні порівняння постфактум (Multiple Comparisons).

Критерій однорідності дисперсії Левіна зі значенням 0,265 вказує на те, що дисперсії для кожної з груп статистично достовірно не відрізняються. Тому результати однофакторного дисперсійного аналізу можуть бути визнаними коректними.

Найважливішим показником у таблиці ANOVA є рівень значущості р = 0,001, котрий вказує на статистичну достовірність різниці між середніми значеннями змінної “Шкала_12” для трьох груп.

У таблиці Multiple Comparisons подано парні порівняння різниці середніх значень змінної “Шкала_12” для трьох вікових груп. Зірочкою позначені ті пари вибірок, для яких різниця середніх значень є статистично достовірною на рівні 0,05. Із наведених даних випливає, що результати за “Шкалою_12” для 16-річних респондентів є статистично значущо вищими, ніж для 20-ти та 24-річних досліджуваних. Останні за результатами відповіді на пункти “Шкали_12” статистично достовірно не відрізняються. Це також ілюструє поданий на рис. 46 графік середніх значень (Mean Plots).

Рис. 46. Фрагмент вікна виводу One-way ANOVA.

У програмі SPSS також закладена можливість визначення впливу декількох (двох і більше) незалежних змінних (факторів) на залежну змінну (відгук) шляхом здійснення багатофакторного дисперсійного аналізу. Для його проведення в меню програми SPSS послідовно оберіть команди Analyze (Аналізувати) → General Linear Model (Загальна лінійна модель) → Univariate (Одновимірний аналіз) (рис. 47).

Рис. 47. Послідовність команд для відкриття діалогового вікна Univariate.

У діалоговому вікні Univariate перенесіть змінну “Шкала_12” до поля Dependent Variable (Залежна змінна), а змінні “Стать” і “Вік” – до поля Fixed Factor(s) (Постійні фактори) (рис. 48).

Рис. 48. Діалогове вікно Univariate.

Для задавання параметрів результатів натисніть кнопку Options (Параметри). У поданому на рис. 49 діалоговому вікні Univariate: Options (Одновимірний аналіз: Параметри) встановіть прапорці Descriptive Statistics (Описові статистики) та Estimates of effect size (Оцінка величини ефекту). Натисніть Continue для повернення в діалогове вікно Univariate.

Рис. 49. Діалогове вікно Univariate: Options.

Натисніть на кнопку Plots (Графіки). У вікні, що відкрилося (рис. 50), перенесіть із лівого поля Factors (Фактори) змінну “Вік” до поля Horizontal Axis (Горизонтальна вісь), а змінну “Стать” – до поля Separate Lines (Окремі лінії). Підтвердіть правильність введених параметрів натисканням на кнопки Add (Додавання) та Continue.

Рис. 50. Діалогове вікно Univariate: Profile Plots.

Натисніть кнопку ОК для відкриття вікна виводу (рис. 51).

Рис. 51. Віно виводу Univariate.

Воно, зокрема, містить таблицю Descriptive Statistics (Описові статистики), де подано характеристики всіх вибірок, утворених кожною з незалежних змінних окремо (2 вибірки за ознакою статі та 3 вибірки за змінною “Вік”), а також при перетині градацій незалежних змінних (3 × 2 = 6 вибірок). Таблиця Tests of Between-Subjects Effects (Критерії для міжгрупових ефектів) містить результати перевірки трьох основних гіпотез двохфакторного дисперсійного аналізу:

  1. Змінна “Стать” не здійснює статистично значущого впливу на розподіл залежної змінної “Шкала_12” (середні значення для груп 1 і 2 склали, відповідно, 4,08 та 3,94; F = 0,372; p = 0,544);
  2. Змінна “Вік” здійснює статистично достовірний вплив на розподіл залежної змінної “Шкала_12” (середні значення для груп 1, 2 і 3 склали, відповідно, 3,26, 4,70 та 4,13; F = 5,33; p = 0,007);
  3. Статистично достовірної взаємодії між незалежними змінними “Стать” і “Вік” не виявлено (F = 0,10; p = 0,901).

У вікні виводу також наведений графік середніх значень (рис. 52), котрий дозволяє проінтерпретувати взаємодію факторів: найбільш високий бал мають жінки та чоловіки 20 років.

Рис. 52. Графік середніх значень у вікні виводу Univariate.

Для перевірки конструктної (зокрема, факторної) валідності, як правило, застосовується експлораторний та конфірматорний факторний аналіз пунктів опитувальника, які дозволяють згрупувати пункти опитувальника в шкали. Для цього вибірка випадковим способом розщеплюється на дві підвибірки. З матрицею, що містить відповіді досліджуваних першої підвибірки, проводиться експлораторний факторний аналіз (ЕФА).

Для проведення експлораторного факторного аналізу в SPSS в меню Analyze (Аналізувати) послідовно оберіть такі команди: Dimension Reduction (Скорочення виміру) та Factor… (Факторний аналіз) (рис. 53).

Рис. 53. Послідовність команд для відкриття діалогового вікна Factor Analysis.

У діалоговому вікні Factor Analysis (Факторний аналіз), що з’явилося (рис. 54), перемістить усі пункти опитувальника до списку Variables (Змінні).

Рис. 54. Діалогове вікно Factor Analysis.

Натисніть на кнопку Descriptives (Описові статистики). У вікні Factor Analysis: Descriptives (Факторний аналіз: Дескриптивні статистики) (рис. 55) в групі Statistics (Статистики) встановіть прапорці Univariate descriptives (Одновимірні статистики) та Initial Solution (Початкове рішення).

Рис. 55. Діалогове вікно Factor Analysis: Descriptives.

У групі Correlation matrix (Кореляційна матриця) відмітьте прапорцями Coefficients (Коефіцієнти), KMO and Bartlett’s test of sphericity (Критерії КМО та сферичності Барлетта). Натисніть Continue для повернення в діалогове вікно Factor Analysis.

Натисніть на кнопку Extraction (Видобування). В діалоговому вікні Factor Analysis: Extraction (Факторний аналіз: Видобування) (рис. 56) залиште в переліку Method (Метод) пункт Principal Components (Головні компоненти).

Рис. 56. Діалогове вікно Factor Analysis: Extraction.

У групі Display (Відображати) поряд із автоматично встановленим прапорцем Unrotated factor solution (Факторне рішення до обертання) встановіть прапорець Scree plot (Графік власних значень). Натисніть Continue для повернення в діалогове вікно Factor Analysis.

Натисніть на кнопку Rotation (Обертання). У групі Method (Метод) встановіть перемикач Varimax (Варімакс обертання), а в групі Display (Відображати) – прапорець Loading plot(s) (Діаграми навантажень) (рис 57). Натисніть Continue для повернення в діалогове вікно Factor Analysis.

Рис. 57. Діалогове вікно Factor Analysis: Rotation.

При натисканні на кнопку Scores (Величини) відкривається діалогове вікно (рис. 58), що дозволяє зберегти статистичні величини як змінні.

Рис. 58. Діалогове вікно Factor Analysis: Factor Scores.

Встановлення прапорця Save as variables (Зберегти як змінні) дозволяє зберегти в основному файлі даних обчислені значення факторів для об’єктів як нові змінні (“FAC_1”, “FAC_2” тощо). Метод по замовчанню залиште Regression (Регресія) та клацніть Continue.

Натисніть на кнопку Options (Параметри). У вікні, що з’явилося (рис. 59), в групі Coefficient Display Format (Формат виводу коефіцієнтів) встановіть прапорець Sorted by size (Сортувати за величиною) та натисніть Continue.

Рис. 59. Діалогове вікно Factor Analysis: Options.

Натисніть кнопку ОК для відкриття вікна виводу.

Завдяки встановленню прапорця KMO and Bartlett’s test of sphericity (Критерії КМО та сферичності Барлетта) у вікні Factor Analysis: Descriptives (Факторний аналіз: Дескриптивні статистики) у вікні виводу подано таблицю, яка містить критерій адекватності вибірки (Kaiser-Meyer-Olkin Measure of Sampling Adequacy) та тест сферичності Бартлетта (Bartlett’s test of sphericity). Вказані показники характеризують, відповідно, ступінь придатності ЕФА щодо даної вибірки та вихідних даних (рис. 60).

Рис. 60. Фрагмент вікна виводу Factor Analysis.

Значення критерію КМО ≥ 0,6, а р-рівня тесту сферичності Бартлетта < 0,05 свідчать про адекватність проведеного ЕФА.

В останньому стовпчику таблиці Total Variance Explained (рис. 61) подано процент дисперсії (% of Variance), який пояснюється кожним із виокремлених факторів.

Рис. 61. Фрагмент вікна виводу Factor Analysis.

Наведений на рис. 62 графік власних значень (діаграма кам’янистого осипу, за Р. Кеттеллом) може бути використаний для визначення достатньої кількості факторів перед обертанням. При цьому керуються таким правилом: залишати слід лише ті фактори (Components), яким відповідають перші точки на графіку до того, як він стає пласким.

Рис. 62. Фрагмент вікна виводу Factor Analysis.

У зв’язку із цим відмітимо, що за замовчуванням SPSS обертає ті фактори, чиї власні значення перевищують 1; у даному прикладі число таких факторів дорівнює 3, а відповідно до згаданого правила достатньо було б двох факторів.

Насамкінець розглянемо перетворену матрицю факторних навантажень (Rotated Component Matrix), подану на рис. 63.

Рис. 63. Фрагмент вікна виводу Factor Analysis.

Як видно на малюнку, програмою згенеровано 3 фактори. Завдяки встановленню прапорця Sorted by size (Сортувати за величиною) у діалоговому вікні Factor Analysis: Options (Факторний аналіз: Параметри) найбільші значення навантажень у кожному з виокремлених факторів сортуються в окремих блоках.

Таким чином, за результатами ЕФА до першого фактору потрапили пункти № 6, 8, 9 та 11; до другого – пункти № 3, 4 та 10; до третього – пункти № 1, 2 і 7. Пункт № 5 з огляду на низьку факторну вагу виключається із подальшого аналізу.

Після проведення ЕФА слід проінтерпретувати виокремлені фактори, виходячи з семантики пунктів опитувальника, які отримали найбільші факторні навантаження по цих факторах, та зіставити емпірично виокремлені фактори (шкали) з апріорно визначеними шкалами опитувальника.

На другій частині вибірки за допомого конфірматорного факторного аналізу (КФА) перевіряється статистична значущість виокремленої під час ЕФА факторної моделі: КФА не лише дозволяє обчислити факторні навантаження по кожному фактору, але й статистично підтвердити/спростувати гіпотези про розподіл змінних (пунктів опитувальника) по факторам (шкалам).

Оскільки пакет статистичних програм SPSS не дозволяє здійснити конфірматорний факторний аналіз, для цього використовується програма EQS 6 for Windows.

У рядку меню у верхній частині вікна програми послідов-но оберіть команди File (Робота з файлами) та Open (Відкрити) (рис. 64), що призведе до відкриття відповідного діалогового вікна (рис. 65).

Рис. 64. Початкове вікно програми EQS.
Рис. 65. Вікно відкриття файлу з даними в EQS.

У верхньому полі оберіть потрібну папку, котра містить файл з даними, що збережені в SPSS та мають розширення .sav. У полі Тип файлов із переліку оберіть SPSS System Files (*.SAV) та знайдіть потрібний файл із даними в основному вікні. Після того, як файл із даними буде відкрито, він автоматично отримає розширення .ess та буде збережений у відкритій папці з вихідними даними.

Після відкриття файлу в основному вікні програми EQS у меню оберіть команду Build_EQS (Побудова моделі) і далі – команду Title/Specification (Назва/Специфікація) (рис. 66).

Рис. 66. Вікно роботи з даними EQS.

Внаслідок вибору команди Title/Specification (Назва/Специфікація) відкриється діалогове вікно специфікації мо-делі в EQS (рис. 67).

Рис. 67. Вікно специфікації моделі в EQS.

У верхньому полі необхідно ввести назву моделі. Всі інші налаштування залишить по замовчанню та натисніть ОК.

З’явиться вікно, що містить початок командного файлу: назву моделі (Model 1), місце розташування файлу, кількість змінних (Variables) та спостережень (Cases), метод аналізу (у даному випадку за замовчуванням залишений метод найбільшої правдоподібності – ML), тип аналізованої матриці взаємозв’язків (за замовчуванням залишена матриця коваріації між змінними – COVARIANCE), тип первинних даних (за замовчуванням залишені сирі дані – RAW – по рядках “Спостереження”, а по стовпчиках – “Змінні”), перелік усіх змінних (V1… V11) (рис. 68).

Рис. 68. Вікно початку командного файлу в EQS.

Для продовження створення командного файлу в меню знов оберіть команду Build_EQS (Побудова моделі), а потім пункт Equations (Рівняння), що призведе до відкриття вікна, зо-браженого на рис. 69.

Рис. 69. Вікно задання кількості факторів КФА в EQS.

Укажіть кількість залежних змінних (пунктів), які увійдуть до моделі, та кількість факторів. У наведеному прикладі припускається, що всі пункти повинні бути рознесені по факторам, тому збережіть відмічений по замовчанню прапорець Use All Variables (Використовувати всі змінні). Натисніть ОК.

Для кожного фактору (стовпчика, що відповідає шкалі) відмітьте зірочками клітини, що знаходяться на перетині фактору та працюючих на цю шкалу пунктів (рис. 70).

Рис. 70. Вікно задання детермінаційних рівнянь для КФА в EQS.

На рис. 70 для першої шкали відмічені як такі, що працю-ють на неї, змінні 6, 8, 9, 11, для другої – 3, 4, 10, а для третьої – 1, 2, 5, 7. Відмітимо, що в КФА, як правило, лише одна залежна змінна може працювати на один латентний фактор.

Для переходу до наступного вікна натисніть ОК.

Рис. 71. Вікно задання коваріаційних рівнянь для КФА в EQS.

На головній діагоналі в стовпчиках, шо відповідають факторам-шкалам (рис. 71), поставте 1, а решту діагоналі залиште без змін (повинні стояти “*”). У клітинах під головною діагоналлю, на перетині рядків і стовпчиків, які відповідають шкалам-факторам, поставте зірочки. Інші клітини таблиці не повинні бути заповнені. Натисніть ОК. Внаслідок цього програма знову генерує вікно, що містить текст командного файлу (рис. 68), але на цей раз у ньому містяться у формульному вигляді всі рівняння між залежними змінними (пунктами) та латентними факторами (шкалами), а також коваріаційні відношення між шкалами.

Для того, аби обчислити факторні бали по шкалам-факторам, необхідно, обравши команду Build_EQS (Побудова моделі), відкрити пункт Save Data (Зберегти дані).

У вікні, що відкрилося (рис. 72), встановіть прапорці Do you want to save data? (Чи хочете Ви зберегти дані?) та Saving Factor Scores (Збереження факторних балів). У групі Type of Files to Save (Тип файлу, який необхідно зберегти) встановіть перемикач Factor Scores only (Лише факторні бали), а в групі Factor Score Methods (Методи обчислення факторних балів) – GLS Estimator (Оцінка за методом узагальнених найменших квадратів). Натисніть ОК для повернення до основного вікна роботи з даними EQS.

Рис. 72. Діалогове вікно для специфікації збереження факторних балів.

У верхній частині вікна програми знов оберіть команду Build_EQS (Побудова моделі), а потім – пункт Run_EQS (Виконати), що призведе до відкриття вікна з результатами КФА (рис. 73).

Рис. 73. Фрагмент вікна виводу результатів КФА в EQS.

У вікні виводу зверніть увагу на критерій χ2 (Chi-Square)– хі-квадрат для заданої кількості ступенів свободи (df), а також на індекси CFI (Comparative Fit Index) – порівняльний критерій відповідності (0 < CFI ≤ 1) та RMSEA (Root-mean-square error of approximation) – квадратична усереднена похибка наближення (0 < RMSEA ≤ 1). За їхньою допомогою оцінюється ступінь відповідності заданої формулами теоретичної моделі експериментальним даним.

Як правило, дослідник приймає рішення про узгодженість моделі виходячи з загальної сукупності значень вказаних показників (значущість навантажень пунктів опитувальника < 0,05, значення χ2/(df) < 2, CFI не менше 0,85 та RMSEA нижче 0,05). Якщо один із показників має “добре” значення, а інші не дуже сильно відхиляються від критеріального інтервалу, то можна приймати гіпотезу про узгодженість. У разі низьких статистичних показників відповідності теоретичної моделі та експериментальних даних модель може бути покращена за рахунок, наприклад, вивчення кореляції між остаточними членами (Е), вивчення факторних навантажень пунктів з точки зору їхньої віднесеності саме до того фактору, який закладений в оригіналі методики, та внесення на основі цього змін до структури шкал опитувальника тощо (див. докладніше про структурне моделювання: Bentler, 2002, 2006; Митина, 2008).