3.3. Перевірка валідності
Встановлення критеріальної валідності у тому випадку, коли критерієм валідизації є результат відповідей на іншу методику, передбачає обчислення коефіцієнта кореляції Пірсона або рангової кореляції Спірмена між результатами опитувальника, що валідизується, та критеріальної методики. При цьому рівень статистичної значущості отриманих показників конвергентної та дискримінативної валідності, який свідчить про придатність вимірювального інструмента до використання, має бути не меншим за 0,05.
Якщо критерієм валідизації виступає категоріальна змінна (стать, вік, фах тощо), то це передбачає формування двох контрастних груп. Результати відповідей у кожній із цих груп порівнюються між собою з використанням t-критерію Стьюдента (у випадку нормального розподілу показника за шкалою) або критерію Манна-Уітні (за відсутності нормальності розподілу).
Для обчислення t-критерію Стьюдента для незалежних вибірок (independent samples) в SPSS у меню Analyze (Аналізувати) послідовно обираються такі команди: Compare Means (Порівняти середні) → Independent-Samples T Test (t-критерій для незалежних вибірок) (рис. 34).

У діалоговому вікні Independent-Samples T Test перене-сіть змінну “Шкала_12” до списку Test Variables (Змінні, що тестуються) (рис. 35).

У полі Grouping Variable (Змінна, що групує) задайте ім’я змінної, градаціям якої відповідають дві незалежні змінні (у нашому випадку – стать). Натиснувши на кнопку Define Groups (Визначення груп), задайте категорії змінної, що групує (у нашому випадку 1 – жін. та 2 – чол.), як це зображено на рис. 36.

Після цього поверніться в основне діалогове вікно та натисніть OK.
У верхній частині згенерованого програмою вікна виводу (рис. 37) подано такі дані: середній бал по двом вибіркам (Mean), середнє квадратичне відхилення (Std. Deviation) та стандартна похибка середнього (Std. Error Mean).

Із наведених у нижній таблиці вікна виводу результатів випливає, що відмінності в середніх значеннях двох непов’язаних між собою вибірок є статистично достовірними на високому рівні значущості (t = 3,435; p = 0,001, df = 2).
Якщо нормальність розподілу відсутня або дані за методикою є порядковими замість t-критерія Стьюдента застосовується непараметричний критерій Манна-Уітні. Для цього в меню Analyze (Аналізувати) послідовно обираються такі команди: Nonparametric Tests (Непараметричні тести) → Legacy Dialogs → 2 Independent Samples (2 незалежні вибірки) (рис. 38).

У зображеному на рис. 39 діалоговому вікні Two-Independent-Samples Test перенесіть змінну “Шкала_12” до списку Test Variable List (Список змінних, що тестуються). Перемістіть змінну “Стать” до поля Grouping Variable (Змінна, що групує), а в поле Define Groups (Визначення груп) – ті значення, що вказують на приналежність до двох контрастних груп (у даному випадку – змінну “Стать”).

Відмітьте прапорцем у групі Test Type (Тип тесту) Mann-Whitney U (U-критерій Манна-Уітні). Поверніться в основне діалогове вікно та натисніть ОК. Результати роботи програми подано нижче на рис. 40.

Середній ранг (Mean Rank) для жінок дорівнює 56,19, а для чоловіків – 38,37. Величина U-критерію Манна-Уітні (Mann-Whitney U) дорівнює 587. Значення Z є нормалізованим та пов’язаним із рівнем значущості (p = 0,001). Оскільки величина рівня значущості (Asymp. Sig. (2-tailed)) є меншою за 0,05, можна говорити про статистично значущу відмінність між двома незалежними вибірками.
Однофакторний дисперсійний аналіз (ANOVA) декількох вибірок використовується у випадку, якщо валідизаційний критерій є категоріальною змінною та може набувати більше двох різних значень (наприклад, розподіл респондентів за віковими групами).
Для проведення однофакторного дисперсійного аналізу в SPSS в меню Analyze (Аналізувати) послідовно обираються команди Compare Means (Порівняти середні) та One-Way ANOVA (однофакторний дисперсійний аналіз) (рис. 41).

У діалоговому вікні One-Way ANOVA перенесіть змінну “Шкала_12” до списку Dependent List (Список залежних змінних), а змінну “Вік” до списку Factor (Фактор), як це показано на рис. 42.

При натисканні на кнопку Post Hoc (Постфактум) відкривається діалогове вікно One-way ANOVA: Post Hoc Multiple Comparisons (Однофакторний дисперсійний аналіз: Множинні порівняння постфактум), подане нижче на рис. 43.

Для здійснення парних порівнянь встановіть прапорець навпроти критерія Шеффе (Scheffe) та натисніть Continue для повернення в діалогове вікно One-Way ANOVA.
Натисніть на кнопку Options (Параметри) аби відкрити діалогове вікно One-way ANOVA: Options (рис. 44).

Встановіть прапорці Descriptive (Описові статистики), Homogeneity of variance test (Критерій однорідності дисперсії) та Means Plot (Графік середніх). Натисніть кнопки Continue та ОК для відкриття вікна виводу (рис. 45).



Окрім поданих у таблиці Descriptives описових статистик вікно виводу містить також критерій однорідності дисперсії Левіна (Test of Homogeneity of Variances), власне результати однофакторного дисперсійного аналізу (ANOVA) та парні порівняння постфактум (Multiple Comparisons).
Критерій однорідності дисперсії Левіна зі значенням 0,265 вказує на те, що дисперсії для кожної з груп статистично достовірно не відрізняються. Тому результати однофакторного дисперсійного аналізу можуть бути визнаними коректними.
Найважливішим показником у таблиці ANOVA є рівень значущості р = 0,001, котрий вказує на статистичну достовірність різниці між середніми значеннями змінної “Шкала_12” для трьох груп.
У таблиці Multiple Comparisons подано парні порівняння різниці середніх значень змінної “Шкала_12” для трьох вікових груп. Зірочкою позначені ті пари вибірок, для яких різниця середніх значень є статистично достовірною на рівні 0,05. Із наведених даних випливає, що результати за “Шкалою_12” для 16-річних респондентів є статистично значущо вищими, ніж для 20-ти та 24-річних досліджуваних. Останні за результатами відповіді на пункти “Шкали_12” статистично достовірно не відрізняються. Це також ілюструє поданий на рис. 46 графік середніх значень (Mean Plots).

У програмі SPSS також закладена можливість визначення впливу декількох (двох і більше) незалежних змінних (факторів) на залежну змінну (відгук) шляхом здійснення багатофакторного дисперсійного аналізу. Для його проведення в меню програми SPSS послідовно оберіть команди Analyze (Аналізувати) → General Linear Model (Загальна лінійна модель) → Univariate (Одновимірний аналіз) (рис. 47).

У діалоговому вікні Univariate перенесіть змінну “Шкала_12” до поля Dependent Variable (Залежна змінна), а змінні “Стать” і “Вік” – до поля Fixed Factor(s) (Постійні фактори) (рис. 48).

Для задавання параметрів результатів натисніть кнопку Options (Параметри). У поданому на рис. 49 діалоговому вікні Univariate: Options (Одновимірний аналіз: Параметри) встановіть прапорці Descriptive Statistics (Описові статистики) та Estimates of effect size (Оцінка величини ефекту). Натисніть Continue для повернення в діалогове вікно Univariate.

Натисніть на кнопку Plots (Графіки). У вікні, що відкрилося (рис. 50), перенесіть із лівого поля Factors (Фактори) змінну “Вік” до поля Horizontal Axis (Горизонтальна вісь), а змінну “Стать” – до поля Separate Lines (Окремі лінії). Підтвердіть правильність введених параметрів натисканням на кнопки Add (Додавання) та Continue.

Натисніть кнопку ОК для відкриття вікна виводу (рис. 51).


Воно, зокрема, містить таблицю Descriptive Statistics (Описові статистики), де подано характеристики всіх вибірок, утворених кожною з незалежних змінних окремо (2 вибірки за ознакою статі та 3 вибірки за змінною “Вік”), а також при перетині градацій незалежних змінних (3 × 2 = 6 вибірок). Таблиця Tests of Between-Subjects Effects (Критерії для міжгрупових ефектів) містить результати перевірки трьох основних гіпотез двохфакторного дисперсійного аналізу:
- Змінна “Стать” не здійснює статистично значущого впливу на розподіл залежної змінної “Шкала_12” (середні значення для груп 1 і 2 склали, відповідно, 4,08 та 3,94; F = 0,372; p = 0,544);
- Змінна “Вік” здійснює статистично достовірний вплив на розподіл залежної змінної “Шкала_12” (середні значення для груп 1, 2 і 3 склали, відповідно, 3,26, 4,70 та 4,13; F = 5,33; p = 0,007);
- Статистично достовірної взаємодії між незалежними змінними “Стать” і “Вік” не виявлено (F = 0,10; p = 0,901).
У вікні виводу також наведений графік середніх значень (рис. 52), котрий дозволяє проінтерпретувати взаємодію факторів: найбільш високий бал мають жінки та чоловіки 20 років.

Для перевірки конструктної (зокрема, факторної) валідності, як правило, застосовується експлораторний та конфірматорний факторний аналіз пунктів опитувальника, які дозволяють згрупувати пункти опитувальника в шкали. Для цього вибірка випадковим способом розщеплюється на дві підвибірки. З матрицею, що містить відповіді досліджуваних першої підвибірки, проводиться експлораторний факторний аналіз (ЕФА).
Для проведення експлораторного факторного аналізу в SPSS в меню Analyze (Аналізувати) послідовно оберіть такі команди: Dimension Reduction (Скорочення виміру) та Factor… (Факторний аналіз) (рис. 53).

У діалоговому вікні Factor Analysis (Факторний аналіз), що з’явилося (рис. 54), перемістить усі пункти опитувальника до списку Variables (Змінні).

Натисніть на кнопку Descriptives (Описові статистики). У вікні Factor Analysis: Descriptives (Факторний аналіз: Дескриптивні статистики) (рис. 55) в групі Statistics (Статистики) встановіть прапорці Univariate descriptives (Одновимірні статистики) та Initial Solution (Початкове рішення).

У групі Correlation matrix (Кореляційна матриця) відмітьте прапорцями Coefficients (Коефіцієнти), KMO and Bartlett’s test of sphericity (Критерії КМО та сферичності Барлетта). Натисніть Continue для повернення в діалогове вікно Factor Analysis.
Натисніть на кнопку Extraction (Видобування). В діалоговому вікні Factor Analysis: Extraction (Факторний аналіз: Видобування) (рис. 56) залиште в переліку Method (Метод) пункт Principal Components (Головні компоненти).

У групі Display (Відображати) поряд із автоматично встановленим прапорцем Unrotated factor solution (Факторне рішення до обертання) встановіть прапорець Scree plot (Графік власних значень). Натисніть Continue для повернення в діалогове вікно Factor Analysis.
Натисніть на кнопку Rotation (Обертання). У групі Method (Метод) встановіть перемикач Varimax (Варімакс обертання), а в групі Display (Відображати) – прапорець Loading plot(s) (Діаграми навантажень) (рис 57). Натисніть Continue для повернення в діалогове вікно Factor Analysis.

При натисканні на кнопку Scores (Величини) відкривається діалогове вікно (рис. 58), що дозволяє зберегти статистичні величини як змінні.

Встановлення прапорця Save as variables (Зберегти як змінні) дозволяє зберегти в основному файлі даних обчислені значення факторів для об’єктів як нові змінні (“FAC_1”, “FAC_2” тощо). Метод по замовчанню залиште Regression (Регресія) та клацніть Continue.
Натисніть на кнопку Options (Параметри). У вікні, що з’явилося (рис. 59), в групі Coefficient Display Format (Формат виводу коефіцієнтів) встановіть прапорець Sorted by size (Сортувати за величиною) та натисніть Continue.

Натисніть кнопку ОК для відкриття вікна виводу.
Завдяки встановленню прапорця KMO and Bartlett’s test of sphericity (Критерії КМО та сферичності Барлетта) у вікні Factor Analysis: Descriptives (Факторний аналіз: Дескриптивні статистики) у вікні виводу подано таблицю, яка містить критерій адекватності вибірки (Kaiser-Meyer-Olkin Measure of Sampling Adequacy) та тест сферичності Бартлетта (Bartlett’s test of sphericity). Вказані показники характеризують, відповідно, ступінь придатності ЕФА щодо даної вибірки та вихідних даних (рис. 60).

Значення критерію КМО ≥ 0,6, а р-рівня тесту сферичності Бартлетта < 0,05 свідчать про адекватність проведеного ЕФА.
В останньому стовпчику таблиці Total Variance Explained (рис. 61) подано процент дисперсії (% of Variance), який пояснюється кожним із виокремлених факторів.

Наведений на рис. 62 графік власних значень (діаграма кам’янистого осипу, за Р. Кеттеллом) може бути використаний для визначення достатньої кількості факторів перед обертанням. При цьому керуються таким правилом: залишати слід лише ті фактори (Components), яким відповідають перші точки на графіку до того, як він стає пласким.

У зв’язку із цим відмітимо, що за замовчуванням SPSS обертає ті фактори, чиї власні значення перевищують 1; у даному прикладі число таких факторів дорівнює 3, а відповідно до згаданого правила достатньо було б двох факторів.
Насамкінець розглянемо перетворену матрицю факторних навантажень (Rotated Component Matrix), подану на рис. 63.

Як видно на малюнку, програмою згенеровано 3 фактори. Завдяки встановленню прапорця Sorted by size (Сортувати за величиною) у діалоговому вікні Factor Analysis: Options (Факторний аналіз: Параметри) найбільші значення навантажень у кожному з виокремлених факторів сортуються в окремих блоках.
Таким чином, за результатами ЕФА до першого фактору потрапили пункти № 6, 8, 9 та 11; до другого – пункти № 3, 4 та 10; до третього – пункти № 1, 2 і 7. Пункт № 5 з огляду на низьку факторну вагу виключається із подальшого аналізу.
Після проведення ЕФА слід проінтерпретувати виокремлені фактори, виходячи з семантики пунктів опитувальника, які отримали найбільші факторні навантаження по цих факторах, та зіставити емпірично виокремлені фактори (шкали) з апріорно визначеними шкалами опитувальника.
На другій частині вибірки за допомого конфірматорного факторного аналізу (КФА) перевіряється статистична значущість виокремленої під час ЕФА факторної моделі: КФА не лише дозволяє обчислити факторні навантаження по кожному фактору, але й статистично підтвердити/спростувати гіпотези про розподіл змінних (пунктів опитувальника) по факторам (шкалам).
Оскільки пакет статистичних програм SPSS не дозволяє здійснити конфірматорний факторний аналіз, для цього використовується програма EQS 6 for Windows.
У рядку меню у верхній частині вікна програми послідов-но оберіть команди File (Робота з файлами) та Open (Відкрити) (рис. 64), що призведе до відкриття відповідного діалогового вікна (рис. 65).


У верхньому полі оберіть потрібну папку, котра містить файл з даними, що збережені в SPSS та мають розширення .sav. У полі Тип файлов із переліку оберіть SPSS System Files (*.SAV) та знайдіть потрібний файл із даними в основному вікні. Після того, як файл із даними буде відкрито, він автоматично отримає розширення .ess та буде збережений у відкритій папці з вихідними даними.
Після відкриття файлу в основному вікні програми EQS у меню оберіть команду Build_EQS (Побудова моделі) і далі – команду Title/Specification (Назва/Специфікація) (рис. 66).

Внаслідок вибору команди Title/Specification (Назва/Специфікація) відкриється діалогове вікно специфікації мо-делі в EQS (рис. 67).

У верхньому полі необхідно ввести назву моделі. Всі інші налаштування залишить по замовчанню та натисніть ОК.
З’явиться вікно, що містить початок командного файлу: назву моделі (Model 1), місце розташування файлу, кількість змінних (Variables) та спостережень (Cases), метод аналізу (у даному випадку за замовчуванням залишений метод найбільшої правдоподібності – ML), тип аналізованої матриці взаємозв’язків (за замовчуванням залишена матриця коваріації між змінними – COVARIANCE), тип первинних даних (за замовчуванням залишені сирі дані – RAW – по рядках “Спостереження”, а по стовпчиках – “Змінні”), перелік усіх змінних (V1… V11) (рис. 68).

Для продовження створення командного файлу в меню знов оберіть команду Build_EQS (Побудова моделі), а потім пункт Equations (Рівняння), що призведе до відкриття вікна, зо-браженого на рис. 69.

Укажіть кількість залежних змінних (пунктів), які увійдуть до моделі, та кількість факторів. У наведеному прикладі припускається, що всі пункти повинні бути рознесені по факторам, тому збережіть відмічений по замовчанню прапорець Use All Variables (Використовувати всі змінні). Натисніть ОК.
Для кожного фактору (стовпчика, що відповідає шкалі) відмітьте зірочками клітини, що знаходяться на перетині фактору та працюючих на цю шкалу пунктів (рис. 70).

На рис. 70 для першої шкали відмічені як такі, що працю-ють на неї, змінні 6, 8, 9, 11, для другої – 3, 4, 10, а для третьої – 1, 2, 5, 7. Відмітимо, що в КФА, як правило, лише одна залежна змінна може працювати на один латентний фактор.
Для переходу до наступного вікна натисніть ОК.

На головній діагоналі в стовпчиках, шо відповідають факторам-шкалам (рис. 71), поставте 1, а решту діагоналі залиште без змін (повинні стояти “*”). У клітинах під головною діагоналлю, на перетині рядків і стовпчиків, які відповідають шкалам-факторам, поставте зірочки. Інші клітини таблиці не повинні бути заповнені. Натисніть ОК. Внаслідок цього програма знову генерує вікно, що містить текст командного файлу (рис. 68), але на цей раз у ньому містяться у формульному вигляді всі рівняння між залежними змінними (пунктами) та латентними факторами (шкалами), а також коваріаційні відношення між шкалами.
Для того, аби обчислити факторні бали по шкалам-факторам, необхідно, обравши команду Build_EQS (Побудова моделі), відкрити пункт Save Data (Зберегти дані).
У вікні, що відкрилося (рис. 72), встановіть прапорці Do you want to save data? (Чи хочете Ви зберегти дані?) та Saving Factor Scores (Збереження факторних балів). У групі Type of Files to Save (Тип файлу, який необхідно зберегти) встановіть перемикач Factor Scores only (Лише факторні бали), а в групі Factor Score Methods (Методи обчислення факторних балів) – GLS Estimator (Оцінка за методом узагальнених найменших квадратів). Натисніть ОК для повернення до основного вікна роботи з даними EQS.

У верхній частині вікна програми знов оберіть команду Build_EQS (Побудова моделі), а потім – пункт Run_EQS (Виконати), що призведе до відкриття вікна з результатами КФА (рис. 73).

У вікні виводу зверніть увагу на критерій χ2 (Chi-Square)– хі-квадрат для заданої кількості ступенів свободи (df), а також на індекси CFI (Comparative Fit Index) – порівняльний критерій відповідності (0 < CFI ≤ 1) та RMSEA (Root-mean-square error of approximation) – квадратична усереднена похибка наближення (0 < RMSEA ≤ 1). За їхньою допомогою оцінюється ступінь відповідності заданої формулами теоретичної моделі експериментальним даним.
Як правило, дослідник приймає рішення про узгодженість моделі виходячи з загальної сукупності значень вказаних показників (значущість навантажень пунктів опитувальника < 0,05, значення χ2/(df) < 2, CFI не менше 0,85 та RMSEA нижче 0,05). Якщо один із показників має “добре” значення, а інші не дуже сильно відхиляються від критеріального інтервалу, то можна приймати гіпотезу про узгодженість. У разі низьких статистичних показників відповідності теоретичної моделі та експериментальних даних модель може бути покращена за рахунок, наприклад, вивчення кореляції між остаточними членами (Е), вивчення факторних навантажень пунктів з точки зору їхньої віднесеності саме до того фактору, який закладений в оригіналі методики, та внесення на основі цього змін до структури шкал опитувальника тощо (див. докладніше про структурне моделювання: Bentler, 2002, 2006; Митина, 2008).