Другие новости по теме:
Комментарии (0) Факторный анализ 11
Теперь предположим, что нужно представить точки в терминах только одной размерности (оси). В этом случае естественно выбрать ось Р[, потому что в целом она ближе описывает данные наблюдений. Тогда первая главная компонента есть не что иное, как представление точек, расположенных вдоль выбранной . главной оси. Например, точка с единичными значениями X и У будет иметь координату, большую 1 по оси Pi и меньшую 1 по оси Р2. Если мы описываем каждую точку в терминах Рх и Р2 (в новой системе координат), потери информации не произойдет. Тем не менее можем сказать, что первая ось (и первая компонента) является более информативной в описании точек, так как связь между X и У становится сильнее. В том случае, когда X и У связаны линейной зависимостью, первая главная компонента будет содержать всю информацию, необходимую для описания каждой точки. Если X и У независимы, то главная ось отсутствует н анализ главных компонент не способствует даже минимальному сокращению (сжатию) результатов наблюдений.
Понятие главных осей относится не только к нормальным распределениям. В общем случае главная ось задается линией, для которой сумма квадратов расстояний до всевозможных точек минимальна. Сравнение анализа главных компонент с принципом наименьших квадратов поможет объяснить это определение. При нахождении линии регрессии (Y=a + bX) методом наименьших квадратов мы минимизируем сумму квадратов расстояний между У и У, т. е. минимизируем* (У—5), где расстояние измеряется по линии, параллельной оси У и перпендикулярной оси X. При нахождении главной оси мы минимизируем расстояние** от точки до оси (т. е. расстояние по перпендикуляру к главной оси, а не к оси X). Это отличие показано на 3. (В [Malin-vand, 1970] описан метод наименьших квадратов с помощью ортогональной регрессии.)