Препятствием к осмыслению большинства численных, прежде всего экспериментальных данных, встречающихся в практике исследований, является их многомерность. Мы живем в трехмерном мире и не способны визуально воспринимать данные, зависящие более чем от двух переменных. В статье обсуждается созданный автором нелинейный многофакторный анализ, позволяющий приближенно визуализировать данные, зависящие от произвольного числа переменных. Метод разработан как для упорядоченных данных типа многомерных матриц (активного эксперимента), так и для случайного набора данных (пассивного эксперимента).
News in empiricism.pdf 1. ЭКСПЕРИМЕНТ И ТЕОРИЯ. ПРОБЛЕМА МНОГОМЕРНЫХ ДАННЫХ Что важнее - теория или эксперимент? Вопрос кажется глупым: знания, науки без теории и экспериментов не бывают! И тем не менее эволюция взглядов на них такова: Исаак Ньютон (английский физик, 1642-1727): «Гипотез не измышляю, ибо все то, что не может быть выведено из явлений, должно быть названо гипотезой». Михаил Ломоносов (российский физик, 1711-1765): «Из наблюдений устанавливать теорию, через теорию направлять наблюдения - есть лучший способ к отысканию Истины». Петр Капица (российский физик, 1894-1984): «Отрыв теории от эксперимента, опыта, практики наносит ущерб прежде всего теории». Василий Ключевский (российский историк, 1841-1911): «Факт, не приведенный в концептуальную схему, есть лишь смутное представление, из которого нельзя сделать научного употребления». Ферналь Бродель (французский историк, 1902-1985): «Факты - это лишь пыль и являются в истории лишь краткими вспышками». В результате подобной эволюции эксперимент сегодня уже не первичный источник знаний, а, главным образом, средство подтверждения или опровержения гипотез и теорий. Современный стандартный сценарий получения новых знаний таков: сначала гипотеза или теория, затем подтверждение (или опровержение) их экспериментом. Ушел в прошлое сценарий, который обозначил М. Ломоносов и по которому создавалась, например, молекулярно-кинетическая теория вещества: от эмпирических законов Бойля-Мариотта (1662 г., 1676 г.) - зависимости объема газа от давления при постоянной температуре, Шарля (1787 г.) - зависимости давления газа от температуры при постоянном объеме, Гей-Люссака (1802 г.) - зависимости объема газа от температуры при постоянном давлении к эмпирическому закону Клапейрона (1834 г.), объединяющему эти три эмпирических закона, затем к теоретическому закону Менделеева-Клапейрона (1874) и, наконец, к самой молекулярно-кинетической теории вещества. Современное соотношение теории и эксперимента беспокоило многих выдающихся ученых, в том числе Тесла и Капицу. «Сегодняшние ученые заменили математикой эксперименты, и они блуждают прочь через уравнение после уравнения, и, в конечном счете, строят структуру, которая не имеет никакого отношения к действительности» - Никола Тесла. «Два зачина - от опыта или теории на глубоком уровне отражают два подхода к миру. Для нашей страны примат теории над опытом, практикой, особенно в социальной, так и в технической и научной сферах стал поистине роковым и источником наших многих бед. Преодоление стереотипа есть, быть может, важнейшая задача перестройки нашего мышления» - П.Л. Капица. Несомненно, главной причиной ухода от эмпирического подхода к теоретическому, умозрительному, является многомерность изучаемых явлений и эмпирических данных, их зависимость от многих факторов. Мы живем и наблюдаем, «видим» в трехмерном мире, а в четырехмерном и более видеть не способны! Именно поэтому не известны эмпирические законы, содержащие более двух независимых переменных факторов. А те, что содержат и называются эмпирическими, на самом деле теоретические модели с подобранными эмпирическими коэффициентами, благо, что сегодня вычислительная математика и современные компьютеры позволяют находить наилучшие с точки зрении аппроксимации эмпирические коэффициенты для сколь угодно сложной теоретической модели. Теоретические модели с такими коэффициентами правильнее называть «полуэмпирическими». Такое название ранее и существовало, но за «ненадобностью» вышло из употребления. Возможность решения проблемы чувственного ощущения и осмысления многомерных данных «в лоб» сомнительна. Цвет, звук, запах, наверное, могут как-то расширить наши возможности, но стать столь же эффективными, как графика, они вряд ли смогут. Альтернативным (а может быть, и единственным) подходом к решению является представление многомерной, многофакторной зависимости связной комбинацией, системой зависимостей меньших размерностей, т.е. представление ее некоторым функционалом с переменными, разделяющимися на группы по одной-две переменные. Если такой функционал известен, то он может быть визуализирован, т.е. представлен графически. Этим процессом занимается номография. Первая номограмма была построена Пуше (Pouchet) в 1795 г. для решения уравнения x • y = z. Первую систему построения номограмм дал Лалан (Lalanne) в 1843 г. Основания общей теории номографических построений даны французским ученым Оканем (D'Ocagne) в 1884-1891 гг. Первым в России вопросами номографии начал заниматься Н.М. Герсева-нов в 1906-1908 гг. В прошлом номограммы (самая распространенная из них - логарифмическая линейка) играли огромную роль в различных областях науки и особенно техники. Трудно указать область техники, где они бы не использовались. Основное назначение номограммы - вычислительный прибор. Поэтому с появлением компьютеров они сошли на нет. Но вычисления - не единственное достоинство номограмм. Номограмма позволяет не только выполнять почти мгновенные вычисления, в том числе и для обратных задач, но и осмысливать и прогнозировать тенденции и зависимости благодаря визуализации. На рис. 1 приведена номограмма (вернее, ее скелет), связывающая 9 переменных, из которых 8 - независимые. Но номограмма может быть построена только тогда, когда известны реализуемый ею функционал и разделение переменных в нем. А посколь- Рис. 1. Номограмма, отражающая взаимозависимость переменных ку такое для большинства эмпирических (и не только эмпирических) данных неизвестно, то номограммы в практике исследований сошли «со сцены». Так что виной исчезновения номограмм являются не только компьютеры, но прежде всего отсутствие приближенных методов разделения переменных и соответственно выявления номографируемых функционалов для конкретных массивов численных данных. Между тем определенный оптимизм в том, что разделение переменных возможно, если и не всегда, то в большинстве случаев, порождают результаты академика А.Н. Колмогорова и его учеников В.И. Арнольда [1] и А.Г. Витушкина (впоследствии также академиков), полученные в процессе решения 13-й проблемы Гильберта и касающиеся представления функций многих переменных суперпозициями функций меньшего числа переменных. Теорема А.Н. Колмогорова [2] гласит: любая непрерывная в многомерном единичном кубе функция многих переменных может быть представлена суммой функций, каждая из которых зависит от суммы функций, зависящих от одной переменной: (1) Поскольку это утверждение верно для непрерывных функций, то оно тем более верно и для дискретных функций (например, многомерных матриц), поскольку каждая из них является подмножеством бесконечного множества непрерывных функций со значениями, совпадающими со значениями дискретной функции. меньшей размерности), где т1 е {x)}x2,...,xn}, существует, как правило, единственная такая, что при нормировке коэффициентов a., aNaT= 1, где N - положительно определенная матрица, реализуется наименьшее среднеквадратичное отклонение при приближении хыа / f > 2 > / / J А / г •С* -—1 1 < —1 1 < ~ 2 1 4 1 п 1 и - 0 2 X 4 и 0 2 У 4 и 0 2 z 4 Рис. 5. Значения функций L(x), L(y), L(z), L(0) = 2,434 Поскольку новая шкала, найденная НЛМФА, имеет вид Ъх • F (х, y,z) + b2- F2 (х, y,z) = L (х, у, z), то 1Ъ2 Из рис. 5 следует, что L(x), L(y), L(z) являются, скорее всего, полиномами 2-й степени. Поэтому, с учетом (6), функцию F будем искать в виде F^fa хх + а2х2 + аъу + а4у2 +a5z + a6z2 +а7 +as. (9) Приближение табл. 5 формулой (9) (программы для такого приближения существуют во многих стандартных пакетах) со стандартной ошибкой о ~ 0,0001 дает формулу F - *Jx2 + у2 + z2, т.е. выявляет истинную закономерность. 2.3. ПЛАНЫ С «ДЫРКАМИ» НЛМФА был разработан также для многомерных матриц с отсутствием данных в их некоторых, вообще говоря, случайных ячейках. 3. НЛМФА И «ПАССИВНЫЙ ЭКСПЕРИМЕНТ» неупорядоченный массив данных Все, что говорилось выше, относилось к упорядоченным данным, активному эксперименту, когда в многомерных данных независимые переменные принимают вполне определенные заранее назначенные значения. Но на практике такого рода данные встречаются относительно редко. Преобладают обычно наблюдения над неуправляемыми или недостаточно управляемыми объектами, неупорядоченные массивы данных. Примерами областей, где преобладают неупорядоченные массивы данных, пассивный эксперимент, могут служить астрономия, экология. Как быть в этих случаях? Первое, что приходит в голову, - из массива неупорядоченных данных путем интерполяции и экстраполяции построить правдоподобную многомерную упорядоченную таблицу, с помощью НЛМФА выявить разделение независимых переменных и тип шкалы, с их помощью предположить вид аппроксимирующей функции с неизвестными коэффициентами и найти эти коэффициенты, аппроксимируя этой функцией исходные неупорядоченные данные. Рассмотрим этот подход на примере. ПРИМЕР 5 Пусть источником данных является та же функция F = ух2 + у2 + z1, что и в примере 2, а переменные х, y, z принимают случайные значения, равномерно распределенные на отрезке [0, 4]. Построенные таким образом исходные данные представлены табл. 7 (объемом 50 данных). На рис. 6-8 приведены значения F в зависимости от каждой из переменных при игнорировании значений других переменных, т.е. проекции F(x, y, z) на оси х, y и z соответственно. Из рис. 6-8 трудно сделать какие-либо выводы о зависимости F(x, y, z). Для возможности применения НЛМФА построим правдоподобную таблицу данных полного факторного эксперимента. Для выявления тренда зависимостей от переменных желательно иметь как можно больше точек по этим переменным. Поэтому в качестве правдоподобной таблицы построим трехмерную матрицу 7х7х7 -табл. 8. Значения каждой переменной для матрицы выберем следующим образом. Из табл. 7 выберем минимальное и максимальное значения переменной и назначим их минимальным и максимальным значением в правдоподобной табл. 8. Остальные значения равномерно распределим между ними. Для нахождения правдоподобных значений F табл. 8 применим линейную интерполяцию и экстраполяцию следующим образом. Для точки ячейки табл. 8 с соответствующими координатами x, y, z найдем ближайшие (в данном случае 3) точки из табл. 7 и их значения F. Проведем через них гиперплоскость и на ней по координатам ячейки определим значение F для табл. 8. Погрешности в восстановлении значений F, возникающие при линейной интерполяции, особых тревог не вызывают. Но при экстраполяции возможны существенные погрешности. В данном случае мы попытаемся избежать их тем, что значения F для табл. 8, выходящие за рамки диапазона значений F табл. 7, будем заменять соответственно на максимальное или минимальное значения этого диапазона. Таблица 7 случайные реализации функции F(x, y, z) x у z F x у z F 2,6764 2,8866 2,6005 4,7179 2,3147 0,2888 3,2437 3,9953 1,5392 0,9804 0,6815 1,9480 1,0097 1,8386 1,7616 2,7392 3,1365 0,4032 0,0158 3,1623 1,5039 2,8439 3,3165 4,6205 0,8210 3,6922 1,8866 4,2268 1,0320 0,511 1,1767 1,6465 2,5785 0,8183 2,8719 3,9455 3,7626 1,2241 2,3253 4,5895 0,4519 0,6675 1,3541 1,5759 3,4496 2,2110 2,1921 4,6469 3,7799 3,7546 1,7726 5,6149 3,0154 1,4367 2,9802 4,4765 0,3782 3,8634 0,7055 3,9455 3,1905 0,6602 1,6480 3,6512 3,7438 1,7307 0,8000 4,2013 1,3121 1,8827 1,2491 2,6128 1,0148 1,4688 0,4981 1,8534 3,3073 3,8369 2,1616 5,5076 3,5466 2,3149 1,0769 4,3700 1,5296 0,5563 1,2785 2,0698 0,2733 1,8543 3,2704 3,7695 3,6226 3,3245 2,2506 5,4075 3,6349 0,7826 2,4462 4,4508 2,0570 0,1075 0,5900 2,1427 1,2149 2,9419 1,3548 3,4593 2,0742 1,8437 1,1762 3,0141 3,4283 3,2259 0,1270 4,7092 1,3404 1,8278 1,6303 2,7920 3,8666 1,0442 3,3020 5,1908 1,8673 1,2905 0,2734 2,2863 3,1817 3,0439 1,3687 4,6110 0,3130 3,1428 3,1758 4,4790 3,8757 2,0697 2,0750 4,8590 1,2579 2,4838 2,6377 3,8353 0,3100 0,4594 1,0888 1,2217 2,2449 2,7834 1,2914 3,8020 2,1599 0,1863 0,0922 2,1699 3,3473 1,1541 3,5102 4,9858 3,5094 3,0659 0,2031 4,6644 3,4601 1,2091 1,5704 3,9876 3,4195 2,7636 0,5365 4,4292 2,6376 2,0393 3,5145 4,8444 2,0991 3,1560 2,0025 4,2868 1,9334 2,9513 0,1467 3,5313 2,1045 3,1147 1,8196 4,1763 1,0321 2,8059 1,5724 3,3781 0,3662 1,5288 0,9893 1,8575 2,5861 0,5313 1,9783 3,2991 12 3 4 х Рис. 6. Проекция F(x, y, z) из табл. 7 на ось x ♦ ч ♦ 4 < Ж, ♦ ♦ ► ;♦> < ♦ ♦ ♦ ♦♦ А ♦ ♦ 4 ♦ Рис. 8. Проекция F(x, y, z) из табл. 7 на ось z 0 12 3 У Рис. 7. Проекция F(x, y, z) из табл. 7 на ось y б 5 Поскольку, полученная таким образом табл. 8 имеет достаточно большой объем, здесь она представлена только своими 7-ю первыми и 7-ю последними строками. Для анализа примем начальную степень полинома 2, а число переменных в разделенных множествах по одной, как в примере 4, так как уже при 2 переменных в разделенных множествах и 7 значениях каждой переменной система была бы неопределенной - число степеней свободы стало бы меньше нуля. Результат анализа табл. 8 с помощью НЛМФА представлен табл. 9. В ней: с - несмещенное среднеквадратичное отклонение модели от данных табл. 9; ч.с.с. - число степеней свободы - разница между числом данных табл. 7 и числом определяемых параметров модели (числом связей моде- Результирующее приближение имеет вид: L(x, y, z) = 0,281- F + 0,9109 ■ F2 « f(x) + f2(y) + f3(z) = L(x) + L(y) + + L(z) - 2L(0), где L(0) = 2,528, а L(x), L(y), L(z) представлены рис. 9-11. Поскольку новая шкала, найденная НЛМФА, как и в примере 4, имеет вид bl ■ F (x, y, z) + b2 ■ F2 (x, y, z) = L (x, y, z), Таблица 8 Правдоподобная таблица для F(x, y, z) x У z F x У z F 0,2733 0,1076 0,0158 1,2218 0,8737 0,1076 0,0158 1,4210 0,2733 3,8635 3,5145 5,2687 1,4741 0,1076 0,0158 1,4673 0,8737 3,8635 3,5145 5,4168 2,0745 0,1076 0,0158 2,0474 1,4741 3,8635 3,5145 5,5649 2,6749 0,1076 0,0158 2,6230 2,0745 3,8635 3,5145 5,6150 3,2753 0,1076 0,0158 3,1729 2,6749 3,8635 3,5145 5,6150 3,8757 0,1076 0,0158 3,8406 3,2753 3,8635 3,5145 5,6150 3,8757 3,8635 3,5145 5,6150 Таблица 9 результаты аппроксимации НЛмФА правдоподобной табл/ 8 Разделение переменных на группы в приближающей сумме L {F(x, y, z)} CT - ср.кв. погрешн. ч.с.с. - число степеней свободы Приближение принято? {x}, {y}, {z} 0,2809F+ 0,0911-F2 1,5 30 Да {x}, {y} 0,2809F+ 0,09109F2 2,19 36 Нет {x}, {z} 0,281F+ 0,911F2 2,32 36 Нет {У}, {z} 0,281F+ 0,9109-F2 2,16 36 Нет {x}, {y}, {z} F 1,71 31 Нет Рис. 9. Значения функции L(x) Рис. 10. Значения функции L(y) Рис. 11. Значения функции L(z) то F=~b,±№ -4b2L 2 b2 Из рис. 9-11 следует, что L(x), L(y), L(z) отличаются от линейных зависимостей и, скорее всего, они ближе к полиномам 2-й степени. Поэтому, как и в примере 4, функцию F будем искать в виде: F = Va1x + a2x2 + ay + ay2 + a5z + a6z2 + a7 + a8. Приближение табл. 7 этой формулой со стандартной ошибкой о
Землянухин В.В., Кабанов Л.П., Макаровский П.Л. и др. Скорость смачивания в 7-стержневой сборке из циркониевого сплава при параметрах аварийного охлаждения ВВЭР / Препринт ИАЭ им. И.В. Курчатова, ИАЭ-4118/3, 1985.
Халтурина Д.А., Коротаев А.В. Русский крест. - М., 2006.
Рабкин Е.Б., Соколова Е.Г., Лосева Е.И. Пороги цветоразличения после адаптации к различным уровням насыщенности цветовых полей у аномальных трихроматов // ДАН СССР. - 1976. - Т. 228, № 1. - C. 242-243.
Мордашев В.М. О линейной комбинации функций многих переменных, наилучшим образом приближающейся суммой функций меньшего числа переменных // ДАН СССР. - 1971. - Т. 198, № 2. - С. 290.
Мордашев В.М. Планирование и анализ данных для синтеза многомерных закономерностей (нелинейный многофакторный анализ) // Вопросы атомной науки и техники. Сер. Физика ядерных реакторов. -2008. - Вып. 2. - С. 3-20.
Колмогоров А.Н. О представлении непрерывных функций нескольких переменных в виде суперпозиций непрерывных функций одного переменного и сложения // ДАН СССР. - 1957. - Т. 114, № 5.- С. 953-956.
Арнольд В.И. О представлении функций двух переменных в виде X[q>(x) + ИУ)] // УМН. - 1957. - Т. 12, № 2. - С. 119-121.