About methods for comparing interval alternatives of various kinds
Table of contents
Share
Metrics
About methods for comparing interval alternatives of various kinds
Annotation
PII
S265838870005703-6-1
DOI
10.33276/S265838870005703-6
Publication type
Article
Status
Published
Authors
Vladimir Zhiyanov 
Occupation: Senior researcher
Affiliation: CEMI RAS
Address: Russian Federation, Moscow, Nakhimovky prospect 47
Gennady Shepelev
Occupation: Leading researcher
Affiliation: Institute for systems analysis of Federal research center “Computer science and control” RAS
Address: B. Pionerskaya Street, Building 33, building 1, ap. 101
Edition
Abstract

Methods for comparing on effectiveness of alternatives with interval quality indicators (interval alternatives) are discussed in the paper. The methods, “mean – risk” method and method of collective risk estimating, are suitable for comparing alternatives of various kinds. The method of “mean – risk” allows, along with the value of the indicator of preference, to calculate the value of the risk indicator associated with the size of the losses when there is a possible error in choosing the “best” alternative, if it is studied independently of other available. The method of collective risk estimating allows assess the risk during choosing an effective alternative associated with the possibility of making a mistake if interval objects are compared with each other in their interconnect set. To estimate alternatives adequately it is advisable to consider both kinds of risk with using both of these methods. To implement this approach in the framework of the poly-interval approach, methods are proposed for calculating the indicators of both methods for poly-interval alternatives (fuzzy objects and alternatives, presented as generalized interval estimations).

Keywords
poly-interval alternatives, methods of comparing on effectiveness, comparing indicators
Received
02.07.2019
Date of publication
02.07.2019
Number of characters
21531
Number of purchasers
21
Views
374
Readers community rating
0.0 (0 votes)
Cite Download pdf

To download PDF you should sign in

1 Введение
2 При сравнении альтернатив по эффективности с целью выбора «лучших» следует иметь в виду, что их показатели качества могут иметь, в силу конкретики задачи, различное представление. Если, как это чаще всего имеет место в практических задачах, показатели качества измеряются в числовых шкалах, из-за неопределенности эти показатели приобретают интервальное представление. В этом случае будем называть такие альтернативы интервальными.
3 Важной особенностью задач сравнения альтернатив в условиях неопределенности является наличие неустранимого риска принятия неверного решения при выборе «лучшего» объекта. Поэтому такие задачи по крайней мере двухкритериальны: наряду с критерием, связанным с показателем качества альтернативы и оценивающим альтернативу по ее предпочтительности, необходимо на паритетных началах учитывать индикатор, характеризующий вышеуказанный риск. Таким образом существенным требованием к методам сравнения является возможность расчета обоих указанных индикаторов.
4 Следует различать моно-интервальные альтернативы, - альтернативы, показатели качества которых выражаются одной интервальной оценкой, и поли-интервальные альтернативы. Показатели качества поли-интервальных альтернатив описываются системой интервалов, каждый из которых представляет показатель качества с разной степенью уверенности, так же как неизвестный, из-за неопределенности, точечный показатель качества представляют точечные оценки, входящие в моно интервал. Необходимость в поли-интервальном подходе вызвана тем фактом, что в ряде случаев, ввиду отсутствия требуемой информации, знания о параметрах задачи и, следовательно, о показателе качества, сложно выразить моно-интервальной оценкой. Излишний размах такой оценки снижает ценность знаний и практичность получаемых при этом результатов, а излишне суженная оценка может привести к значительным ошибкам в результатах расчетов. Поли-интервальные оценки позволяют более адекватно описать неопределенность знаний о размахе и положении интервальной оценки.
5 В поли-интервальном подходе следует выделить два направления: описание интервальных оценок показателей качества в терминах теории нечеткости [1] и в рамках теории обобщенных интервальных оценок [2]. Достоинства и недостатки предложенных ранее разнообразных методов сравнения нечетких объектов анализируются в работе [3]. Эти методы предназначены только для сравнения нечетких величин. Однако на практике нужно сравнивать альтернативы с показателями качества различного вида. При этом для сопоставимости результатов сравнение необходимо производить с помощью одних и тех же методов. Наибольшее распространение получили такие в достаточной мере универсальные методы, как метод «среднее – риск» [4-7] и метод оценки коллективного риска [8, 9]. Для сравнения нечетких объектов необходим подход к получению одно-числовых оценок, аналогичных числовым оценкам теории вероятностей, таким как математическое ожидание, дисперсия, среднее полуотклонение [5]. Именно возможность исчисления указанных одно-числовых оценок, позволяет распространить на нечеткие объекты метод «среднее – риск».
6 В работе [9] показано, что при сравнении интервальных альтернатив метод «среднее – риск» и метод оценки коллективного риска, каждый их которых по-разному оценивает возникающие здесь риски различной природы, дополняют друг друга. Эти методы целесообразно объединить в рамках «комплексного» метода (многометодный подход), на первом этапе которого применяется метод «среднее – риск», а на втором, уже с учетом результатов первого этапа, метод оценки коллективного риска.
7 Цель настоящей статьи – распространить метод среднее – риск» и метод оценки коллективного риска на случай поли-интервальных оценок при сравнении альтернатив одного вида. Возможность сравнения разнородных интервальных альтернатив будет изучена во второй части настоящей статьи.
8 Метод «среднее – риск» и метод оценки коллективного риска для поли-интервальных оценок
9 При сравнении интервальных альтернатив возникают риски различной природы. Первый из них - риск как возможность получения убытков или как возможность отклонения в худшую сторону от желаемого результата. Для исчисления меры такого риска и меры предпочтительности альтернативы используется метод «среднее – риск». Оцениваемые альтернативы рассматриваются при этом как изолированные, не «взаимодействующие» объекты. Для каждой интервальной альтернативы величина критерия предпочтительности вычисляется отдельно, а затем, безотносительно к этому индикатору, вновь для каждого объекта отдельно, вычисляется тот или иной индикатор риска. Возможное, и существенное, влияние других альтернатив на показатели эффективности анализируемого объекта не принимается во внимание.
10 Математическое ожидание E случайной величины X, заданной на интервальной оценке I = [L, R] показателя качества альтернативы, служит в этом методе мерой предпочтительности объекта, а показатель среднего полуотклонения SI мерой риска. Целесообразно ввести левый SIl и правый SIr индикаторы полуотклонения. Если f(x) плотность распределения случайной величины X, то, по определению,
11 (1)
12 При этом SIl = SIr = SI для любого распределения. В каждом конкретном случае при расчете SI удобно пользоваться одной или другой формулой (1). Моно-интервальный случай для равномерного и треугольного распределений шансов рассмотрен в работе [9]. Приведем теперь соответствующие соотношения для поли-интервальных альтернатив, начав с нечетких объектов и ограничившись случаем треугольных функций принадлежности [7]. Треугольная функция принадлежности задается тройкой (L, T, R) такой, что L < T < R.
13

Предлагаемый подход к получению выражений для критериев E и SI метода «среднее – риск» основывается на процедурах дефаззификации и результатах работ [10, 11]. В [10] показано, что различные числовые характеристики, связанные с нечеткими объектами и отвечающие соответствующим характеристикам теории вероятностей, имеют возможность принимать интервальные значения. Будем пользоваться для описания поли-интервальных нечетких объектов их декомпозицией на совокупности α-уровней (срезов) и примем, что функции принадлежности нормальны, так что α Î[0, 1]. В функцию принадлежности нечеткого объекта вложены обычные, не нечеткие интервалы I(α), отвечающие α-уровням. В [11] показано, что на интервалах I(α) заданы равномерные распределения шансов. Идея развиваемого в настоящей статье подхода состоит в том, чтобы задать искомую одно-числовую оценку на α-уровне, а затем осуществить дефаззификацию.

14

Продемонстрируем процесс получения одно-числовых оценок для нечетких объектов на примере математического ожидания. Нетрудно проверить, что математическое ожидание E(α) на α-уровне имеет вид: E(α) = αT + (1 – α)EU, где EU = (LR)/2. Далее используются два способа дефаззификации. В первом из них все I(α) рассматриваются при получении одно-числовой характеристики EA как равноправные (процедура осреднения), а во втором, методе центра тяжести, вклад I(α) в интегральную одно-числовую характеристику EG увеличивается с ростом α:

15 (2)
16 В последнем соотношении множитель 2 является нормирующим. Отсюда следует, что EA = (EU + T)/2, EG = (EU + 2T)/3. Выбор способа дефаззификации определяется экспертом, решающим задачу.
17 Действуя точно так же, для одно-числовых оценок среднего полуотклонения получаем: SA= (RL)/16, SG = (RL)/24. Тем самым реализована возможность применения метода «среднее – риск» для сравнения нечетких поли-интервальных альтернатив. Одно-числовые оценки для других величин, таких как дисперсия, а также для трапецеидальной функции принадлежности, получены в [7].
18 Пусть теперь показатель качества поли-интервальной альтернативы представлен как обобщенная интервальная оценка. Такая оценка отправляется от исходной оценки в виде моно-интервала Iu = [Lu, Ru], которая размывается, не обязательно симметрично, порождая в качестве итоговой оценки показателя систему интервалов с интервалом максимальной длины Id = [Ld, Rd]. Какие именно интервалы войдут в результирующую систему, отграничиваемую Iu и Id, определяется формой так называемой поли-интервальной оценки – криволинейной трапеции, содержащей все интервалы, включаемые в их систему. Для спецификации шансов реализации интервалов, образующих систему, вводится случайная величина β, помещаемая на ось ординат двумерной плоскости и имеющая плотность распределения шансов f1(β). Величина β служит меткой интервалов, входящих в их систему. Шансы воплощения возможных точечных реализаций x на каждом из интервалов с меткой β, помещаемых на ось абсцисс двумерной плоскости, описываются условной функцией распределения с плотностью f2(x|β). Таким образом, обобщенная интервальная оценка это поли-интервальная оценка с заданной на последней плотностью совместной функции распределения f(β, x) = f1(β)f2(x|β).
19 Достаточно часто в приложениях используют поли-интервальные оценки треугольной формы, что соответствует ситуации, когда системой интервалов замещается первоначальная точечная оценка T. В этом случае поли-интервальная оценка задается тремя угловыми точками L, T, R, такими, что L < T < R. Распределения шансов f1(β) и f2(x|β) могут быть при этом любыми.
20 Примем, что распределения шансов на координатных осях поли-интервальной оценки равномерные. Тогда, интегрируя по всем β с учетом задания совместной функции распределения на поли-интервальной оценке треугольной формы, получим на [L, R] - интервале с меткой β = 0 - плотность маргинальной функции распределения шансов f(x), или плотность обобщенного равномерного распределения (ОРР). ОРР на [L, R] представляет собой вероятностную смесь равномерных распределений f2(x|β) со смешивающей функцией f1(β) также равномерной. Свойства ОРР для трапецеидальных и, как частный случай, треугольных ПИО изучены в работах [12, 13]. В этих работах показано, что плотность f(x) ОРР на поли-интервальной оценке треугольной формы имеет вид:
21 fl(x) = ln[(TL)/(Tx)]/, L < x < T, (3 A)
22 fr(x) = ln[(RT)/(xT)]/, T < x < R. (3 B)
23

Здесь = RL. Действуя обычным образом, для среднего EGU ОРР получаем тогда, что EGU = (EU + T)/2. Таким образом, EGU = EA. Во второй части настоящей статьи будет показано, что эта связь не случайна.

24 Соотношения (1) для случая ОРР принимают вид:
25

26 Следовательно, при T < EGU
27

28 а при T > EGU
29

30 Видно, что для обобщенных интервальных оценок выражения для среднего полуотклонения существенно отличаются от простых формул для нечетких объектов. Причина этого коренится в «перепутывании», смешивании на [L, R] распределений на моно-интервалах поли-интервальной оценки.
31 Второй вид риска, характерного для сравнения интервальных величин, обусловлен тем, что интервальная альтернатива, оцениваемая в момент сравнения как «лучшая» в их предъявленном множестве, может не оказаться таковой в момент снятия неопределённости, «лучшей» может быть другая альтернатива. Для расчета риска этого вида используется метод оценки коллективного риска [8]. За меру предпочтительности здесь выбираются шансы правдоподобности гипотезы о том, что анализируемая альтернатива окажется предпочтительнее других сравниваемых, а за меру риска шансы того, что в действительности хотя бы одна другая альтернатива окажется предпочтительной. В методе учитывается зависимость предпочтительности интервальной альтернативы и сопутствующего риска от контекста, то есть от конкретной совокупности сравниваемых объектов. Он позволяет оценить «коллективный» риск, величина которого может существенно превосходить величину риска при попарном сравнении. Недостаток метода является следствием того факта, что в его рамках сравнивается лишь относительная эффективность альтернативы, эффективность по отношению к другой (другим) альтернативам. При этом альтернатива, признанная эффективной при таком сравнении, сама по себе может оказаться неэффективной (убыточной). Таким образом, результаты сравнения по методу «среднее – риск» и по методу оценки коллективного риска дополняют друг друга, давая более адекватное представление об эффективности сравниваемых альтернатив. Основные положения метода оценки коллективного риска, или сравнения «в целом», состоят в следующем.
32

Пусть имеются K альтернатив Ii, i = 1, 2,…, K и пусть безразмерная величина C (Ii (I1, I2,.., Ii-1, Ii+1,…, IK)) квантифицирует степень уверенности (шансы) в истинности тестируемой гипотезы о предпочтительности того, что альтернатива Ii предпочтительнее всех прочих сравниваемых альтернатив (I1, I2,.., Ii-1, Ii+1,…, IK) в их имеющемся множестве. Пусть  и ^ - символы эквивалентности и конъюнкции соответственно. Тогда термин предпочтительнее «всех прочих» означает, что

33

Ii (I1, I2,.., Ii-1, Ii+1,…, IK) (Ii I1)(Ii I2)(Ii I3)… (Ii Ii+1)…(Ii IK).

34 Риск того, что Ii не окажется в действительности предпочтительной измеряется величиной Rs(Ii (I1, I2,.., Ii-1, Ii+1,…, IK)), дополняющей до единицы величину шансов C(Ii (I1, I2,.., Ii-1, Ii+1,…, IK)). Эта величина измеряет шансы того, что хотя бы одна альтернатива окажется предпочтительнее Ii. Используя введенные величины, природу возникновения коллективного эффекта можно описать следующими соотношениями [8]:
35

C(I1 (I2, I3,…, IK)) + C(I2(I1, I3,…, IK)) + C(I3 (I1, I2, I4,…, IK))+...+ C(IK(I1, I2,…, IK-1)) =1, Rs(I1 (I2, I3,…, IK)) + Rs(I2 (I1, I3,…, IK)) + Rs(I3 (I1, I2, I4,…, IK)) +...+ Rs(IK (I1, …, IK-1)) = K – 1.

36 Здесь возникает следующий вопрос, отличается ли упорядочение альтернатив по предпочтительности при сравнении «в целом» от результатов попарного сравнения. Ответ на этот вопрос отрицательный: порядок, определяемый при попарном сравнении, совпадает с результатами сравнения «в целом». Однако представление об истинной величине риска дает лишь сравнение «в целом». Отметим, что для поли-интервальных альтернатив практически реализуем только наиболее важный случай попарного сравнения. Именно он рассматривается далее, вновь для треугольных функций принадлежности и треугольных поли-интервальных оценок.
37

Выражения для шансов предпочтительности C(I1 I2) интервальной альтернативы I1 при сравнении с I2 зависят от взаимного расположения сравниваемых объектов, т.е. от их конфигураций. Если для моно случая имеются, с точностью до перестановки, всего четыре конфигурации сравниваемых попарно альтернатив [8], то в случае поли-интервальных альтернатив число конфигураций пар пересекающихся функций принадлежности или поли-интервальных оценок существенно богаче. Здесь мы рассмотрим только одну из них, для которой L2 < L1 < T2 < R2 < T1 < R1. Примем также, что проверяется гипотеза I1 I2.

38 В случае нечетких альтернатив для этой конфигурации правая ветвь r2(α) графика функции принадлежности объекта I2 один раз пересекает левую ветвь l1(α) объекта I1. Здесь
39

l1(α) = (1 – α)L1 + αT1, r2(α) = (1 – α)R2 + αT2.

40

Анализируя эту конфигурацию, можно заключить, что проще искать шансы C(I2 I1). Область предпочтительности I2 I1 ограничена здесь полосой a= 0, aa1, где a1 это точка пересечения r2(α) и l1(α):

41

a1 = (R2L1)/(R2T2 + T1L1).

42

Существенной отличительной чертой сравнения нечетких поли-интервальных объектов является тот факт, что вложенные в графики функций принадлежности моно интервалы обоих нечетких объектов сравниваются при одинаковых значениях α и что на всех (обычных, не нечетких) интервалах I(α), отвечающих α-уровням, заданы равномерные распределения шансов [11]. Пусть i1() и i2(a) суть отвечающие некоторому допустимому моно-интервалы объектов I1 и I2 соответственно. Из геометрии конфигурации следует, что для моно-интервалов i1(a) и i2(a) объектов I1 и I2 в области предпочтительности I2 I1 имеются только моно-конфигурации правого сдвига, при которых i1(a) сдвинуты вправо от i2(a). Это означает, что на каждом -уровне

43

C(i2(a)i1(a)) = [(1 – a)(R2L1) + a(T2T1)]2/[2(1 – a)2D1D2], (4)

44

где D1 = R1L1D2 = R2L2.

45

Пользуясь при проведении дефаззификации методом осреднения и интегрируя (3) по α в пределах от 0 до a1, получаем для индикатора риска RsA(I1 I2) = CA(I2 I1):

46

47 Подобное соотношение для оценки риска для другой конфигурации пары сравниваемых нечетких объектов получено в работе [14] при анализе риска неэффективности инвестиционного проекта.
48

Выражения для шансов предпочтительности и риска при дефаззификации методом центра тяжести получаются, при интегрировании C(i2(a)i1(a)) в пределах от 0 до 1 с весом 2. Интегрирование дает: RsG = RsA + DefR, где «дефект» DefR величины индикатора риска RsG по сравнению с величиной индикатора RsA, при расчете первого путем дефаззификации методом центра тяжести, составляет

49

50 Так как DefR < 0, то RsG < RsA и, стало быть, оценки предпочтительности, получаемые при дефаззификации методом центра тяжести, больше, чем при применении первого метода дефаззификации, метода простого осреднения.
51 Обратимся теперь к соотношениям для шансов предпочтительности и риска для метода оценки коллективного риска в формализме обобщенных интервальных оценок. Выше было отмечено, что в случае этих оценок возможна трансформация поли-интервальных объектов в моно-интервальные путем перехода к вероятностным смесям. Именно, система распределений шансов, заданных на интервалах обобщенной интервальной оценки, может быть заменена распределением, заданным на интервале наибольшей протяженности (базовом интервале) обобщенной оценки. Это распределение и является вероятностной смесью распределений шансов системы. При такой замене конфигурации относительного расположения поли-интервальных объектов переходят в конфигурации моно-интервальных объектов с сохранением отношений < > для угловых точек Ti. Таким образом, рассматриваемая нами здесь конфигурация переходит в конфигурацию правого сдвига для пары моно-интервальных объектов (оценка I1 сдвинута вправо).
52

Итак, мы имеем теперь конфигурацию правого сдвига для пары моно интервалов с обобщенными равномерными распределениями шансов на них. Ранее, используя простые геометрические соображения, соотношения для шансов предпочтительности и соответствующих рисков были получены для равномерных и треугольных распределений шансов на моно-интервальных оценках [15]. Теперь понадобятся аналогичные соотношения для произвольных распределений шансов. В рассматриваемой конфигурации мы имеем дело, как было указано выше, с ситуацией правого сдвига для моно-интервальных оценок на одинаковых a-уровнях. Пусть ij текущие точечные реализации значений показателя качества Ij, ij Î Ij, j = 1, 2. В случае конфигурации правого сдвига из полной системы событий проще выделить события, благоприятствующие истинности гипотезы I2 I1. Это события, при которых точечные реализации лежат в области (i1 Î [L1, R2])∩(i2 Î [L1, R2]). Тогда

53

54 На эту возможность оценки шансов предпочтительности при сравнении моно-интервальных альтернатив указано в работе [16]. Отметим, что С(I2 I1) = Rs(I1 I2). Отметим также, что для других конфигураций из полного поля возможных событий следует выделить те, которые благоприятствуют рассматриваемой гипотезе о предпочтительности. Это проявится в конкретизации пределов интегрирования в формулах, аналогичных вышеприведенной.
55 Из всех возможных вариантов взаимного расположения L1 и T2, R2 и T1 рассмотрим здесь случай L2 < T2 < L1 < R2 < T1 < R1. Вспоминая выражения (3) для плотностей обобщенных равномерных распределений при поли-интервальной оценке треугольной формы, когда при L < x < T f(x) = fl(x); при T < x < R f(x) = fr(x), имеем:
56

57 Интегрируя, получаем
58

59 Взятием по частям этот интеграл может быть упрощен до . Однако, фигурирующий здесь неопределенный интеграл не может быть выражен в конечном виде через элементарные функции. При задании конкретных параметров сравниваемых обобщенных интервальных альтернатив значения для шансов предпочтительности и соответствующих рисков могут быть получены при взятии этого интеграла численными методами.
60 Заключение
61 Метод среднее – риск» и метод оценки коллективного риска распространены на случай поли-интервальных оценок (нечеткие объекты и объекты, показатели качества которых представлены как обобщенные интервальные оценки) в предположении возможности сравнении альтернатив одного вида. Особенности сравнения разнородных интервальных альтернатив будет изучена во второй части настоящей статьи.

References

1. Orlovskij S.A. Problemy prinyatiya reshenij pri nechetkoj iskhodnoj informatsii. M.: Nauka. 1981. – 208 s.

2. Sternin M., Shepelev G. Obobschennye interval'nye ehkspertnye otsenki v prinyatii reshenij // Doklady akademii nauk. 2010. T. 432. № 1. S. 33–34.

3. Dorohonceanu, B., Marin, B.: A simple method for comparing fuzzy numbers. Rutgers University, Piscataway, CAIP Center. 2002.

4. Fishburn P.C. Mean-risk analysis with risk associated with below-target returns // American Economic Review. 1977. V. 67. P. 116–126.

5. Ogryczak W, Ruszczy?ski A. From stochastic dominance to mean-risk models: semideviations as risk measures // European journal of operational research. 1999. V. 116. P. 33–50.

6. Podinovskij V.V. Chislovye mery riska kak kriterii vybora pri veroyatnostnoj neopredelennosti // Iskusstvennyj intellekt i prinyatie reshenij. 2015. №. 2. S. 60–74.

7. Shepelev G.I. Sravnenie poliinterval'nykh al'ternativ: metod «srednee-risk» //Iskusstvennyj intellekt i prinyatie reshenij. 2019. № 1. S. 16 – 26. DOI 10.14357/20718594190102.

8. Shepelev G. Risk behaviour in a set of interval alternatives //International Journal ”Information models and analyses”. 2015. V. 4. P. 303–323.

9. Zhiyanov V.I., Shepelev G.I. Kompleksnyj metod sravneniya interval'nykh al'ternativ v usloviyakh riska // Vestnik TsEhMI RAN. 2018. Vyp. 3 [Electronic resource]. (Circulation date:15.01.2019). DOI: 10.33276/S0000061-0-1.

10. Dyubua D., Prad A. Teoriya vozmozhnostej. Prilozheniya k predstavleniyu znanij v informatike/ Per. s fr. - M.: Radio i svyaz', 1990 . - 288 s. (Dubois D., Prade H. Theorie des possibilites. Paris: Masson, 1988).

11. Diligenskij N.V., Dymova L.G., Sevast'yanov P.V. Nechetkoe modelirovanie i mnogokriterial'naya optimizatsiya proizvodstvennykh sistem v usloviyakh neopredelennosti: tekhnologiya, ehkonomika, ehkologiya. M.: Izdatel'stvo Mashinostroenie ? 1. 2004. 397 c.

12. Sternin M.Yu., Shepelev G.I. Analiz stsenariev v metode obobschennykh interval'nykh otsenok //Tavricheskij vestnik informatiki i matematiki. №2. 2008. S. 195–201.

13. Sternin M.Yu., Shepelyov G.I., Shepelyov N.G. Svojstva obobschennogo ravnomernogo raspredeleniya veroyatnostej. // Vtoraya mezhdunarodnaya konferentsiya «Sistemnyj analiz i informatsionnye tekhnologii» (SAIT-2007). Trudy konferentsii v 2 tomakh. M.: LKI. 2007. T.1. S. 239-242.

14. Nedosekin A.O. Nechetko-mnozhestvennyj analiz riska finansovykh investitsij. S-Pb: Sezam. 2002. - 181 s.

15. Shepelyov G., Sternin M. The adequacy of point criteria during the evaluation and comparison of interval alternatives problems //Scientific and technical information processing. 2014. V.41. № 6. P. 404 – 412.

16. Shakhnov I.F. Ehkspress-analiz uporyadochennosti interval'nykh velichin. // Avtomatika i telemekhanika. 2004. № 10, S. 67 – 84.