Comprehensive method for comparing interval alternatives under risk
Table of contents
Share
Metrics
Comprehensive method for comparing interval alternatives under risk
Annotation
PII
S111111110000061-0-1
DOI
10.33276/S0000061-0-1
Publication type
Article
Status
Published
Authors
Gennady Shepelev 
Occupation: Leading researcher
Affiliation: Institute for systems analysis of Federal research center “Computer science and control” RAS
Address: Russian Federation, Moscow, B. Pionerskaya Street, Building 33, building 1, ap. 101
Vladimir Zhiyanov
Occupation: Senior reseacher
Affiliation: CEMI RAS
Address: Russian Federation, Moscow, Nachimovky prospect 47
Edition
Abstract
Two types of risk, which are inherent in the problems of comparing interval alternatives, i.e. alternatives with interval quality indicators, are analyzed in the paper. In the first case, risk is related to the value of losses due to a possible error in the choice of the “best” (effective) alternative, which is studied independently of other ones. In the second case, the risk is associated with the possibility of making a mistake when alternatives are compared with each other in their group. The expediency of taking into account both types of risk to analyze the problems of comparison of interval alternatives is shown. The necessity of using at least two indicators characterizing the effectiveness of the alternative, the indicators of preference and risk, is substantiated. Such indicators and methods of their calculation are proposed for both considered types of risk. A comprehensive method for choosing effective interval alternatives based on joint using the proposed indicators was developed. The method can be used for comparing interval alternatives of any kind whose quality indicators are measured in a numerical scale.
Keywords
comparing interval alternatives, “mean – risk” method, method of collective risk estimating, comprehensive multimethod approach
Received
24.12.2018
Date of publication
12.01.2019
Number of characters
22668
Number of purchasers
3
Views
444
Readers community rating
0.0 (0 votes)
Cite Download pdf

To download PDF you should sign in

1 Введение
2 Во многих важных для практики случаях нужно уметь сравнивать имеющиеся объекты по их предпочтительности для достижения поставленных целей. Объектами сравнения могут служить инвестиционные проекты, различные варианты технико-экономических решений, показатели банковско-финансовой отчетности и альтернативы других типов. Будем называть интервальными альтернативами такие объекты сравнения, показатели качества которых измеряются, из-за неопределенности, не точечной (одно-числовой), а интервальной оценкой. Предположим, что такие интервальные оценки включают в себя все возможные в условиях конкретной исследуемой задачи точечные реализации анализируемого показателя качества. Конечно, в будущем, после завершения реализации соответствующего альтернативного объекта, когда неопределенность будет снята, интервальная оценка получит определенное единственное числовое выражение.
3 Отметим, что задачи сравнения интервальных альтернатив по самой своей природе не могут быть исчерпывающе решены чисто математическими методами. Действительно, в наиболее важных для практики случаях, когда интервальные оценки показателей качества сравниваемых альтернатив имеют ненулевое пересечение (общую часть), в принципе нельзя с определенностью сказать, какая из альтернатив из их сравниваемого множества окажется в действительности лучшей. Любая из них может оказаться таковой в будущем, в момент «снятия» неопределенности, когда интервальные оценки показателей качества заменятся их точными точечными значениями. Поэтому в момент сравнения можно судить лишь о шансах того, что какая-либо альтернатива из числа сравниваемых окажется лучшей. Всегда существует риск принятия неверного решения о выборе эффективной альтернативы. Таким образом, сравнение интервальных альтернатив, адекватное сущности задачи, должно основываться на учете по крайней мере двух критериев, - предпочтительности и риска. Для описания как шансов реализации значений интервальных показателей качества в пределах их интервальных оценок, так и шансов предпочтительности сравниваемых интервальных альтернатив в их совокупности наиболее распространен на практике аппарат функций распределения, аналогичный используемому в теории вероятностей. Именно этому подходу мы будем следовать в настоящей статье.
4 Обратим внимание на тот факт, что в задачах сравнения интервальных альтернатив возникают риски различной природы. Это, во-первых, риск как возможность получения ущерба или риск как возможность получения реального результата, отличного от намеченного, и, во-вторых, риск того, что интервальная альтернатива, выбранная в момент сравнения с другими как предпочтительная, в действительности не окажется таковой.
5 Среди методов оценки риска первого вида наиболее распространен в настоящее время метод «среднее – риск» («mean - risk»). Критерием предпочтительности служит здесь величина математического ожидания E случайной величины X, заданной на интервальной оценке I показателя качества альтернативы, а в качестве критерия риска могут выступать такие показатели как дисперсия, левая и правая полудисперсии, среднее полуотклонение (mean semideviation) и другие [1 - 2].
6 Отметим достоинства и недостатки подхода «среднее – риск». Достоинства проявляются в возможности расчета для каждой отдельной интервальной альтернативы обоих основных критериальных показателей, необходимых для оценки таких объектов, - индикатора предпочтительности альтернативы и индикатора сопутствующего риска. Однако зависимость риска от контекста, т.е. факт наличия других альтернатив в их сравниваемой группе, не принимается во внимание, что является недостатком этого подхода.
7 Этого недостатка лишен метод оценки «коллективного» риска [3 – 5]. Он предназначен для выбора предпочтительной интервальной альтернативы в их сравниваемом множестве и учитывает зависимость риска от контекста, т.е. наличия других альтернатив. За меру предпочтительности альтернатив здесь выбирается величина шансов истинности гипотезы, что тестируемая альтернатива окажется предпочтительней всех прочих сравниваемых. За меру риска принята величина шансов истинности того, что предпочтительней окажется хотя бы одна альтернатива, отличная от тестируемой. Метод имеет то преимущество, что позволяет оценить истинную величину риска, размер «коллективного» риска, который превосходит, в ряде случаев существенно, риск, оцениваемый при попарном сравнении объектов. При этом риск растет с увеличением числа сравниваемых альтернатив. Недостатки метода коренятся в том факте, что в нем оценивается лишь относительная предпочтительность альтернатив. Однако альтернатива, оцененная этим методом как предпочтительная по сравнению с другой или другими, сама по себе может оказаться неприемлемой.
8 Таким образом, в настоящее время нет подходов или методов решения задач выбора лучших интервальных альтернатив, превосходящих другие по качеству рекомендаций, предлагаемых на их основе. Каждый метод и подход имеет свои достоинства и недостатки. В связи с этим разумной представляется попытка создания комплексного метода оценки интервальных альтернатив, сочетающего при совместном использовании достоинства различных частных методов. Разработка такого комплексного метода, основанного на последовательном применении метода «среднее – риск» и метода оценки коллективного риска, а также разбор гипотетического примера его использования - цель настоящей статьи.
9 Метод «среднее – риск» и показатель среднего полуотклонения
10 Предположим для определенности, что имеют место такие управленческие ситуации, когда бóльшим значениям показателей качества альтернатив отвечают более предпочтительные объекты.
11 Как уже отмечено, математическое ожидание E случайной величины X, заданной на интервальной оценке I показателя качества альтернативы, служит в методе «среднее – риск» мерой предпочтительности объекта. Поскольку отклонения от желаемого значения показателя качества в лучшую сторону сложно связать с риском, то, начиная с давней работы [6], с риском связывают показатели, предсказывающие возможность отклонений в худшую сторону (downside risk measures), риск получения убытков. Эта концепция была развита в статье [7] после чего, как свидетельствуют результаты исследований работ [8, 9], меры риска получения убытков стали фактическим стандартом в инструментарии риск менеджмента. В последнее время среди этих мер риска центральное место занял показатель среднего полуотклонения SI [10, 11]. Он показывает среднее отклонение случайной величины, заданной на интервальной оценке [L, R], специфицированной ее левой L и правой R границами, от величины математического ожидания в нежелательную сторону. Именно этот показатель принят в настоящей статье в качестве индикатора риска в выбранной версии метода «среднее – риск».
12 Полезно различать показатели левого (SIl) и правого (SIr) средних полуотклонений. По определению
13

14 Удобно, что SIl и SIr имеют размерности, совпадающие с E, и, кроме того, для любого, не обязательно симметричного распределения, SIl = SIr = SI. Более общая формула, связывающая функции SIl и SIr для произвольного значения аргумента a [L, R], будет приведена ниже.
15 Наиболее распространены на практике равномерное и треугольное распределения шансов. Первое реализует принцип максимума энтропии, второе часто служит для экспертов простой аппроксимацией различных унимодальных распределений. Нетрудно получить, что для равномерного распределения
16 EU = (L + R)/2, SIU = (RL)/8.
17 Для треугольного распределения с модой M математическое ожидание ET = (R + M + +L)/3. Для среднего полуотклонения SI имеем: при MET
18

19 И при M > ET
20

21 Здесь левая ветвь плотности треугольного распределения fl(x) = 2(xL)/[(RL)(ML)] (при L x M), правая ветвь fr(x) = 2(Rx)/[(RL)(RM)] (при M < x R).
22 Можно показать, что как функция моды M среднее полуотклонение SI(M) выпукло вниз, монотонно убывает на интервале [L, (L + R)/2] и монотонно возрастает на интервале [(L + R)/2, R]. Функция симметрична относительно вертикальной оси M = (L + R)/2 = EU, ее минимум SImin достигается в точке M = EU, SImin = (RL)/12, а максимум SImax в точке M= =L и M = R, SImax= SI(L) = SI(R) = 8(RL)/81.
23 Как уже отмечалось, показатель SIl характеризует возможное из-за неопределенности среднее отклонение показателя качества альтернативы от значения среднего в неблагоприятную сторону. Конечно, такое среднее отклонение много меньше, чем максимально возможное. Так SIU в четыре раз меньше максимально возможного неблагоприятного отклонения.
24 Отметим, что выбор математического ожидания в качестве показателя эффективности может не соответствовать предпочтениям ЛПР, ее/его склонности к риску. Так для равномерного распределения при таком выборе ровно половина точечных реализаций показателя качества будет меньше величины математического ожидания. Целесообразно поэтому ввести показатель риска SIl(a), аналогичный среднему полуотклонению, но связанный с произвольным допустимым целевым значением a показателя качества альтернативы. Полезно также иметь выражение для SIr(a). По определению
25

26 Можно видеть, что SIl(a) = aE + SIr. Действительно,
27

28 Рассмотрим основные свойства индикатора SIl(a) для простейших случаев равномерного и треугольного распределений шансов. В первом случае значения этого индикатора может быть получено из соотношения: SIl(a) = (aL)2/[2(RL)]. В реальных задачах, когда показатель качества связан, например, с прибылью, R > 0, L < 0, т.к. при R < 0 альтернатива скорее всего a priori пригодна для реализации. Тогда SIl(a) > 0, но возможны отрицательные значения математического ожидания E. Естественно потребовать, чтоб к сравнению допускались альтернативы с E > 0. Для равномерных распределений это означает, что интервальные альтернативы, пригодные для сравнения, должны быть такими, что R > – L. Для треугольных распределений шансов на интервалах носителях соответствующее неравенство имеет вид: R + M > – L.
29 Для среднего полуотклонения SI(a) имеем в этом случае:
30 При a < M
31 SIl = (aL)3/[3(RL)(ML)].
32 И при a > M
33 SIl = aET + (Ra)3/[3(RL)(RM)].
34 Отправляясь от этих соотношений, можно вычислить значения обоих критериальных показателей метода «среднее – риск» для указанных типов распределений шансов.
35 Таким образом, методы подхода «среднее – риск» позволяют рассчитать для каждой отдельной интервальной альтернативы значения обоих основных критериальных показателей, необходимых для адекватной оценки таких объектов, - индикатора предпочтительности альтернативы и индикатора сопутствующего риска (в частности, среднего полуотклонения). Здесь уместно упомянуть еще один недостаток, присущий всем методам класса downside risk с расчетом показателей, учитывающих только левый «хвост» распределения шансов. При этом сопоставления с шансами получения выгод (правый «хвост»), - учет риска возможной упущенной выгоды, - не производится.
36 На основании величин индикаторов E и SI для различных альтернатив можно провести упорядочение последних по их приемлемости для лица, принимающего решение (ЛПР), или по эффективности альтернатив. Принимается, что при сравнении одна интервальная альтернатива эффективнее другой, если она не хуже по обоим критериям (значения показателя предпочтительности не меньше, а риска не больше), а по крайней мере по одному критерию лучше. Если это требование не выполняется, альтернативы несравнимы, а для завершения процесса сравнения необходима дополнительная информация, в частности, информация о предпочтениях лица, осуществляющего сравнение, и о ее/его склонности к риску.
37 2. Метод оценки коллективного риска
38 Смысл термина «коллективный риск» состоит в том, что величина индикатора риска зависит не только от свойств самой анализируемой в данный момент альтернативы, но и от других альтернатив в их сравниваемой группе и возрастает вместе с ростом числа сравниваемых объектов. Величина шансов того, что тестируемая альтернатива окажется предпочтительнее других в их множестве, служит в методе индикатором предпочтительности, а шансы того, что в действительности хотя бы одна из прочих альтернатив группы окажется более предпочтительной, чем тестируемая, служит индикатором риска. Таким образом, если с помощью некоторых предварительных соображений или вычислений можно уменьшить число сравниваемых альтернатив, коллективный риск снизится. Существенен вопрос, вносит ли величина коллективного риска (сравнение «в целом») поправки в упорядочение альтернатив по сравнению с упорядочением по результатам попарного сравнения? Ответ на этот вопрос отрицателен: порядок, определяемый попарным сравнением, совпадает с упорядочением при сравнении «в целом». Однако именно величина коллективного риска показывает истинный размер риска при выборе предпочтительной альтернативе в их сравниваемой группе.
39 Приведем некоторые результаты для метода оценки коллективного риска [3 - 5], которые будут использованы в комплексном подходе. Пусть безразмерная величина C(Ii (I1, I2,.., Ii-1, Ii+1,…, IK)) представляет собой шансы истинности того, что альтернатива Ii предпочтительнее сразу всех прочих альтернатив (I1, I2,.., Ii-1, Ii+1,…, IK) из первоначально заданного их множества (Ii лучше других «в целом»). Безразмерная величина Rs(Ii (I1, I2,.., Ii-1, Ii+1,…, IK)), дополняющая предыдущие шансы до единицы, является в методе индикатором риска. Можно видеть, что такой индикатор риска есть шансы истинности гипотезы о предпочтительности, противоположной тестируемой.
40 Как указано ранее, в практических целях можно ограничиться случаем попарных сравнений. Пусть распределения на сравниваемых интервалах равномерные или треугольные и проверяется гипотеза о том, что первая альтернатива предпочтительнее второй. Далее приводятся результаты, полученные нами ранее в работе [12].
41

Для совпадающих интервалов, когда L2 = L1 = L, R2 = R1 = R, C(I2 I1) = C(I1 I2) = ½. В случае конфигурации правого сдвига, когда L2 < L1 < R2 < R1, из полной системы событий проще выделить события, благоприятствующие истинности гипотезы I2 I1. Это события, при которых точечные реализации лежат в области (i1 [L1, R2])∩(i2 [L1, R2]), i1 I1, i2 I2. Однако часть этих событий одновременно благоприятствует и истинности гипотезы I1 I2. В случае равномерных распределений на сравниваемых интервалах ровно половина событий благоприятствует каждой из этих гипотез. Тогда, при равномерных распределениях на сравниваемых интервалах,

42

C(I2 I1) = R(I2 I1) = (R2L1)2/(2ΔI1ΔI2), ΔIi = RiLi.

43

В случае вложенных интервалов, когда L1 < L2 < R2 < R1, события, благоприятствующие истинности гипотезы I1 I2, таковы: {(i1 [R2, R1])∩(i2 [L2, R2])}U{(i1 [L2, R2])∩(i2 [L2, R2])}. Отсюда следует, что для равномерных распределений

44

45

Пусть теперь на первом интервале задано равномерное, а на втором треугольное распределение c модой M. Для конфигурации совпадающих интервалов: C(I2 I1) = (M –2L + R)/(3Δ). Конфигурация вложенных интервалов: Здесь C(I2 I1) = ½ + [(M + R2  +L2)/3 – (R1 + L1)/2]/Δ1. Конфигурация правого сдвига: Необходимо различать случаи M ≥ ≥R1 и M < R1. При MR1 имеем:

46

C(I1 I2) = (R1L2)3/[3Δ1Δ2(ML2)],

47 а при M < R1
48

C(I1 I2) = [(ML2)(3R1 – 2ML2) + (R1M)2(3R2 – 2MR1)/(R2M)]/(3Δ1Δ2).

49 Мы не будем приводить здесь соотношения для шансов в случаях, когда треугольные распределения заданы на обоих интервалах. Они достаточно сложные и при желании применить их можно обратиться к работе [12].
50 3. Комплексный метод сравнения и гипотетический пример его применения в группе интервальных альтернатив
51 Имея оценки интервальных альтернатив по двум критериям метода «среднее - риск», можно уменьшить количество сравниваемых объектов, устранив из их группы альтернативы с отрицательными значениями математических ожиданий распределений шансов на показателях качества. Кроме того, можно устранить также альтернативы, доминируемые (по Парето), и еще больше сузить исследуемую группу альтернатив, привлекая предпочтения ЛПР в специализированных процедурах многокритериального принятия решений [13]. С практической точки зрения этот способ отбора приемлемых интервальных альтернатив и уменьшения их числа, что приводит к снижению коллективного риска [5], не слишком нагляден для ЛПР. Вспоминая требования «интерпретируемости» применяемых процедур [2] и важности диалога с ЛПР на привычном и понятном ему/ей языке [14], может быть предложен следующий способ сравнения интервальных альтернатив с целью выбора предпочтительной, основанный на последовательном применении метода «среднее – риск» и метода оценки коллективного риска (комплексный «многометодный» подход).
52 Поскольку в методе «среднее – риск» мы имеем дело всего с двумя критериями, удобно оценки сравниваемых интервальных альтернатив по критериям отображать на плоскости, на координатных осях которой среднее полуотклонение как индикатор риска показывается, например, на оси абсцисс, а величины математического ожидания на оси ординат. Устранив прежде всего интервальные альтернативы, для которых математические ожидания шансов отрицательны, для всех оставшихся в числе N интервальных альтернатив ЛПР может задать желаемый порог D для оценок матожидания Ei, такой что EiD, и порог Q для оценок индикатора риска SI, такой что SIQ, i = 1, 2,.., N. ЛПР может варьировать задаваемые пороги, сопоставляя остающиеся после этого приемлемые для него альтернативы с его знаниями и опытом.
53 Можно ли признать оставшиеся в результате такой процедуры интервальные альтернативы объективно лучшими? Думается, что нет. Эти интервальные альтернативы можно признать таковыми лишь в рамках принятой модели и в смысле критериев этой модели. Ранее сформулированное утверждение о том, что при наличии ненулевого пересечения интервальных оценок показателей качества сравниваемых альтернатив любая из них может оказаться лучшей в момент снятия неопределенности, остается в силе.
54 Естественно теперь оценить риск этого вида для интервальных альтернатив, признанных пригодными методом «среднее – риск». Соответствующие методы, методы оценки коллективного риска, приведены в разделе 2 настоящей статьи. Возникающая при этом комплексная многометодная процедура сравнения, в ходе которой последовательно используются метод «среднее – риск» и метод оценки коллективного риска, может оказаться полезной для теории и практики решения задач сравнения интервальных альтернатив.
55 Проиллюстрируем применение многометодной процедуры на гипотетическом примере поиска лучших альтернатив в группе из 10 нижеприведенных объектов (см. Таблицу 1), задаваемых интервальными оценками их показателей качества и распределениями шансов на них.
56 Таблица 1. Группа сравниваемых интервальных альтернатив
Номер альтернативы Левая граница Правая граница
А1 -1 6
А2 -3 10
А3 -3 1
А4 2 6
А5 7 9
А6 -1 12
А7 -2 15
А8 -1 20
А9 -5 8
А10 0 11
57 Пусть распределения шансов на сравниваемых интервалах равномерные. Тогда альтернативу А3 следует исключить, ибо математическое ожидание показателя качества E = -2. Этот же вывод имеет место для этой альтернативы и для треугольного распределения шансов с модой не больше 2. Отметим также, что поскольку левая граница L5 альтернативы А5 больше правых границ R1 и R4, то альтернативы А1 и А4 также могут быть удалены из числа сравниваемых.
58 Дополнительно к равномерному рассмотрим возможность введения треугольного распределения на оставшихся интервалах с модами М2 = 4; М5 = 8; М6 = 5.5; М7 = 6; М8 = 10; М9 = 1.5; М10 = 6. Теперь можно рассчитать значения критериев метода «среднее – риск» для сравниваемых альтернатив – средних (EU и ET) и полуотклонений (SU и ST): E2U = 3.5, E2T = 3.7; E5U = 8, E5T = 8; E6U = 5.5, E6T = 5.5; E7U = =6.5, E7T = 6.3; E8U = 9.5, E8T = 9.7; E9U = 1.5, E9T = 1.5; E10U = 5.5, E10T = 5.7; S2U = 1.625; S2T = 1.1; S5U = 0.25; S5T = 0.17; S6U = 1.625; S6T = 1.08; S7U = 2.125; S7T = 1.4; S8U = 2.625; S8T = =1.77; S9U = 1.625; S9T = 1.08; S10U = 1.375; S10T = 0.93.
59

Можно видеть теперь, что альтернатива А5 доминирует альтернативы А2, А6, А9 и А10 (у А5 лучше оценки по обоим критериям). В рамках метода «среднее – риск» альтернативы А5 и А8 несравнимы, А8 лучше А5 по первому критерию и хуже по второму. Сравним их по методу оценки коллективного риска. Альтернатива А5 вложена в альтернативу А8. Используя соотношения предыдущего раздела для этой конфигурации, получаем: Rs(А8 A5) = C(А5 A8) = 0.43, а C(А8 A5) = 0.57. Таким образом, комплексный метод показывает, что альтернатива А8 предпочтительнее А5. Однако истинности этого вывода присущ достаточно большой риск.

60

Лицо, принимающее решение, может принять альтернативу А5 как безрисковую, поскольку L5 = =7 > 0. Тогда в оставшемся множестве альтернатив уже А10 доминирует альтернативы А2, А6 и А9. Несравнимы альтернативы А7, А8 и А10. Метод коллективного риска теперь дает: Rs(A8 A7) = 0.36; Rs(A8 A10) = 0.31; Rs(A10A7)= = 0.44. Таким образом, в соответствии с комплексным методом альтернативы, пригодные к принятию или дальнейшему анализу, в порядке предпочтительности таковы: А8 или А5, А10.

61 Заключение
62 В работе предложен комплексный метод сравнения интервальных альтернатив и продемонстрировано его применение в их группе. Показано, что частные методы, образующие комплексный метод, метод «среднее – риск» и метод оценки коллективного риска, вместе с предшествующими им по применению другими способами устранения неприемлемых альтернатив из числа сравниваемых, позволяют существенно уменьшить размер сравниваемой группы и выстроить альтернативы, прошедшие отбор, по эффективности. Поскольку неустранимый риск принятия неверного решения о выборе лучшей альтернативы остается и после этого, комплексный метод не предлагает окончательного решения, но выделяет объекты, пригодные для дальнейшего анализа экспертами.

References

1. Fishburn P.C. Mean-risk analysis with risk associated with below-target returns // American Economic Review. 1977. Vol. 67. P.116–126.

2. Podinovskij V.V. Chislovye mery riska kak kriterii vybora pri veroyatnostnoj neopredelennosti // Iskusstvennyj intellekt i prinyatie reshenij. 2015. T. 2. S. 60-74.

3. Shepelyov G., Sternin M. Methods for comparison of alternatives described by interval estimations// International Journal of Business Continuity and Risk Management. 2011. V. 2. Issue 1. P. 56-69.

4. Sternin M.Yu., Shepelev G.I. Otsenka riska v sovokupnosti interval'nykh al'ternativ // Iskusstvennyj intellekt i prinyatie reshenij. 2015. T. 3. S. 83–91.

5. Shepelev G. Decision-making in groups of interval alternatives // International journal “Information theories and applications”. 2016. V. 23. Issue 4. P. 303–320.

6. Roy A.D. Safety first and the holding of assets // Econometrica. 1952. V. 20(3). P. 431-449.

7. Bawa V. S. Optimal Rules For Ordering Uncertain Prospects // Journal of Financial Economics. 1975. V 2(1). P. 95-121.

8. Sortino F.A., Meer R.V. Downside Risk // Journal of Portfolio Management. 1991. V. 17(4). P. 27-31.

9. Nawrocki D. A Brief History of Downside Risk Measures // The Journal of Investing. 1999. V. 8 (3). P. 9–25.

10. Ogryczak W, Ruszczy?ski A. On Consistency of Stochastic Dominance and Mean- Semideviations Models // Mathematical Programming. 2001. V. 89. P. 217-232.

11. Grechuk B., Molyboha A., Zabarankin M. Mean-deviation analysis in the theory of choice // Risk analysis. 2012. V. 32. P. 1277 – 1292.

12. Shepelyov G., M. Sternin. The applicability of mathematical expectation indicators in comparing interval alternatives. //Advances in Decision Technology and Intelligent Information Systems. 2013. V.14. P. 32-36.

13. Petrovskij A.B. Teoriya i metody prinyatiya reshenij. Taganrog: Izd-vo YuFU. 2013. – 165 s.

14. Larichev O.I., Petrovskij A.B. Sistemy podderzhki prinyatiya reshenij. Sovremennoe sostoyanie i perspektivy razvitiya. // Itogi nauki. Tekhnicheskaya kibernetika. M.: VINITI. 1987. T. 21. S. 131-164.