Estimation of immeasurable economic values by means of Hidden Markov models
Table of contents
Share
Metrics
Estimation of immeasurable economic values by means of Hidden Markov models
Annotation
PII
S265838870000180-1-1
DOI
10.33276/S0000180-1-1
Publication type
Article
Status
Published
Authors
Mikhail Filkin 
Occupation: Senior researcher
Affiliation: CEMI RAS
Address: Moscow, Nakhimovky prospect 47
Edition
Abstract
The article is devoted to the problem of estimation of immeasurable economic variables. Mathematical algorithm, based on Hidden Markov chain is considered. This algorithm provides us with the opportunity of constructing the most probabilistic estimations of hidden values relying on observable empiric data. This technique can be used for the systems, where current state depends on hidden state in previous period.
Keywords
immeasurable economic values, economic-mathematical technique, hidden Markov chains, Viterbi algorithm, Baum-Welch algorithm.
Received
05.02.2019
Date of publication
05.02.2019
Number of characters
12196
Number of purchasers
3
Views
358
Readers community rating
0.0 (0 votes)
Cite Download pdf

To download PDF you should sign in

1 Проблема непосредственно неизмеримых величин
2 Во многих эмпирических задачах экономики возникает проблема формализации или оценки некоторого фактора, который нельзя измерить непосредственно. Такого рода факторы часто называют «неизмеримыми величинами» (см., например, (Раяцкас, Плакунов 1987)). К непосредственно неизмеримым экономическим факторам можно отнести, к примеру, инновационность предприятия, уровень конкурентности рынка, фазы экономического цикла, уровень информированности агентов и др. Даже такую категорию как «вероятность», строго говоря, эмпирически невозможно измерить напрямую. Между тем, эти факторы, так или иначе, оказывают существенное влияние на экономическую действительность, и нынче широко используются при описании, объяснении и прогнозах развития экономических систем. Внесение в экономические модели и теории неизмеримых величин создает принципиальные методологические трудности. Как указывается в (Раяцкас, Плакунов 1987), «теория, сформулированная в терминах непосредственно неизмеряемых величин, непроверяемая и, следовательно, не имеет никакой ни научной, ни практической ценности». Там же утверждается, что большинство методов решения данной проблемы можно свести к двум базовым альтернативам: элиминации непосредственно неизмеримой величины или индикации. Элиминирование переменной означает формулирование экономической модели в аналогичном (или максимально близком к исходному) виде, при котором неизмеримая величина исчезает из базовых уравнений. В качестве примера элиминирования в (Раяцкас, Плакунов 1987) приводится неизмеримая функция полезности потребителя. Во многих моделях предполагается, что агент-потребитель имеет некоторую функцию полезности, которую он стремится максимизировать в процессе своей экономической активности. Между тем, в эмпирическом исследовании нельзя непосредственно измерить полезность и функцию полезности. Однако в рамках теории полезности можно переформулировать задачу в терминах функции спроса, которую в принципе можно эмпирически оценить. Таким образом, непосредственно неизмеримая переменная «полезность» элиминируется кривой спроса. Сама функция полезности при этом не оценивается, речь идет об аналогии выводов, которые делаются на основе концепций максимизации полезности и использовании функции спроса.
3 Второй подход, называемый «индикация», предполагает замену (а не устранение) непосредственно не измеряемой величины на одну или ряд других величин, которые позволяют построить оценку для неизмеримой величины. Самый простой пример – оценка математического ожидания величины выборочной средней (или медианой). Другой пример: оценка износа здания (неизмеримая величина) ежегодной величиной капитальных затрат на его поддержание. Стоит отметить, что успешность введения индикации может быть разной, и отдельным вопросом является оценка эффективности ее использования. В эконометрике разработан ряд приемлемых методов оценки эффективности индикации (см., например, (Мостеллер, Тьюки 1982)), однако, в ряде случаев используется неформальный характер связи индикативной переменной с исходной неизмеримой величиной, что требует эмпирической проверки выводов теории. Формализацию индикации непосредственно неизмеримой величины можно производить несколькими способами. Во-первых, ограничиться качественным описанием (напр., (Сазыкина, Бесчастнова 2015)) экономического фактора. К примеру, уровень конкурентоспособности предприятия можно описать градациями «высокий/низкий», фазы экономического цикла определить как «рост/высшая точка/спад», и, если в этом нет специальной необходимости, не вводить при этом количественного показателя, уточняющего данную категорию. Во-вторых, непосредственно неизмеримую величину можно получить в результате экономического моделирования. В российской и зарубежной научной теории можно найти примеры такого подхода (см. «Индексный анализ» (Суслов, Ибрагимов и др. 2005; Böhringer, Jochem 2007)). В данной статье предлагается к рассмотрению метод моделирования неизмеримых экономических величин методом скрытых марковских цепей. Описание необходимого инструментария можно найти в работах (Rabiner, Juang 1986; Rabiner 1989), а также (Baum, Petrie, Soulesand, Weiss 1970). Алгоритмы для решения частных задач алгоритма были разработаны и описаны в (Viterbi 1967; Baum, Petrie 1966). Несмотря на то, что основы вычислительного алгоритма были представлены еще в 1960-х годах, именно в последние десятилетия применение метода обретает большую популярность в связи с развитием компьютерной техники. Математически аппарат скрытых марковских цепей гибкий и относительно легко настраиваемый, что позволяют решать вычислительные проблемы различных областей науки.
4 Математическая модель индикации неизмеримой величины
5 Моделирование непосредственно неизмеримой экономической величины предлагается проводить следующим образом. Данной величине W предполагается ставить в соответствие некоторое нормальное распределение вероятности с параметрами и . Различные «качественные» состояния W, к примеру, «высокий/низкий» уровень инновационности предприятия соответствуют распределениям W1 и W2 c математическими ожиданиями и и дисперсиями и . Неизмеримая «скрытая» переменная состояния предприятия оказывает влияние на видимые переменные: таковыми, к примеру, могут быть количество инновационных продуктов на предприятии, либо их доля в общем производственном выпуске. Видимая переменная представляет собой реализацию случайного события, имеющего одно из возможных распределений W1 и W2. Задача исследователя, в таком случае, на основе имеющегося набора видимых переменных (реализаций случайных событий, соответствующих одному из двух возможных состояний предприятия) определить наиболее вероятные состояние уровня инновационности в каждый период времени. Ниже приводится математический аппарат для данного алгоритма.
6 Математический аппарат алгоритма поиска скрытых состояний неизмеримых величин
7 Данный алгоритм был адаптирован и опробован при расчете уровня конкурентности на реальном розничном рынке бензина в работе (Филькин 2017). Ниже мы приводим его формализацию для универсальной скрытой переменной W. Вначале устанавливаются управляющие параметры модели.
8

Таблица 1. Управляющие параметры модели

Обозначение Комментарий
N Число всевозможных скрытых состояний
, математические ожидания распределений скрытого состояния
, дисперсии распределений скрытых состояний
T ширина окна наблюдений
Total общее количество моментов времени наблюдений
,

вероятности нахождения системы в состоянииiв первоначальный момент времени. Изначально задаются случайными значениями от 0 до 1, нормированными на 1:

матрица вероятностей перехода между состояниями, элемент которой, находящийся в i-ой строке и j-ом столбце, равен вероятности перехода в состояние j при условии, что система находится в состоянии i. Изначально элементы задаются случайными значениями от 0 до 1 нормированными на 1 по строкам и столбцам:

9 Плотности нормального распределения для скрытых состояний задаются формулой:
10

11 В Таблице 2 приводятся дополнительные необходимые параметры модели, которые завершают инициализацию алгоритма.
12

Таблица 2. Дополнительные параметры модели

Обозначение Комментарий
t; моменты времени t, для каждого из которых реализуется скрытое состояние неизмеримой величины
последовательность наблюдений эмпирических значений скрытой переменной
Матрицу переходов A и вектор вероятностей первоначальных состояний π будет условно называться «моделью» и обозначаться M.
13 Весь алгоритм поиска скрытых состояний представляет собой итерационный процесс (алгоритм Баума-Уэлша (Baum, Petrie 1966)).
14 Процедура 1. Для эмпирической последовательности наблюдений по формуле (1) вычисляются соответствующие плотности вероятности , , . Матрица перехода A определяет вероятности получения именно такой последовательности наблюдений. Параллельно рассчитываются специальные переменные и , , необходимые при последующем расчете.
15

16

17 Вероятность получения именно этой совокупности наблюдений рассчитывается по формуле:
18

19 Процедура 2. Используя рассчитанные переменные и , устанавливаются параметры модели , наиболее точно описывающие имеющуюся совокупность наблюдений . Рассчитываются следующие условные вероятности.
20

Pt(ij) – вероятность нахождения системы в момент t - 1 в состоянии i, а в момент t в состоянии j с учетом текущей модели M и совокупности наблюдений :

Для t=1:

21 Для :
22

23 Рассчитывается еще одна вспомогательная переменная yj(t) – вероятность нахождения системы t в состоянии j при модели M и совокупности наблюдений :
24

25 Рассчитав условные вероятности Pt(ij) и yj(t), производится перерасчет модели .
26

27

28

Процедура 3. Имея «обновленные» параметры модели , повторяем процедуры 1 и 2 до тех пор, пока не будет достигнута итерационная сходимость (ее наличие указано в (Baum, Petrie 1966)).

29 Процедура 4. На данном этапе имеется рассчитанная итерационная модель , наиболее вероятно «объясняющая» совокупность наблюдений . Далее нужно выявить наиболее вероятную последовательность скрытых состояний для такой совокупности наблюдений. Для этого применяется индукционный алгоритм Витерби (Viterbi 1967).
30 Вводятся вспомогательные переменные.
31

32

33

По индукции для 

34

35

36

37 При достижении момента времени T, рассчитывается последовательность состояний P*с максимальной для этой совокупности наблюдений вероятностью. Индукционным способом выявляются скрытые состояния, соответствующие данной последовательности.
38

39

40

Для всех 

41

42

43 Процедура 5. Окно наблюдений смещается вперед на один период. Определяется новая совокупность наблюдений .Для новой совокупности проводятся процедуры 1-4, после чего происходит новое смещение вплоть до достижения конца цепочки (переменная Total).
44 В результате имеется наиболее вероятная цепочка скрытых состояний, определяемая совокупностью для любого периода времени t. Данная цепочка и есть оценка состояния неизмеримой экономической величины в каждый момент времени.
45 Приведенный алгоритм имеет общий характер и нечувствителен к природе скрытой переменной (в данном контексте мы ставим в однозначное соответствие скрытую переменную непосредственно неизмеримой величине). Это дает, с одной стороны, широту и разнообразие задач, которые можно формулировать в терминах скрытых марковских цепей. С другой стороны, эффективность представления неизмеримой переменной предложенным распределением является отдельной проблемой, которую должен учитывать исследователь. Как и в других случаях, формализации реальных экономических величин и процессов должна определяться, в том числе, непротиворечивостью выводов и (если это возможно) эмпирической верификацией. Из достоинств метода стоит отметить, во-первых, динамическую природу: для каждого момента времени вычисляется оценка неизмеримой переменной. Во-вторых, алгоритм обладает, помимо прочего, свойством прогнозной силы. Рассчитанная матрица переходов A, определяет распределение вероятности скрытого состояния в «завтрашний» момент времени. Эффективность использования алгоритма определяется, в том числе тем, насколько исследуемая экономическая система может быть поставлена в соответствие базовым ограничениям модели. К такого рода ограничениям метода стоит отнести базовое предположение о зависимости скрытого состояния экономической системы только от ее прошлого значения и независимости от более ранней истории состояний. Другим (неявным) ограничением является вероятностный характер влияния скрытого состояния на видимые переменные. Алгоритм был применен для расчета неизмеримой величины уровня конкурентности в (Филькин 2017), и, на наш взгляд, может также использоваться для широкого круга задач, где имеются подходящие эмпирические данные, и существует проблема оценки неизмеримых состояний экономических систем.

References

1. Mosteller F., T'yuki Dzh. (1982). Analiz dannykh i regressiya. M.: Finansy i statistika.T. 1 i 2.

2. Rayatskas R.L., Plakunov M.K. (1987). Kolichestvennyj analiz v ehkonomike. M.: Nauka 1987.

3. Sazykina M.Yu., Beschastnova N.V. (2015). Kachestvennyj i kolichestvennyj analiz ehkonomicheskikh agentov rynka metallurgicheskogo proizvodstva v 2004-2014 godakh // Internet-zhurnal «Naukovedenie». Tom 7. № 4.

4. Suslov V.I., Ibragimov N.M., Talysheva L.P., Tsyplakov A.A. (2005). Ehkonometriya. Novosibirsk: Izd-vo SO RAN.

5. Fil'kin M.E. (2017). Metod skrytykh markovskikh tsepej dlya otsenki urovnya konkurentnosti. // Konkurentosposobnost' v global'nom mire: ehkonomika, nauka, tekhnologii. №8 (ch. 4). – S.127-132.

6. Baum, L. E.; Petrie, T. (1966). Statistical Inference for Probabilistic Functions of Finite State Markov Chains // The Annals of Mathematical Statistics. 37 (6). – P.1554–1563.

7. Baum L. E., Petrie T., Soules G. and Weiss N. (1970). A Maximization Technique Occurring in the Statistical Analysis of Probabilistic Functions of Markov Chains // Ann. Math. Statistic. Vol. 41. – P.164-171.

8. B?hringer S., Patrick E.P. Jochem. (2007). Measuring the immeasurable – A survey of sustainability indices. // Ecological Economics. Vol. 63. Issue 1. 15 June. – P.1-8.

9. Rabiner L.R., Juang B.H. (1986). An introduction to hidden Markov models // IEEE ASSP Mag. Vol. 3. № 1. – P.4-16.

10. Rabiner L.R. (1989). A tutorial on hidden Markov models and selected applications in speech recognition // IEEE. Vol. 77. Issue 2. – P.257-286.

11. Viterbi A.J. (1967). Error bounds for convolutional codes and an asymptotically optimum decoding algorithm // IEEE Transactions on Information Theory. 13 (2). – P.260–269.