Проверка адекватности и средства верификации прогнозных моделей

Точность и надежность прогнозов - широко распространенные в прогностической литературе термины, смысл которых, как это представля­ется на первый взгляд, вполне очевиден. Однако содержание этих терми­нов часто толкуется достаточно субъективно. Нередки случаи, когда одно понятие подменяется другим ввиду отсутствия строгого определения дан­ных категорий [39].

О точности прогноза принято судить по величине погрешности (ошибки) прогноза - разности между прогнозируемым и фактическим зна­чением (реализацией) исследуемой переменной. Однако такой подход к оценке точности возможен только в двух случаях. Во-первых, когда пери­од упреждения уже окончился и исследователь имеет фактические значе­ния переменной. При краткосрочном прогнозировании это вполне реально. Во-вторых, когда прогноз разрабатывается ретроспективно, то есть про­гнозирование осуществляется для некоторого момента времени в про­шлом, для которого уже имеются фактические данные. Так поступают в тех случаях, когда проверяется разработанная методика прогноза.

При этом имеющаяся информация делится на две части. Одна из них, охватывающая более ранние данные, служит для оценивания пара­метров прогностической модели, а более поздние данные рассматриваются как реализации соответствующих прогностических оценок. Полученные ретроспективно ошибки прогноза в какой-то мере характеризуют точность примененной методики прогнозирования и могут оказаться полезными при сопоставлении нескольких методов. В то же время величину ошибки рет­роспективного прогноза нельзя рассматривать как окончательное доказа­тельство пригодности или, наоборот, непригодности применяемого метода прогнозирования. К ней следует относиться с известной осторожностью и при ее применении в качестве меры точности необходимо учитывать, что она получена при использовании лишь части имеющихся данных. Однако эта мера точности обладает большей наглядностью и уж во всяком случае, более надежна, чем погрешность прогноза, исчисленная для периода, ха­рактеристики которого уже были использованы при оценивании парамет­ров модели. В последнем случае погрешности, как правило, будут незна­чительны и мало зависимы от теоретической обоснованности примененной для прогнозирования модели. Точность же прогнозов будет преувеличен­ной и в известном смысле иллюзорной.

Если для ретроспективного прогнозирования применяется модель, содержащая одну или несколько экзогенных переменных, то точность про­гноза будет в значительной мере зависеть от того, насколько точно опреде­лены значения этих переменных на период упреждения. При этом возможны два пути: воспользоваться фактическими значениями экзогенных пере­менных (так называемый прогноз ex post) и ожидаемыми их значениями (так называемый прогноз ex ante). Естественно, что точность прогноза ех post будет выше, чем прогноза ex ante, так как в первом случае будет ис­ключено искажающее влияние погрешности в значении экзогенных пере­менных. О степени погрешности прогноза можно судить по относительной ошибке - отношению абсолютной погрешности прогноза к ожидаемому (или фактическому) значению признака. Проверка точности единичного прогноза, как правило, мало, что может сказать исследователю. В самом деле, на формирование исследуемого явления влияет множество разнооб­разных факторов, поэтому полное совпадение или значительное расхожде­ние прогноза и его реализации может быть следствием просто особо благо­приятных (или неблагоприятных) стечении обстоятельств. Хороший единичный прогноз может быть получен и по плохой модели, и наоборот. От­сюда следует, что о качестве прогнозов применяемых методик и моделей можно судить лишь по совокупности сопоставлений прогнозов и их реали­зации.