3.6. Нелинейная регрессия

Соотношения между социально-экономическими явлениями и процессами далеко не всегда можно выразить линейными функциями, так как при этом могут возникать неоправданно большие ошибки. В таких случаях используют нелинейную регрессию. Таким образом, если между экономическими явлениями существуют нели­нейные соотношения, то они выражаются с помощью соответ­ствующих нелинейных функций: например, равносторонней ги­перболы , параболы второй степени и др.

Различают два класса нелинейных регрессий:

• регрессии, нелинейные относительно включенных в анализ объясняющих переменных, но линейные по оцениваемым па­раметрам;

• регрессии, нелинейные по оцениваемым параметрам. Примером нелинейной регрессии по включаемым в нее объ­ясняющим переменным могут служить следующие функции:

• полином второй степеней,

• полином третьей - ;

• равносторонняя гипербола .

К нелинейным регрессиям по оцениваемым параметрам от­носятся функции:

• степенная ;

• показательная ;

• экспоненциальная .

Нелинейная регрессия по включенным переменным не таит каких-либо сложностей в оценке ее параметров. Она определяет­ся, как и в линейной регрессии, методом наименьших квадратов (МНК), ибо эти функции линейны по параметрам. Так. в парабо­ле второй степени

.

заменяя переменные , , получим двухфакторное урав­нение линейной регрессии:

.

для оценки параметров которого, как будет показано в гл. 3, ис­пользуется МНК.

Соответственно для полинома третьего порядка

,

при замене , получим трехфакторную модель линейной регрессии:

,

а для полинома го порядка

,

получим линейную модель множественной регрессии с k объяс­няющими переменными:

.

Следовательно, полином любого порядка сводится к линей­ной регрессии с ее методами оценивания параметров и проверки гипотез. Как показывает опыт большинства исследователей, сре­ди нелинейной полиномиальной регрессии чаще всего использу­ется парабола второй степени; в отдельных случаях — полином третьего порядка. Ограничения в использовании полиномов бо­лее высоких степеней связаны с требованием однородности ис­следуемой совокупности: чем выше порядок полинома, тем боль­ше изгибов имеет кривая и соответственно менее однородна со­вокупность по результативному признаку.

Парабола второй степени целесообразна к применению, если для определенного интервала значений фактора меняется харак­тер связи рассматриваемых признаков: прямая связь меняется на обратную или обратная на прямую. В этом случае определяется значение фактора, при котором достигается максимальное (или минимальное) значение результативного признака: приравнива­ем к нулю первую производную параболы второй степени:

, т. е. и

Если же исходные данные не обнаруживают изменения нап­равленности связи, то параметры параболы второго порядка ста­новятся трудно интерпретируемыми, а форма связи часто заме­няется другими нелинейными моделями.

Применение МНК для оценки параметров параболы второй степени приводит к следующей системе нормальных уравнений:

(3.33)

Решают эту систему тем или другим способами получают числовые значения неизвестных параметров .

Пример 3.3. По данным табл. 13.4 исследовать зависи­мость урожайности зерновых культур Y (ц/га) от количества осадков Х (см), выпавших в вегетационный период.

№ п/п	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15
Количество осадков (см)	25	27	30	35	36	38	39	41	42	45	46	47	50	52	53
Урожайность (ц/га)	23	24	27	27	32	31	33	35	34	32	29	28	25	24	25

Решение. Из качественных сообра­жений можно предпо­ложить, что увеличе­ние количества вы­павших осадков при­водит к увеличению урожайности до неко­торого предела, после чего урожайность бу­дет снижаться. Поэтому можно предположить, что наиболее подходящим уравнением регрессии будет уравнение параболы

.

При и кривая симметрична относительно высшей точки т. е. точки перелома кривой, изменяющей направление а именно рост на падение. Такого рода функцию можно наблюдать в экономике труда при изучении зависимости заработной платы работников физического труда от возраста — с увеличе­нием возраста повышается заработная плата ввиду одновременного увеличения опыта и повышения квалификации работника. Однако с определенного возраста ввиду старения организма и снижения производительности труда дальнейшее повышение воз­раста может приводить к снижению заработной платы работника. Если параболическая форма связи демонстрирует сначала рост, а затем снижение уровня значений результативного признака, то определяется значение фактора, при котором достигается макси­мум. Так, предполагая, что потребление товара А (единиц) в зави­симости от уровня дохода семьи (тыс. руб.) характеризуется урав­нением вида . Приравнивая к нулю первую про­изводную

, найдем величину дохода, при которой потребление максимально, т. е. при тыс. руб.

При и парабола второго порядка симметрична от­носительно своей низшей точки, что позволяет определять мини­мум функции в точке, меняющей направление связи, т. е. сниже­ние на рост. Так, если в зависимости от объема выпуска продук­ции затраты на производство характеризуются уравнением , то наименьшие затраты достигаются при выпуске продукции ед., т. е..

В этом можно убедиться, подставляя в уравнение значения х.

	10	11	12	13	14	15	16	17
	800	782	768	758	752	750	752	758

Ввиду симметричности кривой парабола второй степени да­леко не всегда пригодна в конкретных исследованиях. Чаще ис­следователь имеет дело лишь с отдельными сегментами парабо­лы, а не с полной параболической формой. Кроме того, параметры параболической связи не всегда могут быть логически истол­кованы. Поэтому если график зависимости не демонстрирует четко выраженной параболы второго порядка (нет смены направ­ленности связи признаков), то она может быть заменена другой нелинейной функцией, например степенной. В частности, в ли­тературе часто рассматривается парабола второй степени для ха­рактеристики зависимости урожайности от количества внесен­ных удобрений. Данная форма связи мотивируется тем, что с уве­личением количества внесенных удобрений урожайность растет лишь до достижения оптимальной дозы вносимых удобрений. Дальнейший же рост их дозы оказывается вредным для растения, и урожайность снижается. Несмотря на несомненную справедли­вость данного утверждения, следует отметить, что внесение в почву минеральных удобрений производится на основе учета достижений агробиологической науки. Поэтому на практике час­то данная зависимость представлена лишь сегментом параболы, что и позволяет использовать другие нелинейные функции. В ка­честве примера рассмотрим табл. 3.3.

Таблица 3.3

Зависимость урожайности озимой пшеницы от количества внесенных удобрений

№ п\п	Внесено удобрений, ц на 1 га,	Урожайность, ц с1 га,
1	2	3	4	5	6	7	8	9
1 2 3 4 5	1 2 3 4 5	6 9 10 12 13	1 4 9 16 25	1 8 27 64 125	1 16 81 256 625	6 18 30 48 65	6 36 90 192 325	6,2 8,5 10,4 11,9 13,0
	15	50	55	225	979	167	649	50,0

Поданным табл. 3.3 система нормальных уравнений составит:

Решая ее методом определителей, получим: . Откуда параметры искомого уравнения составят: == 3,4; =2,986; 0,214, а уравнение па­раболы второй степени примет вид

.

Подставляя в это уравнение последовательно значения х, найдем теоретические значения (см. табл. 3.3, гр. 9).

Как видно из табл. 3.3, уравнение параболы второго порядка хорошо описывает рассматриваемую зависимость. Сумма квад­ратов отклонений остаточных величин . Ввиду то­го, что данные табл. 3.3 демонстрируют лишь сегмент параболы второго порядка, то рассматриваемая зависимость может бытьохарактеризована и другой функцией. Используя, в частности, степенную функцию , было получено уравнение регрес­сии . Для него, что означает еще лучшую сходимость фактических и расчетных значенийy.

Среди класса нелинейных функций, параметры которых без особых затруднений оцениваются МНК, следует назвать хорошо известную в эконометрике равностороннюю гиперболу: .

Она может быть использована не только, как уже указывалось в параграфе (3.2), для характеристики связи удельных расходов сырья, материалов, топлива с объемом выпускаемой продукции, времени обращения товаров от величины товарооборота, т.е. на микроуровне, но и на макроуровне. Классическим ее примером является кривая Филлипса, характеризующая нелинейное соот­ношение между нормой безработицы x и процентом прироста за­работной платы у:

.

Английский экономист А. В. Филлипс, анализируя данные более чем за 100-летний период, в конце 50-х гг. XX в. установил обратную зависимость процента прироста заработной платы от уровня безработицы.

Для равносторонней гиперболы вида №№, заменив , заменив на z, получим линейное уравнение регрессии оценка параметров которого может быть дана МНК. Система нормальных уравнений составит:

. (3.34)

При > 0 имеем обратную зависимость, которая при ха­рактеризуется нижней асимптотой, т. е. минимальным предель­ным значением у, оценкой которого служит параметр a. Так, для кривой Филипса

величина параметра a, равная 0,00679, означает, что с ростом уровня безработицы темп прироста заработной платы в пределе стремится к нулю. Соот­ветственно можно определить тот уровень безработицы, при ко­тором заработная плата оказывается стабильной и темп ее при­роста равен нулю.

При < 0 имеем медленно повышающуюся функцию с верх­ней асимптотой при , т. е. с максимальным предельным

уровнем у, оценку которого в уравнении дает пара­ метр .

Примером может служить взаимосвязь доли расходов на товары длительного пользования и общих сумм расходов (или доходов). Математическое описание подобного рода взаимосвя­зей получило название кривых Энгеля. В 1857 г. немецкий ста­тистик Э. Энгель на основе исследования семейных расходов сформулировал закономерность — с ростом дохода доля дохо­дов, расходуемых на продовольствие, уменьшается. Соответ­ственно с увеличением дохода доля доходов, расходуемых на непродовольственные товары, будет возрастать. Однако это уве­личение не беспредельно, ибо на все товары сумма долей не мо­жет быть больше единицы, или 100%, а на отдельные непродо­вольственные товары этот предел может характеризоваться ве­личиной параметра а для уравнения вида

,

где у — доля расходов на непродовольственные товары;

х — доходы (или общая сумма расходов как индикатор дохода).

Правомерность использования равномерной гиперболы для кривой Энгеля довольно легко доказывается.

Соответственно можно определить границу величины дохода, дальнейшее увеличение которого не приводит с росту доли рас­ходов на отдельные непродовольственные товары.

Вместе с тем равносторонняя гипербола не являет­ся единственно возможной функцией для описания кривой Эн­геля. В 1943 г. Уоркинг и в 1964 г. Лизер для этих целей использо­вали полулогарифмическую кривую .

Заменив наz, опять получим линейное уравнение: . Данная функция, как и предыдущая, линейна по параметрам и нелинейна по объясняющей переменной х. Оценка параметров и может быть найдена МНК. Система нормальных уравнений при этом окажется следующей:

(3.35)

Применим полулогарифмическую функцию зависимости до­ли расходов на товары длительного пользование в общих расхо­дах семьи от дохода семьи

(табл. 3.4).

Таблица 3.4

Доля расходов на товары длительного пол в зависимости от дохода семьи

Среднемесячный доход семьи, тыс. долл. США, x	1	2	3	4	5	6
Процент расходов на товары длительного пользования, y	10	13,4	15,4	16,5	18,6	19,1

Суммы, необходимые для расчета, составили:

.

Решая систему нормальных уравнений

мы получили уравнение регрессии , кото­рое достаточно хорошо описывает исходные соотношения дохо­да семьи и доли расходов на товары длительного пользования, что видно из сравнения фактических и теоретических значений у:

	9,9	13,4	15,5	17,0	18,1	19,1	Сумма
y	0,1	0,0	-0,1	-0,5	0,5	0,0	0,0
	0,01	0,0	0,01	0,25	0,25	0,0	0,52*
*При более точном подсчете эта величина составит 0,4864.

Возможны и иные модели, нелинейные по объясняющим пе­ременным. Например, . Соответственно система нормальных уравнений для оценки параметров составит:

. (3.36)

Уравнения с квадратными корнями использовались в иссле­дованиях урожайности, трудоемкости сельскохозяйственного производства. В работе Н. Дрейпера и Г. Смита справедливо от­мечено, что если нет каких-либо теоретических обоснований в использовании данного вида кривых, то основная цель подобных преобразований состоит в том, чтобы для преобразованных пере­менных получить более простую модель регрессии, чем для ис­ходных данных.

Иначе обстоит дело с регрессией, нелинейной по оценивае­мым параметрам. Данный класс нелинейных моделей подразде­ляется на два типа: нелинейные модели внутренне линейные и нелинейные модели внутренне нелинейные. Если нелинейная мо­дель внутренне линейна, то она с помощью соответствующих пре­образований может быть приведена к линейному виду. Если же нелинейная модель внутренне нелинейна, то она не может быть све­дена к линейной функции. Например, в эконометрических ис­следованиях при изучении эластичности спроса от цен широко используется степенная функция:

где спрашиваемое количество;

цена;

случайная ошибка.

Данная модель нелинейна относительно оцениваемых пара­метров, ибо включает параметры а и b не аддитивно. Однако ее можно считать внутренне линейной, ибо логарифмирование дан­ного уравнения по основанию е приводит его к л шейному виду:

.

Соответственно оценки параметров a и b пут быть найдены МНК. В рассматриваемой степенной функции предполагается, что случайная ошибка е мультипликативно связана с объясняющей пе­ременной х. Если же модель представить в виде то она становится внутренне нелинейной, ибо ее невозможно превратить в линейный вид.

Внутренне нелинейной будет и модель вила

или модель

,

ибо эти уравнения не могут быть преобразованы в уравнения, ли­нейные по коэффициентам.

В специальных исследованиях по регрессионному анализу часто к нелинейным относят модели, только внутренне нелиней­ные по оцениваемым параметрам, а все другие модели, которые внешне нелинейные, но путем преобразований параметров могут быть приведены к линейному виду, относятся к классу линейных моделей. В этом плане к линейным относят, например, экспонен­циальную модель , ибо логарифмируя ее по натураль­ному основанию, получим линейную форму модели

.

Если модель внутренне нелинейна по параметрам, то для оценки параметров используются итеративные процедуры, ус­пешность которых зависит от вида уравнений и особенностей применяемого итеративного подхода. Модели внутренне нели­нейные по параметрам могут иметь место в эконометрических исследованиях. Однако гораздо большее распространение полу­чили модели, приводимые к линейному виду. Решение такого ти­па моделей реализовано в стандартных пакетах прикладных прог­рамм. Среди них, в частности, можно назвать и обратную модель вида

Обращая обе части равенства, получим линейную форму мо­дели для переменной :

Среди нелинейных функций, которые могут быть приведены к линейному виду, в эконометрических исследованиях очень ши­роко используется степенная функция . Связано это с тем, что параметр в ней имеет четкое экономическое истолко­вание, т. е. он является коэффициентом эластичности. Это значит, что величина коэффициента показывает, на сколько процентов изменится в среднем результат, если фактор изменится на 1 %. Так, если зависимость спроса от цен характеризуется уравнением вида , то, следовательно, с увеличением цен на 1 % спрос снижается в среднем на 1,12 %. О правомерности по­добного истолкования параметра для степенной функцииможно судить, если рассмотреть формулу расчета коэф­фициента эластичности

где первая производная, характеризующая соотношение прирос­тов результата и фактора для соответствующей формы связи.

Для степенной функции она составит: . Соот­ветственно коэффициент эластичности окажется равным:

Коэффициент эластичности, естественно, можно определять и при наличии других форм связи, но только для степенной функ­ции он представляет собой постоянную величину, равную па­раметру . В других функциях коэффициент эластичности за­висит от значений фактора х. Так, для линейной регрессии функция и эластичность следующие:

и

В силу того что коэффициент эластичности для линейной функции не является величиной постоянной, а зависит от соот­ветствующего значения х, то обычно рассчитывается средний по­казатель эластичности по формуле

Для оценки параметров степенной функции при­меняется метод наименьших квадратов к линеаризованному уравнению, т.е. решается система нормальных уравнений:

Параметр определяется непосредственно из системы, а пара­метр — косвенным путем после потенцирования величины . Так, решая систему нормальных уравнений зависимости спроса от цен, было получено уравнениеЕсли потенцировать его, получим:

Поскольку параметр экономически не интерпретируется, то нередко зависимость записывается в виде логарифмически ли­нейной. В виде степенной функции изучается не только эластичность спроса, но и предложения. При этом обычно эластичность спроса характеризуется параметром < 0, а эластичность предложения: > 0.

Поскольку коэффициенты эластичности представляют эко­номический интерес, а виды моделей не ограничиваются только степенной функцией, приведем формулы расчета коэффициентов эластичности для наиболее распространенных типов уравнений рег­рессии (табл. 3.5).

Таблица 3.5

Коэффициенты эластичности для ряда математических функций

Вид функции,	Первая производная,	Коэффициенты эластичности,
Линейная
Парабола второго порядка
Гипербола
Показательная
Степенная
Полулогарифмическая
Логарифмическая
Обратная

Несмотря на широкое использование в эконометрике коэф­фициентов эластичности, возможны случаи, когда их расчет эко­номического смысла не имеет. Это происходит тогда, когда для рассматриваемых признаков бессмысленно определение измене­ния значений в процентах. Например, вряд ли кто будет опреде­лять, на сколько процентов может измениться заработная плата с ростом стажа работы на 1 %. Или, например, на сколько процен­тов изменится урожайность пшеницы, если качество почвы, из­меряемое в баллах, изменится на 1 %. В такой ситуации степенная функция, даже если она оказывается наилучшей по формаль­ным соображениям (исходя из наименьшего значения остаточ­ной вариации), не может быть экономически интерпретирована. Например, изучая соотношение ставок межбанковского кредита у (в процентах годовых) и срока его предоставления х (в днях), было получено уравнение регрессии с очень вы­соким показателем корреляции (0,9895). Коэффициент эластич­ности 0,352% лишен смысла, ибо срок предоставления кредитане измеряется в процентах. Значительно больший интерес для этой зависимости может представить линейная функция , имеющая более низкий показатель корреля­ции 0,85. Коэффициент регрессии 0,403 показывает в процент­ных пунктах изменение ставок кредита с увеличением срока их предоставления на один день.

В моделях, нелинейных по оцениваемым параметрам, но приводимых к линейному виду, МНК применяется к преобразо­ванным уравнениям. Если в линейной модели и моделях, нели­нейных по переменным, при оценке параметров исходят из кри­терия , то в моделях, нелинейных по оцениваемымпараметрам, требование МНК применяется не к исходным дан­ным результативного признака, а к их преобразованным величи­нам, т. е. . Так, в степенной функции МНК применяется к преобразованному уравнению.

Это значит, что оценка параметров основывается на миними­зации суммы квадратов отклонений в логарифмах.

.

Соответственно если в линейных моделях (включая нелиней­ные по переменным) , то в моделях, нелинейных пооцениваемым параметрам,

.

Вследствие этого оценка параметров для линеаризуемых функций МНК оказываются несколько смещенной.

Возьмем, например, показательную кривую: или равносильную ей экспоненту . Прологарифмировав, имеем:

.

Применяя МНК, минимизируем . Система нор­мальных уравнений составит:

Из первого уравнения видно, что

Предположим, что фактические данные сложились так, что . Тогда или , т. е. параметр представляет собой среднюю геометрическую из значений переменной у. Между тем в линейной зависимости при параметр

т. е. средней арифметической. Поскольку средняя геометри­ческая всегда меньше средней арифметической, то и оценки па­раметров, полученные из минимизации , будут нес­колько смещены (занижены).

Практическое применение экспоненты возможно, если ре­зультативный признак не имеет отрицательных значений. Поэто­му если исследуется, например, финансовый результат деятель­ности предприятий, среди которых наряду с прибыльными есть и убыточные, то данная функция не может быть использована. Ес­ли экспонента строится как функция выравнивания по динами­ческому ряду для характеристики тенденции с постоянным тем­пом, то , где у — уровни динамического ряда; t - хроноло­гические даты, параметр b означает средний за период коэффи­циент роста. В уравнении этот смысл приобретает вели­чина антилогарифма параметра .

При исследовании взаимосвязей среди функций, использую­щих , в эконометрике преобладают степенные зависимости — это и кривые спроса и предложения, и кривые Энгеля, и произ­водственные функции, и кривые освоения для характеристики связи между трудоемкостью продукции и масштабами производ­ства в период освоения выпуска нового вида изделий, и зависи­мость валового национального дохода от уровня занятости.

В отдельных случаях может использоваться и нелинейная мо­дель вида

так называемая обратная модель, являющаяся разновидностью гиперболы. Но если в равносторонней гиперболе преобразованию подвергается объясняющая переменная и. то для по. В результате обратная модель оказывается внутренне нелинейной и требование МНК выполняется не для фактических значений признака у, а для их обратных величин , а именно:

Соответственно

.

Проанализируем зависимость рентабельности продукции от ее трудоемкости по данным семи предприятий (табл. 3.6).

Таблица 3.6

Зависимость рентабельности продукции y (%) от ее

трудоемкости x ()

x	y
1,0	32	0,0312	0,0312	1,00	0,0285	35,1	0,0027	-3,1
1,2	28	0,0357	0,0428	1,44	0,0341	29,3	0,0016	-1,3
1,5	22	0,0455	0,0682	2,25	0,0424	23,6	0,0031	-1,6
2,0	20	0,0500	0,1000	4,00	0,0563	17,7	-0,0063	2,3
2,5	16	0,0625	0,1563	6,25	0,0703	14,2	-0,0078	1,8
2,7	15	0,0667	0,1800	7,29	0,0758	13,2	-0,0091	1,8
3,0	10	0,1000	0,3000	9,00	0,0842	11,9	0,0158	-1,9
13,9	143	0,3916	0,8785	31,23	0,3936	145,0	0,0000	-2,0

Для оценки параметров исследуемой функции по МНК система нормальных уравнений примет вид:

Исходя из данных табл. 2.6, имеем:

Решая эту систему уравнений, получим оценки параметров искомой функции: = 0,0007; = 0,0278. Соответственно уравне­ние регрессии составит:

Сравним последние две графы табл. 2.6. Получим , тогда как для обратных значений эта величина равна нулю. Кроме того, заметим, что положительные отклонения фак­тических и теоретических обратных значений сменяются на отрицательные значения для аналогичных показателей по исход­ным данным. Уравнение отражает обратную связь рассматривае­мых признаков: чем выше трудоемкость, тем ниже рентабель­ность. Поскольку данное уравнение линейно относительно величин , то если обратные значенияимеют экономический смысл, коэффициент регрессии интерпретируется, так же как в линейном уравнении регрессии. Если, например, под y подразу­меваются затраты на 1 руб. продукции, а под х — производитель­ность труда (выработка продукции на одного работника), то об­ратная величина характеризует затратоотдачу и параметр имеет экономическое содержание — средний прирост продукции в сто­имостном измерении на 1 руб. затрат с ростом производитель­ности труда на единицу своего измерения.

Уравнение вида характеризует прямую зависимостьрезультативного признака от фактора. Оно целесообразно при очень медленном повышении уровней результативного признака с ростом значений фактора.

Возможно и одновременное использование логарифмирова­ния, и преобразование в обратные величины: Про­логарифмировав, получим: . Далее заменимнаz, и тогда для оценки параметров к линейному уравнению может быть применен МНК.

При всех положительных значениях х функция возрастает; при кривая имеет точку перегиба — ускоренный рост при сменяется на замедленный рост при . Подобного типа функции используются при анализе статистических данных о бюджетах потребителей, где выдвигается гипотеза о существо­вании асимптотического уровня расходов, об изменении пре­дельной склонности к потреблению товара, о существовании «порогового уровня дохода». В этом случае при .

При использовании линеаризуемых функций, затрагиваю­щих преобразования зависимой переменной у, следует особенно проверять наличие предпосылок

МНК (они будут рассмотрены в п. 3, 10), чтобы они не нарушались при преобразовании. При не линейных соотношениях рассматриваемых признаков, приводи­мых к линейному виду, возможно интервальное оценивание па­раметров нелинейной функции. Так, для показательной кривой сначала строятся доверительные интервалы для пара­метров нового преобразованного уравнения , т. е. для и. Далее с помощью обратного преобразования определяются доверительные интервалы для параметров в исход­ном соотношении. В степенной функции доверитель­ный интервал для параметра b строится так же. как в линейной функции, т. е. . Отличие состоит лишь в том. что при оп­ределении стандартной ошибки параметра b, используются не исходные данные, а их логарифмы:

(2.28)