Экспертные методы исследования систем управления

метки: Экспертиза, Нормативный, Обработка, Результат, Проведение, Эксперт, Оценка, Событие

Эффективность деятельности организаций, компаний, холдингов, народного хозяйства в целом в значительной степени зависит от исследования создаваемых систем управления, их рационального построения и необходимых при этом инвестиций.

Существует ряд методов исследования и оценки эффективности систем управления. Основными методами, используемыми при исследовании, являются системный анализ, исследование операций, имитационное моделирование, планирование экспериментов, распознавание объектов, метод «черного» и «белого» ящиков, экспертные оценки.

В данном реферате рассмотрим более детально методы экспертных оценок ИСУ.

Экспертные методы представляют собой точки зрения (мнения, суждения) высококвалифицированных специалистов в определенных предметных областях — экспертов, сформулированные в виде оценок объекта в содержательной, качественной или количественной форме.

Экспертные методы широко используются при синтезе процессов управления сложных систем, в менеджменте, при разработке и принятии решений, для получения различного вида оценок. Например, качества труда, надежности банка, ситуаций на финансовых рынках, исследовании систем управления и других случаях.

1. Сущность метода экспертных оценок

Сущность метода экспертных оценок заключается в проведении экспериментами интуитивно — логического анализа проблемы, с количественной оценкой суждений и формальной обработкой результатов. Полученное в результате обработки обобщенное мнение экспертов принимается как решение проблемы. Комплексное использование интуиции (неосознанного мышления), логического мышления и количественных оценок с их формальной обработкой позволяет получить эффективное решение проблемы.

Метод экспертных оценок используется для решения различных сложных неформализуемых проблем. Все множество плохо формализуемых проблем можно условно разделить на два класса.

К первому классу относятся проблемы, в отношении которых имеется достаточный информационный потенциал, позволяющий успешно решать эти проблемы. Основные трудности в решении проблем первого класса при экспертной оценки заключаются в реализации существующего информационного потенциала путем подбора экспертов, построения рациональных процедур опроса и применения оптимальных методов обработки его результатов. При этом метод опроса и обработки основывается на использовании «хорошего измерителя». Это означает, что выполняются следующие условия:

Методы оценки интеллектуальной собственности

... оценка; метод избыточной прибыли; метод основанный на «правиле 25%»; экспертные методы. Рыночный подход При рыночном подходе используется метод сравнения продаж, когда рассматриваемый актив сравнивается с аналогичными объектами интеллектуальной собственности ... данных, используемыми в сравнительном подходе, являются рынки, на которых продаются как интересы в собственности на аналогичные неосязаемые ...

• эксперт располагает большим объемом рационально обработанной информации, и поэтому он может рассматриваться как качественный источник информации (своего рода «информационный измеритель с небольшими погрешностями»);
• групповое мнение экспертов близко к истинному решению проблемы.

Если эти условия выполнятся, то для построения процедур опроса и алгоритмов обработки можно использовать теорию измерений и математическую статистику.

Ко второму классу относятся проблемы, в отношении которых информационный потенциал знаний недостаточен для выполнения указанных условий. При рении проблем этого класса экспертов уже нельзя рассматривать как «хороших измерителей». Поэтому необходимо очень осторожно проводить обработку результатов экспертизы. Применение методов осреднения, справедливых для «хороших измерителей», в данном случае может привести к большим ошибкам. Например, мнение одного эксперта, сильно отличающееся от мнения остальных экспертов, может оказаться правильным. В связи с этим для проблем второго класса в основном должна применяться качественная обработка.

Область применения метода экспертных оценок обширна и охватывает неформализуемые проблемы первого и второго классов. Перечислим типовые задачи, решаемые методом экспертных оценок:

• составление перечня возможных событий в различных областях за определенный промежуток времени;
• определение наиболее вероятных интервалов времени наступления совокупности событий;
• определение целей и задач управления, с упорядочением их по степени важности;
• определение альтернативных вариантов решения задачи, с оценкой их предпочтения;
• альтернативное распределение ресурсов для решения задач, с оценкой их предпочтительности;
• альтернативные варианты принятия решений в определенной ситуации, с оценкой их предпочтительности.

Можно ориентировочно наметить следующие основные этапы проведения экспертизы, последовательность и содержание которых будут изменяться в зависимости от реальных условий и ограничений:

• формулирование цели экспертизы;
• формирование группы специалистов-аналитиков;
• отбор и формирование группы экспертов;
• проведение опроса;
• анализ и обработка информации экспертов;

синтез объективной информации и информации, полученной в результате

экспертизы, с целью приведения их в форму, удобную для принятия решения.

Объединим некоторые этапы и более подробно остановимся на подготовке, подборе и опросе экспертов,.

1.1 Подготовка экспертизы

К подготовке экспертизы относится первые три этапа проведения экспертизы. Большое значение имеет четкое определение цели (целей) экспертизы.

Основой для выбора целей экспертизы является описании предыстории и текущего состояния проблемы. Выбор целей и характер экспертизы в значительной степени определяются существом проблемы, предполагаемыми конечными результатами и возможными способами их представления.

После определения цели (целей) экспертизы формируется группа специалистов-аналитиков, важнейшими задачами которой являются разработка методов опроса, отбор экспертов, проведение опроса, анализ и обобщение информации.

Большой объем, сложность и разнообразие задач, возлагаемых на группу аналитиков, требует включения в ее состав высококвалифицированных специалистов, как в области анализируемой проблемы, так и в смежных областях деятельности, а также специалистов по экспертным методам — математиков, психологов и социологов.

Группа аналитиков, разрабатывая метод опроса, подготавливает перечень (множество) оцениваемых событий и устанавливает совокупность устойчивых факторов, характеризующих эти события.

Задание совокупности факторов зависит от специфики и целей экспертизы и может быть выполнено на разном уровне детализации. Можно наметить следующие уровни:

• качественное описание всего множества оцениваемых событий;
• перечень событий;
• описание устойчивых факторов для каждого из событий;
• выделение числа различимых уровней для каждого события;
• выделение числа различимых уровней для каждого фактора;
• писание набора устойчивых знаний факторов для каждого уровня событий и т.д.

От уровня детализации в существенной степени зависит достоверность результатов экспертизы, причем с увеличением степени детализации согласованность экспертных оценок, как правило, увеличивается.

Сложной проблемой процедуры отбора является формирование системы характеристик эксперта, существенно влияющих на ход и результаты экспертизы. Эти характеристики должны описывать специфические свойства специалиста и возможные отношения межу людьми, влияющие на экспертизу. Для описания экспертов с точки зрения оценки качества решения проблемы вводятся следующие характеристики: компетентность, креативность, конформизм, аналитичность широта мышления, самокритичность др. Перечисленные характеристики в основном оцениваются качественно.

Компетентность — это степень квалификации эксперта в определенной области знаний. Достаточно простой и полной является Методика ГКН, в которой компетентность экспертов оценивается коэффициентом компетенции k . Он вычисляется на основе суждения эксперта о степени своей информативности по решаемой проблеме и указания типовых источников аргументации своих мнений.

Коэффициент компетенции вычисляется по формуле

k = 1/2 (

k _а

k _и

Табл.1. Эталонная таблица коэффициентов аргументации

	Степень влияния источника на мнение эксперта [Электронный ресурс]//URL: https://urveda.ru/referat/metodyi-ekspertizyi/
	В (высокая)	С (средняя)	Н (низкая)
Проведенный теоретический анализ	0,3	0,2	0,1
Производственный опыт	0,5	0,4	0,2
Обобщение работ отечественных авторов	0,05	0,05	0,05
Обобщение работ зарубежных авторов	0,05	0,05	0,05
Личное знакомство с состоянием дел за рубежом	0,05	0,05	0,05
Интуиция эксперта	0,05	0,05	0,05

k _а

Существуют подходы к оценке компетентности, основанные на учете апостериорных данных, т.е. на учете результатов экспертного оценивания.

Креативность — это способность решать творческие задачи. Оценивается на основе суждений, основанных на изучении деятельности эксперта. Конформизм — это подверженность влиянию авторитетов, которая проявляется в неустойчивости собственного мнения. Аналитичность и широта мышления — это способность выходить за рамки сложившихся представлений.

Самокритичность эксперта проявляется при самооценке уровня своей компетенции, а также при принятии решения по рассматриваемой проблеме.

К характеристикам группы экспертов можно отнести: достоверность экспертизы и затраты на нее.

Достоверность экспертизы зависит от количества экспертов в группе и количества экспертов. На рис.1 представлен график экспериментальных данных, устанавливающих монотонное возрастание достоверности с увеличением количества экспертов в группе.

Рис.1. Зависимость достоверности от количества экспертов

Достоверность экспертизы существенно зависит от качества экспертов, особенно от их компетентности. Можно утверждать, что достоверность групповой экспертизы есть монотонно возрастающая функция средней групповой самооценки компетентности, которая определяется как среднее арифметическое значение самооценок группы экспертов.

1.2 Проведение опроса экспертов

Проведение опроса экспертов (анкетирование) является наиболее эффективным и самым распространенным видом опроса. Анкетирование заключается в заполнении экспертами опросных листов — анкет.

Серьезного внимания требует подбор вопросов (признаков), которые желательно включить в анкету.

Различают три вида вопросов, по которым дается экспертная оценка:

• вопросы, ответы на которые содержат количественную оценку;
• вопросы, требующие содержательного ответа в сжатой форме;
• вопросы, требующие содержательного ответа в развернутой форме.

Пример такой группировки вопросов приведен в табл.2.

Табл.2. Виды и типы вопросов

Вид вопроса	Тип вопроса	Пример
Вопрос, ответ на который содержит количественную оценку	Оценивающий: время наступления некоторого события вероятность осуществления события количественное значение прогнозируемой характеристики объекта влияние факторов друг на друга по некоторой шкале	Когда будет создан первый образец объекта? Какова вероятность того, что к 2002г. будет создан объект с заданными характеристиками? Каково будет максимальное значение прогнозируемой характеристики объекта к 2002г.? Оцените по десятибалльной шкале вклад каждой из рассматриваемых теорий в решении проблемы
Вопрос, требующий содержательного ответа в сжатой форме	Вариантный (выбирается альтернатива)	Какой принцип использования объекта является наиболее эффективным для решения поставленной задачи в период с 2002 по 201г.: А, или В, или С, или …? Какие из перечисленных ниже изменений в структуре объекта произойдут, если будет осуществлен принцип А, или В, или С, или …?
Вопрос, требующий содержательного ответа в развернутой форме	Требующий ответа в виде: перечня сведений об объекте перечня аргументов, которые подтверждают тезис, содержащийся в вопросе	Каковы характерные особенности объекта? Каковы ваши доводы в пользу целесообразности развития объекта?

Чтобы уточнить содержание анкеты, формулировки вопросов, их последовательность, выяснить, не утомляет ли анкета опрашиваемых, не нужно ли включить дополнительные и исключить «неработающие» вопросы, заменить вопросы, допускающие двойное толкование, проводится ее проверка. Для этого подбираются «разноплановые» эксперты (по стажу работы).

Проверка осуществляется в форме личного интервью.

Анкетирование может быть очным и заочным. Недостаток очного анкетирования — возможность влияния анкетирующего руководителя на ответы эксперта. Недостаток заочного анкетирования — в возможности неправильного истолкования вопросов экспертом, затяжки в ответах и т.п. Достоинство заочного анкетирования — простота его организации, возможность привлекать без больших затрат экспертов, живущих в разных городах, и т.п.

Кроме анкет — вопросников, экспертам должна быть дана пояснительная записка, имеющая целью предопросную ориентировку экспертов и содержащая информацию о целях экспертизы, задачах опроса, объектах экспертизы, необходимые организационные сведения и инструкцию по заполнению анкет, в которой проводятся примеры порядка и способа заполнения.

2. Классический метод экспертных оценок Дельфи

Сущность метода Дельфи состоит в последовательном анкетировании экспертов различных областей науки, техники и формировании массива информации, отражающего индивидуальные оценки экспертов, основанные на строго логическом опыте. Данный метод предполагает использование серии анкет, в каждой из которых содержаться информация и мнения, полученные из предыдущей анкеты.

Область применения метода: прогноз развития науки и техники, будущих открытий и изобретений, для которых нет достаточной теоретической базы в момент составления прогноза, а также составление картины будущего мира, долгосрочного прогнозирования, изучения ряда экономических и социальных проблем. Сбор и обработка индивидуальных мнений экспертов о прогнозах развития объекта исследования производится исходя из следующих принципов:

• вопросы в анкетах ставятся таким образом, чтобы можно было дать количественную характеристику ответам экспертов;
• опрос экспертов проводится в нескольких этапов, на каждом последующем этапе вопросы и ответы все более уточняются;
• после каждого этапа всех опрашиваемых экспертов знакомят с результатами опроса;
• эксперт обосновывают оценки и мнения, отклоняющие от мнения большинства;
• статическая обработка ответов производится последовательно, от этапа к этапу, с целью получения обобщающих характеристик.

Опрос экспертов производится в четыре этапа с промежутками в два месяца.

Разумеется, еще до первого этапа должны быть проведены подготовительные мероприятия с экспертами.

Первый этап. Целью первого этапа является составление перечня событий для прогноза в определенной области науки и техники.

Первая анкета может быть полностью бесструктурной и допускать любые ответы.

Эксперты в письменной форме называют изобретения или научные открытия, которые, по их мнению, должны быть сделаны в последующие 50лет (можно взять и другой период).

При этом требуется доказать, что потребность в данных открытиях ощущается уже в настоящее время, поэтому их реализация должна осуществиться в течение 50лет. В результате этого этапа эксперты называют определенное число событий (изобретений и открытий).

После того как прогнозы группы возвратились к организатору, он должен объединить их, идентифицировать и составить перечень, который становится основой второй анкеты.

Второй этап. Экспертам направляют свободный перечень событий и просят оценить даты, когда могут произойти эти события. Эксперты приводят соображения, по которым они считают свои оценки правильными, т.е. указать причины того, почему, по их мнению, то или иное событие не должно произойти раньше или позже прогнозируемой ими даты.

После того как прогнозы и оценки дат, сделанные членами группы, вернулись к организатору, последний должен подготовить статическую сводку мнений, упоминая аргументы и доводы в пользу того, что рассматриваемое событие произойдет раньше или позже средней оценки.

Затем аналитики проводят статическую обработку полученных оценок: уточняют перечень событий и анализирует характеристики ряда, т.е. рассчитывают медианы, моды, квартили и децили.

Под медианой понимается такое значение прогнозируемого признака, которым обладает центральный член ряда, составленного в порядке возрастания значений признака. Под модой понимается наиболее часто встречающееся в ранжированном ряду значение прогнозируемого признака. Квартилем называется значение прогнозируемого признака, которым обладают члены ряда под номером, представляющим ј всего ряда (нижний квартиль) и ѕ от всего ряда (верхний квартиль).

Аналогично определяются децили.

Предположим, что от экспертов получено какое — либо число оценок. Эти оценки упорядочиваются, скажем, в порядке убывания. За медиану принимается средний член ряда (при нечетном числе экспертов), по отношению к которому число оценок с начала и с конца ряда будет одинаковым.

N ₆

Рис.2. Медиана и квартили в методе Дельфи

Каждому эксперту сообщаются значения этих характеристик. Экспертов, чьи оценки оказались в крайних квартилях, просят их мотивировать, т.е. обосновать причины расхождения с групповым мнением. Эксперты могут приводить любые аргументы или возрождения, такие же, какие они приводят во время дискуссии. Разница заключается лишь в том, что эти аргументы анонимны. Они могут пересмотреть свои мнения и при желании исправить оценки.

С полученными обоснованиями знакомят остальных экспертов, не указывая при этом, чьи они. Такая процедура позволяет всем экспертам принять в расчет обстоятельства, которые они могли случайно пропустить или которыми пренебрегли во время первого и второго этапа.

Третий этап. Третья анкета состоит из перечня событий, групповой медиана дат наступления события, верхнего и нижнего квартилей для каждого события, а также сводных данных о причинах более ранних или поздних оценок. Участники экспертизы вновь рассматривают аргументы и формулируют новые оценки по каждому событию. Если их новая оценка не попала в интервалы между квартилями, полученными на втором этапе опроса, то их просят обосновать свою точку зрения.

После того как пересмотренные оценки и новые аргументы возвратились к организатору, он опять должен суммировать оценки группы, рассчитав новые медианы и новые квартили, суммировать аргументы, представленные с обеих сторон, и подготовить на этой основе новые прогнозы.

Четвертый этап. Участникам экспертизы вновь передают перечень событий, статическое описание оценок группы и аргументы обеих сторон.

Эксперты должны принять во внимание аргументы и их критику и составить новый прогноз.

Организатор рассчитывает медианы и квартили дат каждого события. На этом заканчивается работа экспертов.

Процедуры, используемые в методе Дельфи, характеризуется тремя основными чертами: анонимность, регулируемой обратной связью и групповым ответом. Анонимность достигается применением специальных вопросников или другими способами индивидуального опроса, регулируемая обратная связь осуществляется за счет проведения нескольких этапов опроса, причем результаты каждого этапа обрабатываются и сообщаются экспертам. С помощью статических методов группового ответа уменьшается статический разброс индивидуальных оценок и получается групповой ответ, в котором правильно отражено мнение каждого эксперта.

В последние годы разработан ряд модификаций метода Дельфи. В этих модификациях изменяются многие элементы методики, используемой в классическом методе Дельфи, но принцип группового ответа соблюдается. Метод структуризации относится к модифицированным методам Дельфи.

2.1 Метод структуризации принятия решений

Сущность метода структуризации состоит в построении «дерева решений» путем многоэтапного экспертного опроса с использованием так называемой дельфийской процедуры. В результате проведения каждого этапа экспертного опроса формируются элементы одного уровня «дерева рений», производится их сравнительная оценка, отбрасываются элементы, не соответствующие принятым показателям отбора. Оставшиеся элементы подвергаются дальнейшей структуризации на более низком уровне. Такой подход дает возможность наиболее полно учесть и оценить все предложения экспертов. Каждый раз экспертам предполагаются для оценки элементы только одного уровня «дерева», что уменьшает размерность задачи и повышает обоснованность суждений экспертов. При таком подходе ускоряется процесс построения «дерева решений», так как по принятым показателям отбора элементы каждого уровня оценивают, а элементы, не соответствующие им, отбрасывают и не учитывают в дальнейшем рассмотрении.

Процедура структуризации проблемы и ее оценки предусматривает реализацию следующих этапов:

этап 1 — определение и описание проблемы;

этап 2 — структуризация проблемы на уровне подпроблемы;

этап 3 — структуризация подпроблемы на уровне тем научных исследований;

этап 4 — расчет технико-экономических характеристик элементов третьего уровня «дерева решений».

3. Метод дерева целей

Данный метод позволяет увидеть количественные и качественные взаимосвязи и отношения между отдельными целями развития организации, увязать их разные уровни с конкретными средствами и сроками достижения.

метод дерева целей 1">

Порядок построения дерева целей:

1. Определение генеральной цели системы управления;

2. Составление перечня целей, обеспечивающих достижение главной цели;

3. Их оценка и отбор для построения дерева целей;

4. Определение пересекаемости целей;

5. Построение исходного дерева целей не пересекающихся друг с другом;

6. Определение коэффициентов относительной важности и взаимной полезности

цели;

7. Построение окончательного варианта дерева целей.

3.1 «Дерево целей» на примере аэропорта «Внуково»

Генеральная цель — сохранении прибыльности аэропорта путем предоставления услуг авиакомпаниям по грузовым и пассажирским перевозкам наивысшей конкурентоспособности по России, а также в максимальном удовлетворении потребностей самого широкого круга клиентов в организации обслуживания пассажиров, багажа, груза и почты.

Система целей аэропорта Внуково:

Социальные цели:

• повышение профессионального уровня персонала;

в целях повышения эффективности работы Внуково привлечение наиболее квалифицированных молодых специалистов с потенциалом профессионального роста

организация обучения сотрудников авиакомпании английскому языку в специально созданном отделе международного обучения;

• повышение качества предполетного обслуживания экипажей ВС в соответствии с международными стандартами ИКАО.

Производственные цели:

• увеличение объемов пассажирских перевозок с нынешних трех до 19,0 — 19,5 млн. чел. в год;
• рост организации за счет увеличения объемов предлагаемых услуг и прибыли;

завершение строительства нового интермодального почтово-грузового комплекса и

нового пассажирского терминала, который станет самым современным

аэровокзалом в России.

расширение географии сети сообщений,

обеспечение качества предоставляемых услуг, определение и проведение политики в области качества,

использование инновационных решений сложных технологических задач,

позволяющих обеспечить обслуживание пассажиров и авиакомпаний на самом высоком уровне.

Научно-технические цели:

• внедрение новейших информационных технологий во всех сферах аэропортовой деятельности;
• закупка новой наземной техники;
• претворение в жизнь новых инфраструктурных проектов.

Экономические цели:

• увеличение прибыли на 30% за счет внедрения современных средств обслуживания и загрузки самолетов;
• внедрение более экономичных способов обработки багажа и грузов;
• увеличение инвестиций в модернизацию аэропорта, что позволит вывести его пропускную способность на уровень 18-20 млн. пассажиров в год.

Ресурсные цели:

• сокращение текучести кадров;
• повышение уровня заработной платы сотрудников;
• совершенствование условий труда;
• использование системы мотивации труда.

Экологические цели:

• снижение уровня шума;

снижение уровня выбросов вредных веществ в окружающую среду

4. SWOT — анализ

Применяемый для анализа системы управления метод SWOT (аббревиатура составлена из первых букв английских слов: сила, слабость, возможности и угрозы) является довольно широко признанным подходом, позволяющим провести совместное изучение внешней и внутренней среды организации. Применяя метод SWOT, удается установить линии связи между силой и слабостью, которые присущи организации и внешними угрозами и возможностями. Методология SWOT предполагает сначала выявление сильных и слабых сторон, а также угроз и возможностей, а далее — установление цепочек связей между ними, которые в дальнейшем могут быть использованы для формулирования стратегии организации.

Матрица SWOT — анализа строится в рамках двух координат. По горизонтали отображается состояние внутренней среды организации, а по вертикали — состояние ее внешней среды.

4.1 SWOT — анализ аэропорта «Внуково»

Рассмотрим сильные и слабые стороны аэропорта «Внуково».

сильным сторонам

выгодное месторасположение;

• высокая культура обслуживания;
• скоординированная работа подразделений;
• положительный имидж аэропорта среди клиентов и партнеров;
• оснащенность современным оборудованием;
• непрерывно расширяющийся спектр высококачественных услуг;
• высокий уровень безопасности;
• лидирующее положение на рынке авиаперевозок;
• соответствие аэропорта международным стандартам;
• рост объема авиаперевозок;
• внедрение передовых аэропортовых технологий.

Слабые стороны

значительная текучесть кадров;

низкий уровень заработной платы

отсутствие активной рекламы новых возможностей аэропорта;

• Выявим угрозы и возможности, которые могут возникнуть во внешней среде по отношению к организации.

Возможности:

Выгодное географическое положение;

• возможность инвестиций в строительство нового терминала;
• известные и хорошо зарекомендовавшие себя партнеры;
• рост рынка и направлений авиаперевозок;
• рост платежеспособного спроса на авиаперевозки;
• прогнозируемое увеличение объема перевозок;

снижение налогов

поддержка государства.

Угрозы:

темпы быстрого роста конкурентов;

• террористические акты;

введение новых налогов,

угроза падения платежеспособного спроса на авиаперевозки;

резкое повышение цен на материалы (например, на топливо)

рост требований по безопасности и обслуживанию пассажиров со стороны государства;

• обострение конкурентной борьбы.

Заключение

Любая компания не может проводить анализ рынка, планирование и контроль своей деятельности без исследования своих покупателей, конкурентов, посредников и других субъектов и сил, действующих на рынке, а также без сбора исчерпывающей информации об уровне сбыта и ценах. Практически нет таких фирм, которые были бы полностью удовлетворены той информацией, которую удается собрать. Поэтому залогом эффективно работающих компаний, в том числе авиакомпаний, является использование экспертных методов исследования систем управления, проведение маркетинговых исследований.

Грамотное рыночное исследование может способствовать успеху усилий авиакомпании. При неудачно построенном исследовании время и деньги могут быть потрачены впустую, быть неэффективными.

Литература

[Электронный ресурс]//URL: https://urveda.ru/referat/metodyi-ekspertizyi/

1. А.С. Малин, В.И. Мухин. Исследование систем управления: Учебник для вузов. — 2-е изд. — М.: Издательский дом ГУ ВШЭ, 2004. — 400с.

2. В.В. Мыльник, Б.П. Титаренко, В.А. Волочиенко. Исследование систем управления: Учебник для вузов. — 2-е изд., перераб. и доп. — М.: Академический Проект, Екатеринбург: Деловая книга, 2003. — 352с.

3. Виханский О.С., Наумов А.И. Менеджмент: Учебник. — 3-е изд. — М.: Экономистъ, 2004. — 528с.: ил.

4. Юбилейный рейс Внуково-65 / Г. Аралов // Авиаглобус. — 2006. — №7. — с.8-9.

5. Журнал «Внуково — международный аэропорт». — 2005. — № 2. — с35.

6. www.vnukovo.ru