Методология оценки эффективности научных инновационных исследований арктической направленности

Оценка эффективности научной деятельности: понятие и возможности

Вопрос оценки эффективности научных исследований является одним из важных в методологии оценки научной деятельности. В проведении таких оценок прежде всего заинтересован заказчик исследований, которому необходимо знать, насколько быстро окупятся вложения в проведение научно-исследовательской работы прикладного либо фундаментального характера. Зачастую желательно оценить получаемую выгоду от реализуемого проекта еще до его начала, т.к. таким образом заказчик имеет возможность определить целесообразность проведения исследования и внедрения созданной инновационной технологии или продукции.

В целом эффект от внедрения научно-
исследовательских результатов работы можно представить как их совокупность научного, экономического и социального характера в результате внедрения. В свою очередь, эффективность проведенного исследования является характеристикой реализации научно-исследовательской работы, которая определяется как отношение профицита от внедрения (то есть эффекта научного инновационного исследования) к затратам на выполнение работы и ее внедрение.

Понятия эффекта и эффективности реализации научно-исследовательской работы следует отличать от понятия продуктивности научного исследования. Так, при оценке продуктивности научного исследования социально-экономический эффект не учитывается от внедрения результатов научно-исследовательской работы в практику. В то же время продуктивность научно-исследовательской работы — это количество научной продукции (научной информации), полученное научным работником или организацией за определенный промежуток времени. Именно поэтому внедрению результатов инновационной деятельности в практику предшествует проведение оценки эффекта и эффективности научно-исследовательской работы. Существует целая система оценок эффективности научных исследований [1][2]. В эту систему кроме непосредственно оценок эффективности научно-исследовательской работы входят также оценки эффективности работы научных сотрудников и научных организаций.

При этом не стоит забывать, что в целом оценка выгод и затрат научно-исследовательской деятельности является базой для принятия управленческих решений, дающей возможность ответить на следующие вопросы:

• каков может быть результат реализации научно-исследовательской работы и пути его достижения?
• каковы источники формирования общих затрат, их стоимость и возможность оптимизации?
• кто является потребителем инновационных результатов реализованной научно-исследовательской работы?
• какой эффект от реализации научно-исследовательской работы выявлен в процессе сравнения ее выгод и затрат и определения ценности?
• каковы пути и возможности получения дополнительных доходов от реализации проекта, снижения или экономии запланированных затрат на реализацию?

Ответы на вопросы выглядят следующим образом.

1. Оценка результатов выполнения научно-исследовательской работы должна основываться на определении эффективности достижения ее главной цели, отраженной в заданных перед началом реализации проекта целевых индикаторах, а также в степени достижения основных задач проекта.
2. Разработка критериев оценки эффективности результатов научно-исследовательской работы основывается на анализе ее цели и задач, для каждого проекта она разрабатывается индивидуально, в зависимости от направленности научно-исследовательской работы.
3. Для экспертной оценки ожидаемой эффективности реализации научно-технического проекта и востребованности полученных инновационных результатов должна быть разработана система критериев социальной, экономической и государственной значимости. Такая система включает несколько групп критериев, специфичных для той или иной научно-исследовательской работы и программы, в рамках которой проект реализовался. Вместе с тем имеются несколько групп критериев, учитывающих основополагающие принципы, цель и задачи программы, которые используются при оценке абсолютного большинства научно-исследовательских работ.
4. К числу факторов анализа результатов, полученных в ходе реализации научно-исследовательской работы в рамках какойлибо крупной программы, относятся следующие:

• вклад результата в решение основных задач программы;
• вклад результата в решение социальных проблем;
• востребованность результата;
• практическая реализуемость результата;
• готовность потребителей к освоению результата.

5. Для повышения обоснованности экспертной оценки каждый результат независимо оценивается несколькими (не менее чем двумя) экспертами. Эксперт изучает представленный ему объект экспертизы, оценивает уровень инновационности полученного научно-исследовательского результата по критериям, приведенным в экспертной анкете, а также дает свое письменное агрегированное заключение о значимости результата, которое служит основой для подготовки обобщенного экспертного заключения. Обобщив и проанализировав все полученные по основным критериям характеристики, можно получить сводную (итоговую) оценку эффективности результатов научно-исследовательских проектов и программ.

Также существует вербальный анализ полученных результатов научно-исследовательской работы — подход в теории и практике многокритериальной оценки и сравнения альтернатив, который разрабатывается в течение многих лет в Институте системного анализа РАН и успешно применяется при решении различных практических задач. Особенностью этих задач является описание рассматриваемых объектов (вариантов, альтернатив) при помощи многих признаков, наличие среди признаков как количественных, так и качественных факторов, причем последние играют в процессе оценки не меньшую роль, чем первые. Групповой вербальный анализ решений с применением аппарата теории мультимножеств предлагается в качестве инструментария для анализа многокритериальной оценки научно-технических результатов [3–6].

Также не стоит забывать, что в условиях рыночной экономики решающее значение имеет принятие обоснованных и оперативных управленческих решений, что невозможно без качественного информационного обеспечения. Важнейшей составляющей механизма формирования и раскрытия полезной экономической информации об ограниченных ресурсах хозяйствующего субъекта является инвестиционный анализ, который позволяет не только выявить закономерности и связи между экономическими явлениями и процессами инвестиционного характера и на этой базе спрогнозировать их возможные последствия и динамику, но и оценить результаты и риски самой инвестиционной деятельности. В условиях быстро меняющейся рыночной среды на первый план выходят глубокие знания теории инвестиционного анализа, его методологии, практических методик, что позволяет приспособиться к изменениям как во внешней, так и во внутренней среде хозяйственной деятельности организации и обеспечивает обоснование принятия качественных управленческих решений в целях задействования всех резервов развития научного потенциала организации, роста количества успешно выполненных проектов и приумножения доходов предприятия [7][8].

Инструментарий анализа эффективности реализации научно-исследовательских проектов

Результаты анализа опыта развитых стран в части использования организационных структур и интеграционных форм взаимодействия науки и бизнеса для стимулирования инновационной деятельности применительно к региональному уровню социально-экономических преобразований показывают отдельные возможности их использования с учетом реалий современной российской экономики и создания условий для интеграции научных учреждений и производственных предприятий в целях развития инновационной деятельности в российских регионах [9]. При этом в самом общем смысле можно утверждать, что затраты на научные исследования эффективны тогда, когда они порождают накопление научно-технических знаний, образовательного и культурного потенциала общества и в итоге обеспечивают экономический рост [10][11]. Однако количественная оценка макроэкономической эффективности затрат на науку до сих пор сталкивается с рядом методологических и технических (последние обусловлены в первую очередь отсутствием необходимых статистических данных) проблем. В то же время корректная оценка эффективности затрат на научные исследования позволит решить проблему эффективного распределения общественных ресурсов, в том числе на научные исследования и инновации, что актуально не только для России, но и для остальных развитых стран. Признанные авторитеты в этой сфере, в частности Э. Денисон, Э. Мэнсфилд, Р. Солоу, Дж. Эрроу, единогласны в том, что полная оценка эффективности науки в целом (фундаментальные исследования, прикладные исследования, разработки) путем сопоставления затрат и результатов не приводит к корректному результату прежде всего потому, что достижения фундаментальных исследований не всегда поддаются стоимостной оценке, так как любой научный труд обусловлен частично трудом современников, а частично использованием того, что создано предшественниками [12].

Стоит обратить внимание, что инструментарий анализа эффективности реализации научно-исследовательских проектов может также основываться на показателях оценки инвестиционных проектов, но с учетом специфики разработки и реализации проектов по его этапам. Тогда при проведении анализа научно-исследовательских работ стоит придерживаться следующих принципов [13]:

• учет расчетного времени, рассмотрение всего жизненного цикла научно-исследовательского проекта;
• моделирование ресурсного обеспечения научно-исследовательского проекта по всем стадиям его жизненного цикла;
• анализ рынка научно-исследовательских проектов, сравнивание условий разных возможностей вариаций реализации проектов;
• учет фактора времени в оценке параметров внешнего экономического окружения;
• учет влияния научно-исследовательского проекта по экономическим, социальным и экологическим аспектам;
• учет многоэтапности анализа эффективности по всем стадиям жизненного цикла научно-исследовательского проекта и корректировка на каждой стадии его реализации, обоснование размера расходов, технико-экономическое обоснование, мониторинг, анализ и уточнение показателей;
• учет влияния инфляции, анализ неопределенности и риска, обоснование и поиск путей предотвращения рисков.

В результате анализ эффективности научно-исследовательских проектов можно разделить на следующие этапы.

1. Проведение экспертами оценки значимости проекта для народно-хозяйственных и глобальных проектов, его применимости, возможностей научно-исследовательского проекта. Для менее глобальных проектов оценка осуществляется лишь по коммерческой эффективности реализации научно-исследовательских проектов, разрабатываются критерии отбора к принятию научно-исследовательских проектов.
2. Оценка научно-технических аспектов проекта, его важности, новизны, вероятности завершения проекта.
3. Расчет основных экономических показателей научно-исследовательского проекта для оценки эффективности инвестирования в него.
4. Оценка социальной значимости проекта.
5. Определение и оценка классификационных признаков расходов по научно-исследовательскому проекту, а также определение дополнительных выгод и затрат при реализации проекта.
6. Количественная оценка эффективности реализации проекта по всем анализируемым показателям.
7. Оценка результативности освоенного объема при реализации проекта.
8. Принятие решения о реализации или нерентабельности реализации проекта.

Методология оценки эффективности научно-исследовательских проектов арктической направленности

Доказано, что эффективность является одним из важных критериев для оценки качества любой профессиональной деятельности, в том числе и научной. В общем случае эффективность определяется как соотношение между использованными ресурсами и достигнутым результатом. Единицей научной деятельности можно считать проект, имеющий тематическую направленность. Тогда оценка эффективности научных исследований будет определяться через понятия ресурсов и результатов реализации такого проекта.

Главной проблемой измерения эффективности в научно-исследовательской деятельности является тот факт, что в большинстве случаев научно-исследовательская деятельность не направлена напрямую на получение экономического эффекта, особенно если речь идет о результатах фундаментальной науки. Другая объективная проблема оценки эффективности инвестиций в науку носит больше технический характер и заключается в нехватке статистических ресурсов. Неполнота статистических данных значительно ограничивает возможности анализа научно-технической деятельности и затрудняет проведение оценки проектной деятельности.

Также методика оценки эффективности научных исследований и их результатов напрямую связана с типом проводимых исследований. Для проектов арктической направленности, как и для иных научных проектов, можно выделить 4 основных типа научно-исследовательской деятельности:

• фундаментальные исследования;
• поисковые исследования;
• прикладные исследования;
• опытно-конструкторские работы.

Результаты фундаментальных и поисковых исследований, как правило, не подлежат коммерциализации, а нацелены на признание через публикацию в научных изданиях. Кроме того, результаты этих исследований могут иметь неопределенный временной характер взаимосвязи с прикладными научно-исследовательскими и опытно-конструкторскими работами. Разрыв между фундаментальным и поисковым исследованием и непосредственно технологической инновацией, основанной на результатах фундаментальных исследований, может составлять от нескольких месяцев до десятков лет. Таким образом, чисто экономический эффект результатов фундаментальных исследований зачастую рассчитать не удается и может быть дан лишь качественный прогноз экономической рациональности тематики исследований, достижение которой возможно в будущем. Оценка эффективности фундаментальных исследований базируется в основном на качественных показателях, характеризующих обоснованность и новизну результатов исследования, широту их применения в различных областях деятельности человека, а также возможность проведения на их основе прикладных исследований. Важным показателем является также индекс цитируемости публикаций, выполненных по результатам исследования.

Напротив, по прикладным исследованиям и опытно-конструкторским работам помимо научного и технического возможно выявление экономического эффекта и результативности.

В целом можно выделить следующие основные методы оценки эффективности реализации научных проектов:

• наукометрический (библиометрический) метод, сущность которого основывается на показателях публикационной активности;
• финансово-экономический метод, сущность которого основывается на расчете экономических показателей результативности проекта;
• экспертный метод, сущность которого основывается на экспертной оценке результативности проекта на основе разработанной системы критериев.

Необходимо также принять во внимание, что ресурсы (Р) для научного проекта складываются из двух основных составляющих:

• объем выделенного на реализацию проекта финансирования,
• количество научных сотрудников.

Второй ресурсный показатель в денежной интерпретации выражается как объем заработной платы на период реализации проекта, выплаченный научным сотрудникам дополнительно к объему финансирования проекта.

Для наукометрического (библиометрического) метода главными критериями оценки становятся продукты научной деятельности (ПНД), включая публикации и их цитирование, а также результаты интеллектуальной деятельности (РИД), полученные в результате реализации проекта в виде количественного показателя. В этом случае эффективность реализации проекта будет рассчитываться по формуле (1):

 (1)

где Р — объем затрачиваемых ресурсов, млн руб.,

ПНД_i — i-й продукт научной деятельности,

ω_i — весовой коэффициент, учитывающий значимость продукта научной деятельности (например, квартиль журнала, вид РИД и т.п.).

Эффективность в данном случае будет интерпретироваться как объем финансирования на единицу результата научных исследований арктической направленности.

В качестве возможного варианта, принимая вариабельность весового коэффициента ω_i в пределах от 0 до 1, можно предложить следующие значения ω_i в зависимости от значимости результата научной деятельности:

• число публикаций в научных журналах Q1–Q2, индексируемых в ведущих международных базах научного цитирования, значение ωi; = 1,0;
• число публикаций в научных журналах Q3–Q4, индексируемых в ведущих международных базах научного цитирования, или входящих в перечень RSCI, или входящих в ядро базы данных Российского индекса научного цитирования (РИНЦ), значение ωi; = 0,7;
• число публикаций в научных журналах, включенных в перечень ВАК, значение ωi; = 0,5;
• число публикаций в научных журналах, входящих в базу данных РИНЦ, значение ωi; = 0,1;
• количество рецензируемых монографий, значение ωi; = 0,5;
• число ноу-хау, значение ωi; = 0,9;
• число полученных патентов, топологий интегральных схем, значение ωi; = 0,7;
• число полученных свидетельств для баз данных / программ для ЭВМ, значение ωi; = 0,3;
• число защищенных докторских диссертаций по теме научного исследования, значение ωi; = 1,0;
• число защищенных кандидатских диссертаций по теме научного исследования, значение ωi; = 0,7.

Для финансово-экономического метода можно выделить два основных подхода:

• непосредственный доход организации (ДО) от выполнения научно-исследовательских и технологических проектов арктической направленности, например финансовая результативность от внедрения и использования РИД, инновационной технологии и т.п. В этом случае эффективность будет рассчитываться по формуле (2):

 (2)

и интерпретироваться как степень возврата от финансовых вложений в научные исследования арктической направленности;

• отложенный доход (ОД) от выполнения научно-исследовательских и технологических проектов арктической направленности, например доход от запуска промышленной серии инновационного продукта, от внедрения инновационной технологии в промышленный процесс, выделенного финансирования на продолжение научных исследований (в частности, на продолжение и развитие фундаментального исследования) и т.п. В этом случае эффективность будет рассчитываться по формуле (3):

 (3)

где ОД_i — i-й вид отложенного дохода.

Эффективность такого вида будет интерпретироваться как величина дохода от вложенной единицы финансирования в научные исследования арктической направленности. Необходимо отметить, что данный вид эффективности может носить прогностический характер.

Для экспертного метода оценки эффективности реализации научно-технического проекта должна быть разработана система критериев социальной, экономической и государственной значимости результатов научно-технической деятельности, полученных при выполнении программы. Такая система включает несколько групп критериев, специфичных для той или иной программы и соответствующих проекта. Вместе с тем имеется несколько групп критериев, учитывающих основополагающие принципы, цели и задачи программы, которые используются при оценке абсолютного большинства научно-исследовательских проектов.

• степень достижения заложенных перед началом реализации проекта результатов его реализации;
• вклад результата в решение основных задач программы;
• вклад результата в решение социальных проблем;
• востребованность результата;
• практическая реализуемость результата;
• готовность потребителей к освоению результата.

Эффективность в этом случае будет рассчитываться по формуле (4):

 (4)

где К_i — i-й коэффициент значимости результата;

ω_i — весовой коэффициент, учитывающий значимость критерия оценки эффективности реализации проекта.

В качестве возможного варианта, принимая вариабельность весового коэффициента ω_i в пределах от 0 до 1, можно предложить следующие значения комбинаций коэффициента значимости результата К_i и весового коэффициента ω_i, в зависимости от значимости результата научной деятельности:

• актуальность научных исследований для достижения целей укрепления национальной безопасности АЗРФ, значение К_iот 0 (тематика не актуальна для АЗРФ) до 1 (тематика является приоритетной для достижения целей укрепления национальной безопасности АЗРФ), значение весового коэффициента ω_i = 0,5;
• соответствие результатов мировому уровню, значение К_iот 0 (результаты ниже мирового уровня) до 1 (результаты превышают мировой уровень и являются определяющими для достижения целей укрепления национальной безопасности АЗРФ), значение весового коэффициента ω_i = 0,7;
• степень достижения заложенных перед началом реализации проекта результатов его реализации, значение К_iот 0 (ни один из заявленных результатов не достигнут) до 1 (все заявленные результаты достигнуты в полном объеме), значение весового коэффициента ω_i = 1,0;
• вклад результатов проекта в решение социально-экономических проблем АЗРФ,
  значение К_iот 0 (вклад отсутствует) до 1 (результаты проекта внесут значительный вклад), значение весового коэффициента ω_i = 0,5;
• практическая реализуемость результата, значение К_iот 0 (практическая реализуемость отсутствует) до 1 (высокая степень практической реализуемости), значение весового коэффициента ω_i = 0,8;
• востребованность результата, значение К_iот 0 (не востребован) до 1 (высокая степень востребованности), значение весового коэффициента ω_i = 0,9;
• результаты внедрены в практику деятельности хозяйствующего субъекта АЗРФ, значение К_iот 0 (никакие результаты не внедрены) до 1 (все практикоориентированные результаты проекта внедрены в деятельность хозяйствующего субъекта), значение весового коэффициента ω_i = 1,0.

Для повышения обоснованности экспертной оценки каждый результат независимо оценивается несколькими (не менее чем двумя) экспертами. Эксперт изучает представленный ему объект экспертизы, оценивает полученный научно-технический результат по критериям, приведенным в экспертной анкете, а также дает свое письменное агрегированное заключение о значимости результата, которое служит основой для подготовки обобщенного экспертного заключения. Обобщив и проанализировав все полученные по основным критериям характеристики, можно получить сводную (итоговую) оценку эффективности результатов научно-технических проектов и программ, как средневзвешенное значение оценок, полученных от всех экспертов.

В целом, исходя из типизации самих исследований и методов оценки их эффективности можно указать, что:

• оценку эффективности реализации фундаментальных исследований удобнее производить по показателям Эф_1 и Эф_4, но при необходимости можно также воспользоваться оценкой Эф_3;
• оценку эффективности реализации поисковых исследований удобнее производить по показателям Эф_3 и Эф_4, но при необходимости можно также воспользоваться оценкой Эф_1;
• оценку эффективности реализации прикладных исследований удобнее производить по показателям Эф_2 и Эф_4, но при необходимости можно также воспользоваться оценкой Эф_3;
• оценку эффективности реализации опытно-конструкторских работ удобнее производить по показателю Эф_3, при необходимости можно также воспользоваться оценкой Эф_4.

Оценку эффективности научной деятельности организаций возможно проводить на основе совокупных показателей, но принимая во внимание тип организации, реализующей научные проекты арктической направленности. Можно выделить три основных типа организаций:

• научные организации, которые имеют в своем составе значительный, доходящий до 100, процент научных работников к общей численности работников организации. Данный тип организаций в основном реализует фундаментальные, поисковые и прикладные проекты;
• научно-образовательные организации (университеты), которые имеют в основном профессорско-преподавательский состав, который также может быть задействован в процессе реализации научных проектов, и невысокий процент научных работников к общей численности работников организации. Данный тип организаций в основном реализует поисковые и прикладные проекты;
• коммерческие организации, которые зачастую не имеют научные структурные подразделения и научных работников. Данный тип организаций в основном реализует прикладные проекты и опытно-конструкторские работы.

Предполагается, что исходными данными для предлагаемой методики является информация, размещаемая в Единой государственной информационной системе учета научно-исследовательских, опытно-конструкторских и технологических работ гражданского назначения (ЕГИСУ НИОКР), а также данные мониторинга развития науки и технологий в Арктической зоне, проводимого Минобрнауки России.

Заключение

В результате проведенного исследования предложена методология оценки эффективности реализации научных исследований арктической направленности. Данная методика может быть предложена для внедрения в практику деятельности федеральных и региональных органов власти для оценки эффективности реализации подведомственными научными и научно-
образовательными организациями научно-исследовательских проектов в зависимости от направленности и вида научно-исследовательской работы.

При этом для проведения корректных оценок эффективности реализации научно-исследовательского проекта необходимо рекомендовать всем федеральным и региональным органам власти, подведомственные учреждения которых проводят научно-исследовательскую и научно-технологическую деятельность в Арктической зоне Российской Федерации, включить необходимые для проведения оценки эффективности реализации научных исследований арктической направленности параметры в перечень обязательных для предоставления в качестве отчетных, в частности в Единую государственную информационную систему учета результатов научно-исследовательских, опытно-конструкторских и технологических работ гражданского назначения (ЕГИСУ НИОКТР). Кроме того, ЕГИСУ НИОКР важно включить необходимые для проведения оценки эффективности реализации научных исследований арктической направленности параметры в перечень обязательных для предоставления при заполнении отчетных форм по реализации проекта.