Версия пилотного рейтинга университетов стран БРИКС 2024 года семейства рейтингов «Три миссии университета»

Рейтинг Методология

Методология пилотного рейтинга университетов стран БРИКС, 2024 г.

В основу методологии рейтинга университетов стран БРИКС положены подходы к составлению глобального списка «Три миссии университета» — первого академического рейтинга, широко обсуждавшегося на международном уровне с ранних этапов создания. При этом в рейтинговую модель были внесены изменения, позволяющие учесть национальные особенности образовательных учреждений стран БРИКС.

Рейтинг отвечает на вопрос: «Какие университеты гармонично осуществляют три ключевые миссии: образовательную, научную, общественную?» Рейтинг строится на проверяемых объективных показателях и не использует субъективные оценки экспертов.

Шорт-лист участников

В шорт-лист рейтинга университетов стран БРИКС вошли 825 университетов, представляющих страны консорциума: Бразилию, Египет, Индию, Иран, Китай, Объединенные Арабские Эмираты, Россию, Саудовскую Аравию, Эфиопию и ЮАР. В перечень включены университеты, занимающие ведущие позиции в глобальных академических рейтингах и/или лидирующие в национальных рейтингах. В ряде случаев отбор осуществлялся на основании количества научных публикаций вуза за период 2018–2021 гг. При этом из рассмотрения были исключены узкопрофильные вузы, то есть те из них, которые не имеют образовательных программ как минимум в двух из шести областей знания по классификации ОЭСР, и вузы, не имеющие бакалаврских, магистерских программ и программ Ph.D. (аспирантуры) либо их эквивалентов. Впоследствии из шорт-листа были исключены вузы, численность обучающихся в которых составляет менее 500 человек.

Источники данных

Для составления рейтинга использовались только объективные критерии, одобренные международными экспертами; репутационные опросы полностью исключены. Источниками информации стали открытые данные официальных сайтов университетов и национальных органов власти, а также данные независимых международных источников: крупнейшего агрегатора платформ онлайн-курсов Class Central; платформ массового образования «Открытое образование» (Россия) и icourse163.org (Китай); общедоступной многоязычной универсальной энциклопедии «Википедия»; поисковых систем Google, «Яндекс», Baidu; социальных сетей Facebook*, X (бывшая Twitter**), VK, Sina Weibo, YouTube, Telegram; компании Similarweb, одного из мировых лидеров в области веб-аналитики; веб-сайтов международных олимпиад студентов; провайдеров библиометрических данных; веб-сайтов научных премий из списка IREG List of International Academic Awards.

Эволюция рейтинговой модели

Одним их механизмов учета национальной специфики стран БРИКС стала специальная калибровка весовых коэффициентов рейтинговой модели. Для более точной оценки вузов стран консорциума БРИКС в рейтинге применены показатели, вес которых отличается от веса критериев глобального рейтинга «Три миссии университета». Так, в новом рейтинге увеличен вес критериев «количество побед обучающихся в вузе на международных студенческих олимпиадах» (с 7 до 9 %) и «доля иностранных студентов в общем количестве студентов» (с 8 до 10 %). В то же время был снижен вес показателей «отношение бюджета вуза к количеству студентов» (с 15 до 13 %), и «отношение количества НПР к количеству студентов» (с 15 до 13 %). В рамках оценки научной миссии в рейтинге впервые использован критерий «публикации, совместные с партнерами из БРИКС» (вес 2 %). Объектом измерения стало количество научных публикаций, подготовленных совместно с зарубежными партнерами из стран БРИКС. Новый критерий отражает интенсивность научного сотрудничества университета с партнерскими организациями из стран БРИКС, после включения показателя в рейтинг был снижен вес критерия «средняя нормализованная цитируемость (глобальный уровень)» с 10 % до 8 %.

Расчет рейтинга

Суммарный вес показателей групп составляет: 45 % у группы «Образование», 25 % у группы «Наука» и 30 % у группы «Университет и общество». По каждому показателю рассчитывался балл вуза, характеризующий его позицию относительно конкурентов. Расчет осуществлялся двумя способами:

1) для нормализованных показателей (глобальная и национальная цитируемость, доля публикаций и транспарентность) балл вузов-участников рассчитывался по формуле:

Где:
xi - балл i-го показателя
ai — значение i-го показателя,
amax — максимальное значение i-го показателя,
amin — минимальное значение i-го показателя.

2) в случаях, когда линейный расчет неприменим, использовались методы нормализации данных.

Впоследствии баллы, набранные вузами по каждому из показателей рейтинга, умножались на соответствующие весовые коэффициенты. После этого взвешенные баллы вузов по всем показателям суммировались:

Где:
f — балл i-го показателя,
ai — значение i-го показателя,
nx - количество показателей рейтинга,
vi - вес i-го показателя.

Критерии пилотного рейтинга университетов стран БРИКС, 2024 г.

I . Группа критериев: «Образование» Критерий №1

Название критерия

Количество побед обучающихся в вузе на международных студенческих олимпиадах

Что измеряется

Конкурентоспособность студентов

Вес критерия, %

9

Смысл критерия и обоснование его использования

Количество победителей и призеров престижных соревнований способно концентрированно показать результативность образования и возможности студентов вуза для прорывных научных исследований. Критерий показывает качество знаний, навыков и умений, полученных студентами в процессе обучения, и способность студентов применять эти ресурсы для решения сложных задач

Источник данных

Веб-сайты международных олимпиад

Особенности учета

Определялось количество побед в личных и командных состязаниях на 14 международных студенческих олимпиадах*** в период с 2019 г. по 2023 г. аналогично «медальному зачету» Олимпийских игр (учитывались победители и призеры олимпиад). При этом каждой олимпиаде присваивался вес в зависимости от странового охвата (максимальный вес 1,00 имеет ACM ICPC, в которой участвуют студенты более чем из 100 стран; минимальный вес 0,09 имеют NSUCRYPTO и Belgrade Business International Case Competition, в которых участвуют студенты из 9 стран). Полученные взвешенные значения суммировались

I . Группа критериев: «Образование» Критерий №2

Название критерия

Доля иностранных студентов в общем количестве студентов

Что измеряется

Привлекатель-ность для иностранных студентов

Вес критерия, %

10

Смысл критерия и обоснование его использования

Индикатор, показывающий долю иностранных студентов в общем количестве студентов, широко используется в существующих академических рейтингах

Источник данных

Веб-сайты университетов и органов власти

Особенности учета

Иностранные студенты, обучающиеся на очных и очно-заочных отделениях по программам бакалавриата, специалитета, магистратуры и программам подготовки кадров высшей квалификации, которые провели в университете более 3 месяцев в рассматриваемом году (приводится к общей численности студентов, обучающихся на очных отделениях по программам бакалавриата, специалитета, магистратуры и программам подготовки кадров высшей квалификации (ISCED-2011 Levels 6-8). Численность студентов рассчитывалась с приведением к эквиваленту полной нагрузки (full-time equivalent)

I . Группа критериев: «Образование» Критерий №3

Название критерия

Отношение бюджета вуза к количеству студентов

Что измеряется

Финансовые ресурсы

Вес критерия, %

13

Смысл критерия и обоснование его использования

Этот критерий измеряет уровень финансового благополучия вуза. Чем выше значение показателя, тем шире спектр возможностей у вуза для реализации трех основных миссий — образовательной, научной, общественной

Источник данных

Веб-сайты университетов и органов власти

Особенности учета

В связи с тем, что в разных странах стоимость продукции, работ и услуг может сильно различаться, расчет бюджета производился по паритету покупательной способности, определенному Всемирным банком (в случае отсутствия — паритету по данным ОЭСР). Учитывались студенты очных и очно-заочных отделений программ бакалавриата, специалитета, магистратуры и программ подготовки кадров высшей квалификации (ISCED-2011 Levels 6-8). Численность студентов рассчитывалась с приведением к эквиваленту полной нагрузки (full-time equivalent)

I . Группа критериев: «Образование» Критерий №4

Название критерия

Отношение количества НПР к количеству студентов

Что измеряется

Кадровые ресурсы

Вес критерия, %

13

Смысл критерия и обоснование его использования

Показатель фактически измеряет степень кадровой обеспеченности университета. Чем больше преподавателей и научных работников приходится в расчете на студента, тем больше внимания сотрудники вуза могут уделить каждому студенту и, следовательно, тем лучше условия в вузе

Источник данных

Веб-сайты университетов и органов власти

Особенности учета

Численность научно-педагогических работников (профессорско-преподавательский состав и научные работники) рассчитывалась с приведением к полной ставке (full-time equivalent). При расчете численности студентов учитывалась численность обучающихся на очных и очно-заочных отделениях программ бакалавриата, специалитета, магистратуры и программ подготовки кадров высшей квалификации (ISCED-2011 Levels 6-8) и приводилась к эквиваленту полной нагрузки (full-time equivalent)

II . Группа критериев: «Наука» Критерий №5

Название критерия

Количество научных премий из списка IREG у НПР и выпускников университета

Что измеряется

Выдающиеся научные достижения

Вес критерия, %

7

Смысл критерия и обоснование его использования

Предлагаемая метрика является развитием подхода, предложенного шанхайским рейтингом. При составлении рейтинга используется список IREG List of International Academic Awards, в котором учтено 99 наиболее престижных в мире научных наград (с возможным расширением списка учитываемых премий в дальнейшем)

Источник данных

Веб-сайты международных премий

Особенности учета

Определялось взвешенное количество премий из списка IREG List of International Academic Awards, полученных сотрудниками и выпускниками университетов в период с 2004 г. по 2023 г. Учитывались только сотрудники, находившиеся в штате вуза на момент вручения награды. В качестве выпускников учитывались лица, успешно прошедшие обучение в бакалавриате, магистратуре и аспирантуре вуза (и на программах, эквивалентных перечисленным)

II . Группа критериев: «Наука» Критерий №6

Название критерия

Средняя нормализованная цитируемость (глобальный уровень)

Что измеряется

Качество научных публикаций (международный уровень)

Вес критерия, %

8

Смысл критерия и обоснование его использования

Нормализованная цитируемость количественно показывает, насколько лучше или хуже, чем в среднем в мире, цитируется конкретная публикация по сравнению с работами того же типа, той же области знания и года публикации. Индикатор показывает, насколько научно-исследовательская деятельность вуза востребована глобальным научным сообществом, отражая ее актуальность и качество

Источник данных

Расчеты на основании библиометрических данных

Особенности учета

Учитывались публикации за период 2019–2022 гг. Расчет нормализованной цитируемости осуществлялся отдельно по шести укрупненным областям знаний согласно классификации ОЭСР (естественные науки, инженерные и технические науки, медицинские науки, сельскохозяйственные науки, общественные науки, гуманитарные науки). После этого полученные показатели по всем областям знаний суммировались

II . Группа критериев: «Наука» Критерий №7

Название критерия

Средняя нормализованная цитируемость (национальный уровень)

Что измеряется

Качество научных публикаций (национальный уровень)

Вес критерия, %

3

Смысл критерия и обоснование его использования

Индикатор свидетельствует о том, насколько научно-исследовательская деятельность вуза востребована научным сообществом страны расположения университета. Введение данного критерия в систему показателей позволяет лучше учитывать достижения национальных научных школ и точнее измерять результаты в гуманитарных областях

Источник данных

Расчеты на основании библиометрических данных

Особенности учета

Учитывались публикации за период 2019–2022 гг. Рассчитывалось отношение средней нормализованной цитируемости вуза к аналогичному показателю страны. Итоговый балл считался как отношение результата вуза к лучшему результату среди университетов страны расположения вуза

II . Группа критериев: «Наука» Критерий №8

Название критерия

Отношение дохода от исследований к числу НПР

Что измеряется

Вовлеченность сотрудников в научные исследования и разработки

Вес критерия, %

5

Смысл критерия и обоснование его использования

Индикатор фактически показывает, какой объем средств, привлеченных на исследования и разработки, приходится на одного сотрудника. Чем больше объем привлеченных средств в расчете на сотрудника, тем востребованнее научные исследования университета

Источник данных

Веб-сайты университетов и органов власти

Особенности учета

Учитывался объем средств, привлеченных университетом на научные исследования и разработки. В эту сумму не входят иные составляющие, такие как доход от образовательной деятельности, инвестиций, коммерциализации и т. п. В случае если страновая или иная специфика не позволяет вычленять объем выручки от исследований, используется показатель исследовательского бюджета как объема потраченных на исследования средств. Расчет производился по паритету покупательной способности, определенному Всемирным банком (в случае отсутствия — паритету по данным ОЭСР). Численность научно-педагогических работников (профессорско-преподавательский состав и научные работники) рассчитывается с приведением к полной ставке (full-time equivalent)

II . Группа критериев: «Наука» Критерий №9

Название критерия

Публикации, совместные с партнерами из БРИКС

Что измеряется

Научное сотрудничество со странами БРИКС

Вес критерия, %

2

Смысл критерия и обоснование его использования

Новый критерий, впервые использующийся при составлении академического рейтинга, отражает интенсивность научного сотрудничества университета с партнерскими организациями из стран БРИКС. Показатель стимулирует укрепление партнерских отношений в рамках БРИКС

Источник данных

Расчеты на основании библиометрических данных

Особенности учета

Учитывалось количество совместных с партнерами из БРИКС публикаций вуза за четыре календарных года (2019–2022 гг.)

III . Группа критериев: «Университет и общество» Критерий №10

Название критерия

Количество массовых открытых онлайн-курсов вуза

Что измеряется

Вклад вуза в доступное онлайн-образование

Вес критерия, %

6

Смысл критерия и обоснование его использования

Чем большее количество открытых курсов размещено на онлайн-платформах, тем шире знание, передаваемое университетом посредством интернет-технологий, и тем весомее его вклад в доступность образования во всем мире

Источник данных

Агрегатор Class Central, онлайн-платформа «Открытое образование», icourse163.org

Особенности учета

Определялось количество массовых открытых онлайн-курсов, размещенных на платформах, учитываемых агрегатором Class Central, а также на платформах «Открытое образование» и icourse163.org, на момент сбора данных (июль 2024 г.). При этом каждой платформе присваивался вес в зависимости от общего количества слушателей онлайн-курсов данной платформы (максимальный вес 1,00 имеют платформы Coursera, edX, FutureLearn, «Открытое образование» и icourse163.org). Полученные взвешенные значения суммировались

III . Группа критериев: «Университет и общество» Критерий №11

Название критерия

Доля вуза в общем объеме публикаций по стране

Что измеряется

Вклад вуза в развитие научных исследований в стране

Вес критерия, %

4

Смысл критерия и обоснование его использования

Критерий, измеряющий национальную значимость университетов для развития науки в своих странах. Чем выше доля публикаций вуза в общем количестве публикаций университетов страны, тем выше доля такого вуза в объеме проводимых в стране исследований, следовательно, тем значимее и ценнее такой вуз для социума

Источник данных

Расчеты на основании библиометрических данных

Особенности учета

Отношение количества публикаций вуза за четыре календарных года (2019–2022 гг.) к количеству публикаций страны расположения университета. Итоговый балл считался как отношение результата вуза к лучшему результату среди университетов страны расположения вуза

III . Группа критериев: «Университет и общество» Критерий №12

Название критерия

Общее количество страниц веб-сайта университета, индексированных ведущими поисковыми системами

Что измеряется

Присутствие в интернете

Вес критерия, %

3

Смысл критерия и обоснование его использования

Показатель отражает ряд важнейших составляющих качества взаимодействия вуза с обществом: открытость и прозрачность, доступность информации, стремление вуза к информационному обмену

Источник данных

Поисковые системы Google, Baidu, «Яндекс»

Особенности учета

Количество проиндексированных поисковыми системами веб-страниц на официальных доменах вузов определялось при помощи стандартных синтаксических операторов поиска по домену поисковых систем Google, Baidu, «Яндекс». После замеров в течение апреля и мая 2024 г. было определено минимальное значение индекса согласно каждому из инструментов. В итоговый зачет вуза шел наивысший результат среди измерений тремя поисковыми системами

III . Группа критериев: «Университет и общество» Критерий №13

Название критерия

Количество просмотров страницы вуза в «Википедии»

Что измеряется

Популярность в интернете

Вес критерия, %

1

Смысл критерия и обоснование его использования

Наряду с официальным веб-сайтом университета «Википедия» является важным источником информации. Большое количество просмотров страницы университета свидетельствует о его влиянии на общество

Источник данных

«Википедия»

Особенности учета

Суммарное количество просмотров страниц вуза в «Википедии» на английском и (если применимо) на официальном национальном языке (языках) страны расположения вуза в 2023 году

III . Группа критериев: «Университет и общество» Критерий №14

Название критерия

Количество подписчиков аккаунта университета в социальных сетя

Что измеряется

Коммуникации в соцсетях

Вес критерия, %

3

Смысл критерия и обоснование его использования

Социальные сети являются одним из наиболее оперативных инструментов коммуникации между университетом и кругом заинтересованных лиц; значительное число университетов использует соцсети для информирования общественности о своей деятельности. Популярность разных социальных сетей различается в зависимости от страны и вуза, поэтому для каждого университета были собраны данные о подписчиках в шести социальных сетях

Источник данных

Facebook*, X (бывш. Twitter**), VK, Sina Weibo, YouTube, Telegram

Особенности учета

Анализировалось количество подписчиков страницы или канала вуза в шести социальных сетях — Facebook*, VK, Х (бывш. Twitter**), Sina Weibo, YouTube, Telegram. Рассматривались страницы на английском языке и на национальных языках (если применимо). В итоговый зачет вуза шла сумма численности подписчиков в двух социальных сетях, где университет имеет наибольшую аудиторию

III . Группа критериев: «Университет и общество» Критерий №15

Название критерия

Количество выпускников вуза, которым посвящена отдельная страница в «Википедии»

Что измеряется

Влияние выпускников на общество

Вес критерия, %

7

Смысл критерия и обоснование его использования

Качественное образование складывается во многом из несоизмеримых явлений, в том числе определяется степенью влияния университета на общество. Один из наиболее эффективных способов такого измерения — посчитать количество успешных в различных сферах деятельности выпускников (в политике, науке, творчестве, искусстве, бизнесе, благотворительности), которым в «Википедии» посвящена отдельная статья. Индикатор количественно оценивает уровень воздействия вуза на общество

Источник данных

«Википедия»

Особенности учета

Суммарное количество выпускников университета, имеющих персональную страницу в «Википедии», удовлетворяющую пороговым значениям: по году рождения выпускника — не ранее 1953 года, по количеству просмотров страницы — не менее 1000 за 2023 год. Таким образом, страницы выпускников, не востребованные пользователями, не учитываются при расчетах

III . Группа критериев: «Университет и общество» Критерий №16

Название критерия

Размер интернет-аудитории сайта вуза

Что измеряется

Востребованность обществом

Вес критерия, %

4

Смысл критерия и обоснование его использования

Показатель отражает востребованность официального интернет-сайта пользователями по всему миру. Чем выше количество уникальных пользователей интернета, посещающих сайт вуза, тем популярнее университет. Университеты, сайты которых посещает большое количество интернет-пользователей, высоко востребованы в обществе и ценны для социума

Источник данных

Similarweb

Особенности учета

Оценивается количество уникальных посетителей сайта университета в течение месяца. Используются данные компании Similarweb (сайт similarweb.com), одного из мировых лидеров в области веб-аналитики, замеры произведены в июле 2024 года

III . Группа критериев: «Университет и общество» Критерий №17

Название критерия

Транспарентность

Что измеряется

Информационная открытость и качество информационной политики

Вес критерия, %

2

Смысл критерия и обоснование его использования

Индикатор комплексно оценивает политику вуза в области информационной открытости обществу, ее последовательность, а также поощрение вузом горизонтальных связей

Источник данных

Веб-сайты университетов

Особенности учета

Индикатор учитывает наличие на официальном сайте вузов следующих ресурсов, материалов и публикаций: актуальный общий годовой отчет, актуальный финансовый отчет, портал для выпускников, открытый перечень либо система поиска сотрудников, миссия университета

* — запрещена в РФ; принадлежит корпорации Meta, которая признана в РФ экстремистской.

** — заблокирована в РФ.

*** — перечень учитываемых студенческих олимпиад: