International Platform for Professional Scientific and Technical Expertise and Peer Review -  BRIDGE

Положение об оценке научных произведений по 100-балльной шкале на основе 10 ключевых критериев

Предисловие

Настоящее Положение устанавливает единый регламент оценки научных произведений в системе BRIDGE с использованием 100-балльной шкалы и десяти приоритетных критериев оценки. Цель документа — обеспечить объективность, воспроизводимость и прозрачность экспертной оценки, унифицировать подходы рецензирования и обеспечить сопоставимость результатов для редакционных решений, грантовых комиссий, институциональных отчётов и конкурсных процедур.

Область применения и принципы

1. Область применения
   Документ применяется ко всем видам научных произведений, включающим оригинальные исследования, обзорные статьи, методические разработки, технические отчёты, патентные раскрытия и иные научно-инженерные материалы, представляемые в рамках BRIDGE, ISJAEE, IJHEлибо на экспертную проверку партнёрских площадок.
2. Принципы оценивания

• Объективность: оценка строится на заранее заданных критериях и шкалах, исключающая произвольные факторы.
• Воспроизводимость: каждое оценочное решение должно быть документировано и воспроизводимо другим квалифицированным экспертом.
• Прозрачность: автору предоставляется детализированный отчёт с балльной разбивкой по критериям и мотивированными комментариями.
• Двухэтапность: формальная оценка на соответствие требованиям формата и стандартам качества, затем содержательная оценка по критериями.
• Необходимость доказательств: все ключевые замечания должны ссылаться на конкретные разделы рукописи, данные или ссылки на источники.
• Этические и юридические ограничения: оценка исключает дискриминацию; эксперты обязаны соблюдать конфиденциальность и декларировать конфликты интересов.

Структура оценки и распределение баллов

1. Общая схема
   Общая максимальная сумма баллов — 100. Оценка рассчитывается как сумма баллов по десяти критериям. Каждый критерий имеет вес и максимальный вклад в общую оценку. Веса установлены с учётом их относительной значимости для качества научного произведения и практической значимости результатов.
2. Предлагаемая распределённая шкала и веса

Примечание: Сумма максимумов равна 100. Внутреннее распределение может корректироваться редакционной коллегией BRIDGE в зависимости от специфики тематической области (например, прикладные исследования могут усилить вес практической значимости).

Подробное описание критериев и методика выставления баллов

Критерий 1 Научная новизна и оригинальность (макс. 15 баллов)

• 0–3 балла: Отсутствие новизны; результаты повторяют ранее опубликованные данные без существенных улучшений.
• 4–7 баллов: Небольшой вклад в текущую научную картину; отдельные элементы новы.
• 8–11 баллов: Явный вклад в область; новые гипотезы, модели или методы представлены убедительно.
• 12–15 баллов: Существенная новизна, открывающая новые направления исследований либо радикально улучшающая существующие подходы; результат имеет междисциплинарный потенциал.

Оценка базируется на сравнении с текущим состоянием исследований, ссылочной базе и наличию четко сформулированных научных вопросов.

Критерий 2 Методологическая точность и воспроизводимость (макс. 15 баллов)

• 0–3 балла: Методология не описана или содержит критические ошибки, исключающие воспроизводимость.
• 4–7 баллов: Описание методов частично; ключевые параметры отсутствуют или неполны.
• 8–11 баллов: Методы описаны в достаточной степени для воспроизведения при наличии необходимых ресурсов; статистическая обработка корректна.
• 12–15 баллов: Полное, детализированное методологическое описание, включая протоколы, исходные данные, скрипты анализа и метаданные; предусмотрены процедуры валидации и тестирования.

Эксперт оценивает полноту описания, корректность выбора методов, статистические подходы и наличие материалов для воспроизведения.

Критерий 3 Теоретическая обоснованность и логика выводов (макс. 12 баллов)

• 0–2 балла: Выводы не подтверждены данными или логическими доказательствами.
• 3–5 баллов: Частичная связь между данными и выводами; логические пропуски.
• 6–8 баллов: Выводы основаны на адекватной интерпретации данных; встречаются незначительные логические допущения.
• 9–12 баллов: Выводы последовательно вытекают из результатов, сопровождаются критической дискуссией и ограничениями.

Оценивается соответствие аргументации методам и результатам, наличие альтернативных объяснений и корректная интерпретация.

Критерий 4 Качество представленных данных и их анализ (макс. 12 баллов)

• 0–2 балла: Данные отсутствуют, и/или представлены фальсифицированные или некорректные наборы.
• 3–5 баллов: Данные присутствуют, но недостаточно полно описаны; возможны ошибки в обработке.
• 6–8 баллов: Данные корректны, представлены в структурированном виде; аналитические методы в целом корректны.
• 9–12 баллов: Высокое качество данных; используемые наборы открыто доступны или обоснованно описаны; анализ пройден проверку чувствительности и надежности.

Критерий основывается на полноте датасетов, корректности предобработки, адекватности статистических тестов и прозрачности методов анализа.

Критерий 5 Практическая значимость и применимость (макс. 10 баллов)

• 0–1 балл: Нет практического применения.
• 2–4 балла: Потенциальное применение ограничено или требует значительных доработок.
• 5–7 баллов: Практическое применение очевидно; требует адаптации для внедрения.
• 8–10 баллов: Непосредственная применимость, экономическая эффективность и реальная ценность для промышленности, политики или общества.

Оценивается вероятность внедрения, потенциальная экономическая выгода, экологические и социальные эффекты.

Критерий 6 Соответствие этическим и нормативным требованиям (макс. 8 баллов)

• 0–1 балл: Этические нарушения, отсутствие разрешений, некорректное обращение с данными.
• 2–3 балла: Наличие частичных пробелов в документации по этике или в согласиях.
• 4–5 баллов: Этические аспекты обработаны надлежащим образом, но есть незначительные замечания.
• 6–8 баллов: Полное соответствие нормам, наличие одобрений этических комиссий, прозрачность работы с субъектами и данными.

Эксперт проверяет наличие согласий, протоколов, соответствие биоэтическим и нормативным стандартам.

Критерий 7 Оформление, ясность изложения и структура статьи (макс. 8 баллов)

• 0–1 балл: Непригодное оформление, трудночитаемая структура.
• 2–3 балла: Оформление неудовлетворительное; трудности с восприятием основного содержания.
• 4–5 баллов: В целом читаемо, но есть замечания по структуре и ясности.
• 6–8 баллов: Чёткая структура, логичная организация текста, корректные заголовки, таблицы и рисунки информативны.

Включает стиль научной речи, корректность терминологии и качество иллюстративных материалов.

Критерий 8 Комплексность обзора литературы и ссылочная база (макс. 8 баллов)

• 0–1 балл: Обзор отсутствует или формален; ключевые источники не учтены.
• 2–3 балла: Обзор неполный, отсутствует критическое сравнение с ведущими работами.
• 4–5 баллов: Хорошая обзорная часть, включающая большинство релевантных источников.
• 6–8 баллов: Комплексный, критический обзор, охватывающий ключевые направления, включая последние публикации и альтернативные точки зрения.

Оценивается полнота библиографии, актуальность источников и качество ссылочной аналитики.

Критерий 9 Инновационность технологических решений и патентный потенциал (макс. 7 баллов)

• 0–1 балл: Отсутствие инновационных решений.
• 2–3 балла: Наличие частичных новаторских элементов, но низкий патентный потенциал.
• 4–5 баллов: Значительная инновационность, возможна патентоспособность отдельных элементов.
• 6–7 баллов: Высокий инновационный потенциал, ясно выраженные объекты, пригодные для патентования и коммерциализации.

Эксперт учитывает наличие защищаемых решений, возможность юридической охраны и рыночную привлекательность.

Критерий 10 Репутация авторского коллектива и прозрачность данных (макс. 5 баллов)

• 0–1 балл: Отсутствие каких-либо подтверждений компетентности авторов; недоступность исходных данных.
• 2–3 балла: Авторы имеют частичную репутацию; данные частично доступны.
• 4 балла: Надёжный авторский коллектив; данные доступны и проверяемы.
• 5 баллов: Высокая репутация авторов, прозрачны методики и исходные данные; наличествуют репозитории и ссылки на источники.

Учитывается предыдущая публикационная активность, индекс цитирования, аффилиации и открытость данных.

Методика выставления итоговых баллов и нормализация

1. Расчёт суммарной оценки
   Итоговый балл определяется как простая сумма баллов, выставленных по каждому критерию. Максимум — 100 баллов. Формула:
   Итоговый_балл = Σ(Баллы_критерия_i), i=1..10.
2. Корректировка по тематике
   Для разных тематических направлений (например, теоретическая физика, клиническая медицина, прикладная инженерия) редакционная коллегия вправе ввести коррекционные коэффициенты к весам критериев с целью отражения специфики дисциплины. Коррекция не должна менять суммарный максимум 100 баллов, а применяется путем перераспределения весов внутри 100-балльного пространства.
3. Нормализация и усреднение мнений нескольких рецензентов

• Если рукопись рецензируется двумя и более экспертами, для получения итоговой оценки используется среднее арифметическое оценок по каждому критерию.
• При большой дисперсии мнений (стандартное отклонение по любому критерию выше порога, установленного редакцией) инициируется третий независимый рецензент или комитет для вынесения сводной оценки и разрешения расхождений.
• Окончательное решение редакционной коллегии может учитывать дополнительную нормализацию, исключающую системные смещения отдельных рецензентов.
  4. Округление и представление результатов
     Итоговый балл представляется с точностью до одного знака после запятой; отдельные промежуточные показатели (баллы по критериям) — целыми числами. В отчёте указываются минимальная, максимальная и средняя оценки по рецензентам для каждого критерия.

Процедуры и форма отчётности рецензий

1. Стандартный отчёт рецензента должен содержать:

• Краткое резюме содержания и ключевых результатов;
• Поочерёдно выставленные баллы по десяти критериям с кратким пояснением каждого балла;
• Общую суммарную оценку и рекомендацию (принять, принять с доработками, отклонить, отправить на доработку с повторной экспертизой);
• Список конкретных замечаний и предложений по доработке;
• Указание на доступность и местонахождение исходных данных и материалов для воспроизводимости;
• Декларация о конфликте интересов и соблюдении этических норм.
  2. Формат отчёта
     Отчёт заполняется в стандартизированной форме на платформе BRIDGEи включает обязательные поля для каждого критерия, комментариев и файлов подтверждений.
  3. Требования к обоснованию баллов
     Для каждого выставленного балла рецензент обязан привести минимум одно обоснование, указывая страницу, раздел или таблицу в рукописи. Наличие универсальных, не конкретизированных фраз недопустимо.

Роли редакционной коллегии и механизм апелляции

1. Редакционная коллегия

• Анализирует итоговые оценки рецензентов;
• Принимает окончательное решение о публикации или направлении материала на доработку;
• Обеспечивает независимую проверку спорных случаев и высокую качество оценки.
  2. Механизм апелляции автора
• Автор имеет право подать апелляцию на итоговое решение или отдельные замечания рецензентов в течение срока, установленного редакцией;
• Апелляция рассматривается апелляционной комиссией, включающей независимых экспертов, не участвовавших в исходной экспертизе;
• Возможные результаты апелляции: подтверждение решения, назначение дополнительной рецензии, пересмотр оценок по отдельным критериям.

Контроль качества оценивания и обучение рецензентов

1. Система верификации рецензий

• Периодический аудит качества рецензий редакционной коллегией;
• Оценка рецензентов по метрикам согласованности и обоснованности замечаний;
• Введение рейтинга рецензентов с учётом качества и оперативности выполнения работ.
  2. Обучение и сертификация рецензентов
• Платформенные курсы по стандартизации оценки, методикам статистического анализа и этике рецензирования;
• Обязательная сертификация рецензентов для работы в рамках BRIDGEпо ключевым тематическим направлениям;
• Повышение квалификации и периодические тренинги для поддержания единых стандартов.

Прозрачность, хранение данных и открытость результатов

1. Публичные элементы отчётов

• Резюмированные показатели качества публикаций и агрегированные метрики могут публиковаться в годовых отчётах BRIDGEс сохранением анонимности рецензентов;
• По согласованию с авторами допускается публикация открытых рецензий с указанием имён рецензентов.
  2. Хранение данных и архивация
• Все рецензии, версии рукописей и сопровождающие материалы архивируются на платформе BRIDGEс тегированием по номеру версии, датам и статусам;
• Доступ к архивам регулируется политикой конфиденциальности и условиями договоров с авторами.

Внедрение и переходные положения

1. Пилотный этап

• Перед внедрением регламента проводится пилотирование в нескольких тематических направлениях с целью калибровки весов критериев и процедуры нормализации.
  2. Переходные механизмы
• Материалы, находящиеся в процессе рецензирования на момент вступления Положения в силу, оцениваются согласно новому регламенту после уведомления сторон;
• Для действующих рецензентов и редакторов организуется обучение по новому регламенту с обязательной сертификацией.
  3. Обновление регламента
• Редакционная коллегия BRIDGEпересматривает Положение не реже одного раза в год с учётом практики применения, обратной связи и изменений в научных стандартах.

Контроль исполнения и ответственность

1. Ответственные лица

• Контроль за исполнением возлагается на Редакционную коллегию и Администрацию BRIDGE;
• Индивидуальная ответственность рецензентов и сотрудников документируется в трудовых договорах и соглашениях о конфиденциальности.
  2. Санкции за нарушения правил оценивания
• В случае доказанного систематического завышения или занижения оценок, использования необоснованных или дискриминационных аргументов применяются дисциплинарные меры, отстранение от рецензирования, снижение рейтинга и исключение из пула рецензентов.

Приложения

1. Приложение 1 Шаблон отчёта рецензента (форма)

• Блоки: краткое резюме, оценка по каждому критерию с обоснованием, суммарная оценка, рекомендации, список файлов и данных, декларация конфликтов интересов.
  2. Приложение 2 Примеры обоснований по критериям
• Набор типовых фраз и примеров, позволяющих рецензентам ясно и корректно формулировать замечания.
  3. Приложение 3 Методика нормализации оценок между рецензентами
• Описание статистических процедур, порогов дисперсии и алгоритмов включения третьего рецензента.
  4. Приложение 4 Рекомендации по адаптации весов по дисциплинам
• Примеры перекалибровки весов для теоретических, прикладных и клинических исследований.

Заключительные положения

1. Вступление Положения в силу производится приказом редакционной коллегии BRIDGE.
2. Положение обязательно для всех подразделений и партнёрских площадок, использующих систему оценки BRIDGE.
3. Все изменения регламента оформляются в виде редакционных правок и публикуются на платформе BRIDGE с уведомлением всех заинтересованных сторон.

Документ содержит описание методики и процедур, необходимых для стандартизированной оценки научных произведений по 100-балльной шкале на основе десяти ключевых критериев. Реализация данного Положения требует организационной подготовки, обучения рецензентов и пилотного тестирования для калибровки весов и процедур нормализации в разных научных областях.

СЕО Платформы BRIDGE   Александр Леонидович Гусев

https://t.me/+d8x5vB1m5Jo0YmY6

Примеры работы системы BRIDGE в различных областях

1) Соглашение с ISJAEE, IJHE:

https://t.me/Reviews_BRIDGE

https://t.me/BRIDGE_ISJAEE_IJHE

https://t.me/+r4WKBHfj9O05ZWQy

https://t.me/+ym-Hkj4hl4ZlMGUy