Мета-анализы и систематические обзоры критически оценивают и синтезируют наилучшие существующие доказательства, чтобы сформулировать рекомендации, отвечающее на конкретные клинические вопросы.

• Intervention-type вопрос
• Отбор гомогенных исследований
• Оценка качества исследований. Качество рекомендаций в обзорах определяются качеством анализируемых исследований
• Все принятые автором обзора решения должны быть обоснованы

Адаптация SR в социальных науках требует гибкости из-за разнообразия эмпирических дизайнов даже в рамках одного тематического поля. Существуют несколько форм:

• SR с мета-анализом — систематический обзор с количественным синтезом эмпирических результатов из других исследований
• SR без мета-анализа — систематический обзор при невозможности статистической агрегации
• Scoping SR — обзор по широкой теме с использованием систематических процедур.
• Обзоры с элементами SR — частичная интеграция процедур систематического обзора. Авторы часто адаптируют только те этапы SR, которые соответствуют их теме и ресурсам

Основные этапы SR

• Определение вопроса. Идеально, если вопрос можно разложить на контекст, вмешательство, механизмы и эффекты:

Кто является ключевыми индивидуальными случаями? Какие демографические факторы имеют значение? (Пол, возраст и т. д.) Какой тип вмешательства рассматривается? (Стиль лидерства, системы планирования и контроля, обучение, и т. д.). Какие механизмы задействованы? Почему механизмы активируются или не активируются? Каковы ожидаемые результаты? Как они будут измеряться?

• Поиск литературы. Поисковая стратегия должна быть явно прописана: базы данных, ключевые слова, «серая» литература и т.д.
• Отбор и оценка источников: определить критерии включения/исключения, подобрать несколько экспертов для отбора
• Анализ источников:

--Кодирование источников: выборка, методы, конструкции, теории и др.

--Визуализация: графы (Scopus, VOSviewer)

• Представление результатов: таблицы, диаграммы, графики.

Нарушение привычной инфраструктуры научной аналитики и оценки

• Известные коммерческие научные индексы Web of Science (недоступен с мая 2022 года) и Scopus (недоступен с января 2023 года) опирались на данные непосредственно от издателей и распространителей научной информации: данные заполняются на основе контрактов, а доступ к ним также предоставлялся на основе соглашений с вузами и научными организациями, позволяя дополнительно получить доступ к аналитическим системам и разнообразные обучающие материалы.
• размещаемые на платформе Elsevier OA-журналы также не одобряются многими российскими учреждениями.
• Отдельно проблема ограничений в получении DOI, который не может быть заменён отдельными решениями (как EDN НЭБ).

Альтернативные источники и платформы

• The Lens — https://www.lens.org.

Поиск научных публикаций, патентов, аналитика, открытые API.

• OpenAlex — https://openalex.org/ 

Преемник Microsoft Academic; открытые метаданные, расширенная поддержка связей между авторами, организациями и журналами.

• Dimensions — https://www.dimensions.ai

Базовый доступ к публикациям, грантам, цитированию и аналитике и расширенные платные возможности.

• Начальная точка: Академия Google Scholar, ядро РИНЦ — как основа «домашнего ядра поиска».

Анализ покрытия и качества баз показывает

• OpenAlex и The Lens обладают высоким покрытием публикаций, но качество метаданных пока ниже, так как они собираются автоматически, а не поставляются издателями.
• Языковое распределение и точность (особенно для неанглоязычных текстов) лучше, чем ожидалось.
• Отмечаются стабильные показатели на больших массивах данных (2015–2022 годы).

Важно отмечать все свои действия при поиске информации, чтобы информацию можно было дополнить и/или перепроверить. Можно ориентироваться на стандартизированные методологии, так наиболее популярно решение PRISMA2020: https://estech.shinyapps.io/prisma_flowdiagram/

Отбор источников (скрининг) для включения в систематический обзор

• Формулировка критериев отбора должна быть связана с исследовательским вопросом (чем конкретнее вопрос, тем понятнее критерии)
• Золотой стандарт - больше одного автора участвует отборе, заданный уровень согласия между участниками
• Часто для скрининга хватает заголовка и аннотации публикаций, в неочевидных случаях эксперты обращаются к полным текстам
• Нужный уровень согласия между экспертами достигается на этапе пилота (отработка скрининга на выборке)

Работа с содержанием статей - извлечение информации, кодирование

• Схема извлечения данных также зависит от исследовательского вопроса
• Кодировщиков обычно несколько (один кодировщик – методологическая слабость работы)
• Часто также есть пилотный этап – выборка публикаций обрабатывается несколькими авторами-экспертами параллельно, рассчитывается коэффициент согласия (каппа Коэна или др.), обсуждаются расхождения, корректируются правила извлечения информации
• Полный массив при необходимости делится на части, каждая часть отдается двум экспертам. Случаи расхождений или обсуждаются, или передаются на обработку третьему эксперту

Инструменты для скрининга публикаций и извлечения данных из них

• Самое простое - табличка в Excel, Google Sheets, Яндекс Таблица
• Есть специальные программы для систематических обзоров, платные (EPPI-Reviewer, Covidence, Review Manager) и бесплатные (Rayyan, SRDR, Colandr)
• Специальные программы позволяют лучше сохранять информацию, ускоряют работу за счет частичной автоматизации, удобны при большом количестве экспертов

Может ли LLM заменить эксперта в задачах скрининга публикаций?

• Нет 100% совпадения с тем, как литературу отбирают эксперты
• LLM отбирают литературу не хуже доступных ранее приложений
• Точность отбора зависит от LLM, от промта, от массива литературы и темы обзора
• В промте может быть указана постановка задачи, критерии включения статьи, примеры статей для включения, критерии исключения статьи, примеры статей для исключения

Как использовать LLM?

LLM очень хорошо извлекают информацию, если она стандартизирована (но в социальных науках она обычно не стандартизирована), исследований для нестандартизованных текстов пока немного.

• ШАГ 1: (Критически важный) Выяснить политику журнала(ов) по использованию LLM
• ШАГ 2: На части массива статей протестировать согласованность отбора LLM с экспертом – меняем промты, считаем индикаторы согласованности
• ШАГ 3: При приемлемой согласованности LLM и эксперта на выборке заменяем одного из экспертов на LLM для обработки всего массива
• ШАГ 4: Все конфликтные случаи (разные решения у LLM и эксперта) отдаем на ревизию экспертам