Конкурс MedSoft на лучшие медицинские компьютерные системы

Одна из главных задач АРМИТ и проводимых ассоциацией форумов MedSoft – выработка прозрач-ных и проверяемых критериев оценки медицинских компьютерных систем (МКС). В этом году на MedSoft-2014 мы планируем проводить конкурс по ряду номинаций:

• системы комплексной информатизации медицинских организаций (КМИС),
• системы для решения задач профилактики, диспансеризации, скрининга (МИС-профилактика),
• лабораторные информационные системы (ЛИС),
• радиологические информационные системы (РИС).

Определение победителей на конкурсе MedSoft-2014 будет максимально объективным:

• Оценивать разработки будут Экспертные комиссии (ЭК), которые создаются для каждой но-минации конкурса, а не в единственном числе на все случаи жизни. ЭК будут состоять из представителей организаций-разработчиков - участников конкурса и независимых экспертов, являющихся признанными авторитетами и профессионалами в своей области – представите-лей здравоохранения, науки и т.д.
• Оценки экспертами выставляются не на основании общих впечатлений и расплывчатых предпочтений, а на основании предварительно сформулированных требований к данному классу систем - конкретных и проверяемых.

Технология определения победителей конкурса на лучшую МКС

1-й тур. Отборочный. Формирование Экспертной комиссии (ЭК)

На данном этапе

• Формируется список участников конкурса. Компании, желающие принять в участие в конкурсе, должны заполнить и прислать на адрес info@armit.ru заявку на участие в конкурсе и анкету конкурсанта, включающую информацию о представляемой системе.
• К заполненной анкете заявитель должен приложить копию регистрационных и правоустанавливающих документов на МИС, представляемую на конкурс. Данный документ должен подтверждать, что именно заявитель является правообладателем представленной разработки. Чаще всего - это должно быть «Свидетельство о государственной регистрации программ для ЭВМ», выданное Федеральной службой по интеллектуальной собственности. В случае, если по каким-то причинам такой документ не может быть предоставлен, может быть приложена копия лицензионного договора, устанавливающего право распространения и представления системы на территории Российской федерации.
• Формируется «Экспертная комиссия» (ЭК), в которую включаются представители организаций-разработчиков (по одному от фирмы) и независимые эксперты – представители здравоохранения, науки и т.д.
• Для каждого участника конкурса определяется значение показателя Рейтинг MedSoft (RM), учитывающего активность организации в контексте ее участия в MedSoft.

2-й тур. Обход стендов участников конкурса экспертной комиссией. Выбор финалистов

• ЭК обходит стенды участников конкурса (до 20 минут на стенд). Каждый член ЭК на основе анкеты участника и личного изучения системы выставляет оценки по 5-бальной шкале по всем установленным критериям (функционал, интерфейс, документация на систему, организация обучения и др.), предусмотренным «Протоколом оценки информационной системы» (pdf). После этого вычисляется Оценка эксперта (pdf), равная сумме значений критериев, умноженных на веса соответствующих критериев.
• Итоговая Оценка 2-го тура определяется путем суммирования среднего значения оценок экспертов (по всем экспертам) и вычисляемого значения Рейтинга MedSoft данного участника.
• Трое участников, набравших максимальный результат, переходят в 3-й тур.
• Кроме того рассчитываются средние значения по всем критериям, что позволяет определить победителей по каждому отдельно взятому критерию (например, за лучший интерфейс).

3-й тур. Финал: итоговые дебаты и определение победителей

На данном этапе финалисты в краткой форме рассказывают о своей системе и отвечают на вопросы аудитории и экспертов:

• Дебаты финалистов проводится гласно и прозрачно: в конференц-зале при полном стечении всех желающих
• На дебатах организацию-финалиста могут представлять до двух человек
• Представители организаций-финалистов в 5-минутных выступлениях кратко рассказывают об «изюминках» своей МИС, о том, чем она отличается от других МИС; т.е. пытаются объяснить, чем их МИС лучше, чем другие
• Вопросы представителям в этом туре могут задавать, как члены ЭК, так и зрители
• Для повышения объективности на этом этапе из ЭК исключаются представители организаций-финалистов
• После этого члены ЭК выставляют свои оценки за 3-й тур (по 5-ти бальной системе), которые с учетом веса данного критерия суммируются с баллами, набранными участниками во 2-м туре.

Победители в каждой номинации получают дипломы и призы MedSoft в зависимости от числа конкурсантов:

При числе конкурсантов 7 и более:

• В 3-й тур выходят три претендента, набравшие наибольшее число баллов во 2-м туре
• Победители определяются по итогам 3-го тура с учетом баллов, набранных во 2-м туре
• Победителям вручаются «Золотой MedSoft» и два «Серебряный MedSoft»

При числе конкурсантов 4-6:

• В 3-й тур выходят три претендента, набравшие наибольшее число баллов во 2-м туре
• Победители определяются по итогам 3-го тура с учетом баллов, набранных во 2-м туре
• Победителям вручаются «Золотой MedSoft» и один «Серебряный MedSoft»

При числе конкурсантов 1-3:

• Победитель определяется по схеме, аналогичной выше приведенной, но несколько более простой: методом суммирования оценок членов ЭК во 2-м туре и значения рейтинга MedSoft.
• Победителю вручается «Золотой MedSoft»

Возможно, предлагаемая нами технология не идеальна и 100-процентного ее одобрения мы не получим никогда: всегда кто-то чем-то будет недоволен. Ждем Ваши КОНКРЕТНЫЕ замечания и предложения. Не исключено, что на следующий год совместными усилиями придумаем что-то еще более удачное.

Совместными усилиями предстоит доработать типовые требования по всем номинациям (см. выше), что является самой трудной задачей подготовки к проведению конкурсов. Но, если мы сможем с ней справиться, то это будет важнейший шаг в направлении наведения порядка в нашей отрасли, и авторитет конкурса будет действительно высоким.

Михаил Эльянов
Президент АРМИТ

1. Экспертная комиссия (ЭК) создается для каждой номинации конкурса.
2. Экспертная комиссия состоит из 8-10 экспертов: представителей организаций-разработчиков - участников конкурса и независимых экспертов – представителей здравоохранения, науки и т.д.
   • Представителей от участников конкурса (по одному от организации) выдвигают сами организации-участники. Те, кто войдут в состав ЭК (4-5 человек) определяются методом случайной выборки (по жребию).
   • Состав независимых экспертов формируется на основании предложений оргкомитета Medsoft и предложений профессионального сообщества, сформулированных в процессе открытого обсуждения перед проведением MedSoft.
3. Требования к независимым экспертам:
   • Компетентность (естественно).
   • Возможность уделить работе в ЭК необходимое время. Включение в число экспертов «свадебных генералов» или (и) лиц, которым через 15 минут потребуется отбыть в связи с большой занятостью, создаст больше проблем, чем преимуществ.
   • Независимость для независимых экспертов (насколько это возможно в наших условиях). Примечание: конечно, мы прекрасно понимаем, что абсолютно независимых экспертов найти очень сложно: либо сами они являются сотрудниками тех или иных фирм-разработчиков (и в связи с этим совсем независимыми быть не могут), либо активно сотрудничают с какими-либо из этих фирм. Но, тем не менее, мы постараемся добиться, чтобы независимые эксперты были максимально объективными.
4. ЭК возглавляется председателем, который передает результаты работы ЭК в оргкомитет MedSoft. Желательно, чтобы председателями ЭК были независимые эксперты, но ничего страшного не произойдет, если ЭК будет возглавляться представителем организации-разработчика – участника конкурса. При тщательно прописанной процедуре возможность повлиять на результаты будет сведена к минимуму. Главная задача председателя: соблюдать регламент и не допускать «базара» (как по форме, так и по содержанию).

Рейтинг MedSoft (RM) отражает активность организации в контексте ее участия в MedSoft и представления данной системы, а также степень серьезности участия, пропорциональной размеру стенда на MedSoft-2013

RM определяется по формуле:

RM = (N/Nmax + (S+Sспонс)/Smax)*2.5, где

N – сколько раз организация участвовала в выставке MedSoft за последние три года (Nmax = 3)
S – площадь стенда организации на MedSoft-2014
Smax – макс. площадь стенда; на MedSoft-2014 Smax = 32 кв.м.
Sспонс – учитывает спонсорство. Для генеральных спонсоров (генеральных партнеров и т.п.) Sспонс = 32, для спонсоров - 16, для неспонсоров - 0.

Возможный вопрос: а почему именно такой алгоритм?
Ответ: алгоритм должен быть «прозрачным», проверяемым, учитывать стабильность интереса к МИС (участник выступает с данным продуктом не один год), «серьезность намерений» (большой стенд это не только прямые затраты на стенд, но и участие в выставке большого числа сотрудников, и оформление стенда и т.д.).

Введение дополнительного параметра Рейтинг MedSoft понравилось далеко не всем. Но необходимо учитывать и рыночные результаты работы компании, т.е. и ее финансовую успешность. Готовых алгоритмов такой оценки сегодня нет. Но надо трезво смотреть на вещи и не делать вид, что, например, Компания «СП.АРМ», на 32-х метровом стенде которой в 2012 году реально работали около 30 человек, специально приехавших из С.-Петербурга, и фирма, расположившаяся на 4-х метрах с одним представителем, просидевшим все 3 дня в наушниках (видимо, чтобы посетители не мешали), должны иметь одинаковые стартовые условия при участии в конкурсе.