Основная номинация. Короткий фантастический рассказ.
Зачем оно вообще
Однажды утром, днем, вечером или ночью, я посмотрел на оценки в группах и задумался. Над вкусами.
Спорить о вкусах бесполезно, их можно только рассматривать и учитывать. Но куда легче понимать мнение судьи, когда видишь, что ему нравится, а что - нет.
Кроме того, если смотреть с точки зрения организаторов, то понятно, что одной из сложнейших задач координатора является балансирование набором судей так, чтобы их совокупное решение было максимально взвешенным. Особенно сложно этого добиться при малом количестве судей, как получилось в группах. Отбрасывание двух крайних оценок, практикуемое на БД, еще более усложняет задачу балансировки для координатора (из шести судей группы фактически остаются четверо).
Значит, анализ сходств и различий между оценками, выставляемыми за одни и те же произведения, может принести практическую пользу как участникам конкурса, так и организаторам.
Так я от первоначального желания сравнивать свои оценки с судейскими перешел к сравнению оценок судей между собой. И устал. Вручную перебирать значения утомительно, пришлось поставить задачу программисту. Он ее выполнил, за что получил большое марсианское спасибо.
Что конкретно делалось
Была написана штуковина, которая получила информацию об оценках, судьях и рассказах из расшифровок, выложенных на странице БД-8.
По этому материалу нарисовали таблицу, где можно увидеть все оценки за все рассказы от каждого из судей.
Далее сравнивались пары судей. Считалось количество совпадений в оценках каждого из рассказов. По результатам тоже нарисовали таблицу.
Также сравнивалось количество совпадений в максимальных и минимальных оценках за один и тот же рассказ. Допустим, первый судья поставил 7 и второй поставил 7 - это и есть совпадение крайних оценок (так же с оценками 1).
И, наконец, сравнивались расхождения в крайних оценках. Это когда первый судья поставил 7, а второй - 1 (или наоборот).
Чтобы рассмотреть то же самое более гибко, по аналогичному алгоритму сравнили оценки с учетом разброса в 1 балл. Это означает, что если, например, первый судья поставил 6, а второй - 5, то считается, что они совпали. А вот при 6 и 4 - не совпали.
Для удобства визуального анализа в таблицах, где сравниваются судьи, введено цветовое обозначение. Значения, существенно отличающиеся от средневзвешенных, выделяются цветом. Расшифровка дается под таблицами.
Свои выводы каждый из желающих может сделать сам на основании вышеприведенных материалов.
С точки зрения координации конкурса, эти выводы зависят от установок того, кто принимает решение. Например, существенное сходство в оценках между двумя судьями (более 70-ти процентов совпадений) наводит на мысль о сходстве их литературных пристрастий. Едва ли стоит ставить таких судей вдвоем в одну группу.
С другой стороны, большие различия между мнениями судей (когда много противоположно оцененных работ) не способствуют получению взвешенной оценки. Пожалуй, этого тоже желательно избегать при разбиении судей на группы. Однако, этим же можно компенсировать слабые места в судействе противоположно настроенных арбитров.
Большие разбросы в крайних оценках между разными судьями могут свидетельствовать так же об идеологическом оценивании работ. В самом деле, если рассказ написан хорошим языком, то это видно, и сложно за такое ставить единицу. Так же непонятно, как можно поставить максимальную оценку за рассказ, изложенный полуграмотно и коряво. Однако, повышенная чувствительность людей к некоторым из эмоциональных каналов может приводить к частичной слепоте. Комплексная оценка рассказа получается перекошенной. Такие вещи бывают, если у судьи есть, допустим, острая склонность к сентиментальному жанру. Или, напротив, острое его неприятие. Если рассматривается слезодавилка или любовь-морковь, то у "сентиментального" судьи это выльется в максимальную оценку, а у "антисентиментального" - в минимальную, и обе они будут сомнительными с точки зрения адекватности. Наверное, такие судьи могут компенсировать друг друга, но будет ли подобная средняя оценка отражать реальное состояние дел с рассказом - большой вопрос.
Другие ссылки
Мои оценки БД-8-лайт можно посмотреть здесь. При сравнении с оценками официальных судей не забывайте, что в лайт шкала начинается с нуля, а не с единицы. Это значит, что нижние оценки могли бы получить до двух баллов больше, если бы судились в обычном конкурсном режиме (не-лайт).
Обзор всех конкурсных рассказов основной номинации можно прочитать здесь.
Обзор рассказов организаторов, заявленных в список Мошкова, можно прочитать здесь.