Революция, о необходимости которой всё время говорили… Пока только концепция

ИИ в суде: пока Концепция. Но вопросы уже процессуальные

Ещё в июле 2025 года в обсуждении на Праворубе я написал, что «я бы с удовольствием оснастил каждого судью и следователя ИИ-ассистентом». Речь шла о помощнике, который выявляет противоречия в показаниях, обращает внимание на процессуальные нарушения и помогает проверять доказательства. Не заменяет судью, а помогает ему работать.

Теперь появился документ, позволяющий обсуждать не отвлечённое будущее, а конкретные направления такой работы. Приказом Председателя Верховного Суда РФ от 3 сентября 2026 года № 59-П утверждена Концепция внедрения технологий искусственного интеллекта в судопроизводство Российской Федерации 59-П.

Революция ещё не свершилась. Утверждение Концепции не означает, что суды уже получили работающую систему со всеми перечисленными возможностями. Документ предусматривает аудит процессов, подбор решений, пилотирование, оценку результатов и последующее масштабирование. В календарном плане доступ всех судов к судебным ИИ-сервисам обозначен на II квартал 2027 года, а целевые показатели установлены к 2030 году. Это планы, не отчёт о выполненной работе. 
Но вопросы к будущей системе возникают уже сейчас. И значительная их часть находится не в области программирования.

Помощник или участник формирования решения?

Моя позиция относительно ИИ не изменилась. В одном из обсуждений я сформулировал её совсем просто: «Есть мастер, который использует инструмент». Наличие инструмента не создаёт профессиональной квалификации и не переносит на него ответственность за результат. 

Концепция также прямо закрепляет вспомогательный характер ИИ: он помогает судье, но не заменяет его; окончательное решение остаётся за человеком. Одновременно предусматриваются прозрачность, объяснимость, контролируемость и фиксация каждого взаимодействия с системой.

На уровне принципов граница обозначена. Однако перечень предполагаемых функций выходит далеко за пределы исправления опечаток.

ИИ должен помогать анализировать позиции сторон и доказательства, выявлять противоречия, отвечать на вопросы по материалам дела, предупреждать об отклонении проекта решения от судебной практики, предоставлять справочные рекомендации при назначении наказания и генерировать проекты судебных актов. 

Исправить орфографию и предложить оценку доказательственной ситуации технологически могут быть соседними кнопками. Процессуально это разные действия.

Если программа переставила запятую, достаточно проверить предложение. Если она выделила одни обстоятельства как существенные, другие не включила в резюме, а затем предложила мотивировку решения, проверять придётся уже не только текст.

Потребуется установить, из чего этот текст получился.

Что именно собираются измерять с точностью 90 процентов?

В приложении № 2 предусмотрен показатель: «Точность анализа доказательств и выявления противоречий». Целевое значение к 2030 году составляет не менее 90 процентов.
Здесь важно не приписывать документу того, чего в нём нет. Эти 90 процентов не означают ни «вероятность виновности», ни разрешение ошибаться в каждом десятом приговоре. Речь о показателе качества работы системы.

Но как именно его будут рассчитывать?

Найти несовпадение дат в двух документах, установить противоречие между показаниями и оценить значение этого противоречия для обвинения не одно и то же. Можно правильно обнаружить различие в формулировках, но ошибочно признать его существенным. Можно не найти различий в формулировках и пропустить противоречие по существу.

Что станет единицей измерения: документ, вопрос, отдельное утверждение, выявленное противоречие или всё дело? Кто сформирует проверочную выборку и установит правильные ответы? Будут ли отдельно учитываться пропущенные противоречия и противоречия, которых в действительности нет?

Представим, что система правильно обработала девять второстепенных обстоятельств, но пропустила десятое, от которого зависит оценка всей обвинительной версии. Для отчёта это может выглядеть как хороший процент совпадений. Для конкретного дела значение имеет именно пропущенное обстоятельство.

ст. 88 УПК РФ требует оценивать относимость, допустимость и достоверность каждого доказательства, а достаточность определять по их совокупности. Эта оценка не сводится к подсчёту совпавших ответов.

Поэтому техническая метрика необходима для проверки инструмента, но сама по себе не объясняет, насколько надёжен его вывод по конкретному делу.

Проверить ссылку недостаточно

Концепция предусматривает верификацию результатов судьёй. В матрице рисков названа и обязательная RAG-архитектура со ссылками на источник. 

Упрощённо, при таком подходе система сначала находит материалы в подключённых источниках, затем передаёт найденное модели вместе с вопросом. Это позволяет опираться на определённые документы, а не только на сведения, усвоенные моделью при обучении. Но даже наличие найденных материалов не исключает неправильного ответа.
Таким образом концепция предусматривает использование RAG-архитектуры: перед формированием ответа система должна найти относящиеся к запросу материалы и передать их языковой модели. Это снижает риск выдуманных ссылок, но создаёт другой вопрос: что именно система отобрала и передала модели? Документ может находиться в деле и даже быть загружен в систему, но не попасть в контекст конкретного запроса.

В публикации «Не ИИ ведёт дело» я уже отмечал: «Однако наличие реальной ссылки ещё не делает аргумент правильным».

Ссылка может существовать. Цитата может быть воспроизведена точно. Документ может находиться в материалах дела. А вывод всё равно может из него не следовать.

Например, система обнаружила три документа, содержащих одинаковое утверждение. Но все три воспроизводят сведения одного первоначального источника. Если представить их как три независимых подтверждения, реквизиты будут правильными, а доказательственная конструкция уже нет.

Именно поэтому проверка результата включает не только открытие ссылки. Нужно проверить смысл исходного документа, контекст высказывания, связь с другими материалами и переход от установленных сведений к предложенному выводу.

В другой публикации я сформулировал это так: «В адвокатской работе важна проверяемость и доказуемость вывода, а не торжественность формулировки». Для судебного акта это различие не становится менее существенным.

Ходатайство в деле. А в системе?

Допустим, защита представила письменное ходатайство и заключение специалиста. Суд использует ИИ для подготовки справки по делу. В справке довод защиты не отражён.

Что произошло?

Документ не отсканировали? Не загрузили? Загрузили, но не включили в поисковый индекс? Поиск его не нашёл? Модель получила нужный фрагмент, но неверно поняла его значение?

Это разные причины. И проверять их нужно по-разному.

В RAG-системе наличие документа в хранилище не означает, что его содержание будет передано модели при каждом обращении. Для конкретного запроса могут отбираться только определённые фрагменты. Поэтому между фразами «всё дело загружено» и «при подготовке этого ответа использовано ходатайство защиты» существует вполне определённая техническая дистанция.

Следовательно, для проверки понадобятся сведения не только о загруженных файлах, но и о материалах, фактически переданных модели при формировании конкретного ответа.

При этом даже попадание текста в контекст модели ещё не доказывает, что она правильно отразила его содержание. Это уже следующий уровень проверки: сопоставление исходного довода с полученным результатом.

Нельзя ограничиться отметкой «документ обработан». Для защитника существенно другое: какой именно довод был обработан, в каком виде и что с ним произошло дальше.

Журнал предусмотрен. Кто его увидит?

Здесь следует отдать должное точности документа: необходимость фиксации взаимодействий авторы Концепции не забыли. Она прямо предусмотрена подпунктом 4 пункта 5. В матрице рисков также обозначены право стороны знать о применении ИИ и право оспаривать его выводы.

Поэтому вопрос не в том, нужен ли журнал вообще. Вопрос в его составе, сохранности и доступности для сторон.

Ещё в июле 2025 года я писал:«Но качество результата напрямую зависит от того, как сформулирован запрос (prompt)».

Предложить системе найти подтверждения обвинительной версии, выявить её слабые места или сопоставить позиции сторон означает поставить разные задачи. Различие результатов в такой ситуации само по себе не свидетельствует об ошибке. Система выполняет то, о чём её спросили.

Теперь представим последовательность обращений. Первый ответ не устроил пользователя. Он уточнил вопрос. Затем ещё раз изменил формулировку. После нескольких попыток получил подходящий результат.

Само по себе уточнение запроса нормально. Но для последующей проверки важно видеть всю существенную последовательность, а не только последний ответ.

Особенно если первоначально система обнаружила обстоятельство в пользу защиты, а после изменения запроса оно исчезло из итогового резюме.

Узнает ли об этом защитник? Сможет ли установить, изменился только вопрос или одновременно изменился набор документов? Увидит ли первоначальный ответ, который суд не использовал?

Для такой проверки потребовались бы исходные и уточняющие запросы, применённые системные инструкции, результаты поиска, переданные модели фрагменты, ответы, версии используемых компонентов и сведения о последующих изменениях. Отдельный вопрос заключается в защите самого журнала от редактирования.

Повторно задать вопрос недостаточно. Нужно восстановить, что система получила и выдала тогда, когда суд работал с материалами дела.

И речь не о том, чтобы признать удачный для защиты ответ машины доказательством. Речь о возможности проверить, какое обстоятельство было обнаружено, как оно связано с материалами дела и почему не получило отражения в последующей работе.

А тайна совещания судей?

У требования раскрыть весь диалог суда с ИИ есть предел, который нельзя просто обойти: ст. 298 УПК РФ охраняет тайну совещания судей и запрещает разглашение суждений, имевших место при обсуждении и постановлении приговора.

Поэтому формула «выдать защите все запросы судьи» ещё не является готовым процессуальным решением.

Необходимо разграничить технические сведения об обработке материалов, результаты алгоритмического анализа и суждения, относящиеся к охраняемой законом деятельности суда. Определить, на какой стадии создаётся проверяемый материал, когда стороны получают к нему доступ и как обеспечивается режим сведений ограниченного доступа.

Одно дело, когда ИИ исправляет опечатки. Другое, когда система анализирует доказательства и предлагает их оценку. Одинаковый режим для этих операций далеко не очевиден.

Проверяемость технической обработки не должна превращаться в требование раскрыть мысли судьи. Но и ссылка на тайну совещания сама по себе не отвечает на вопрос, как стороне оспорить вывод ИИ, если способ его получения остаётся недоступным.

Концепция обозначает право на оспаривание. Процедуру его реализации ещё предстоит определить.

Допрос идёт. Что именно слышит ИИ?

Пункт 8.3 предусматривает автоматическое протоколирование с распознаванием речи и идентификацией говорящего, а также предоставление судье материалов и выделение ключевых аспектов дела в реальном времени. Это уже не анализ неподвижной папки документов.

Свидетель сначала сообщил одно. После вопроса защитника уточнил, что лично обстоятельства не наблюдал, а узнал о нём от другого человека. Затем последовали вопросы обвинения.

В какой момент система обновит своё представление о показаниях? Сохранит первоначальную версию и уточнение или заменит их кратким пересказом? Не превратится ли ответ о чужих словах в утверждение об обстоятельстве, непосредственно воспринятом свидетелем?

Ещё проще: система распознала «видел» вместо «не видел». Ошибка занимает две буквы. Значение показаний меняется полностью.

Кто проверит распознавание до того, как ИИ подготовит судье аналитическую подсказку? Как исправление отразится в уже созданной справке? Сохранится ли связь спорного фрагмента с аудиозаписью и конкретным моментом заседания?

То же относится к ходатайству, заявленному непосредственно в зале суда. Оно может прозвучать устно, затем быть передано письменно с приложениями. Эти события происходят последовательно, а не одной командой «загрузить дело».

Здесь важно и ещё одно различие. Наличие документа в материалах дела не тождественно его исследованию в судебном заседании. По части 3 ст. 240 УПК РФ приговор может основываться лишь на исследованных в заседании доказательствах.

Следовательно, системе недостаточно знать содержание документов. При анализе, связанном с подготовкой решения, потребуется учитывать их процессуальный статус: что исследовано, что исключено, какие показания оглашены и в каком объёме.

Иначе технически полный массив может оказаться процессуально неправильным.

Этика не должна незаметно менять содержание показаний

Подпункт 6 пункта 5 Концепции закрепляет принцип публичного порядка и этики: применение ИИ не должно противоречить общественным интересам и этическим нормам. 

Сама по себе эта формулировка не требует приписывать машине мораль или совесть. Речь может идти о правилах разработки и использования системы. Но для судебной работы потребуется понять, какими техническими ограничениями эти правила будут реализованы.

Для меня это не отвлечённая проблема. Ещё 11 июля 2025 года я писал об ограничениях при работе с материалами уголовных дел:система могла сообщить, что документы «противоречат его политике». Это описание моего тогдашнего опыта, а не утверждение о том, как будет устроен будущий судебный сервис.

В делах о преступлениях против половой неприкосновенности несовершеннолетних юридическое значение иногда имеет точная формулировка показаний. Замена бытового выражения медицинским термином может не только исказить описание, но и придать ему определённость, которой в исходных словах не было.

Защита может исследовать внутреннее противоречие показаний, их соотношение с медицинскими данными, последовательность изменения описания события. Если исходный текст предварительно сокращён или переформулирован, предмет такого анализа способен измениться.

При рабочем обсуждении общего правового вопроса нейтральный пересказ часто достаточен. При проверке конкретного доказательственного довода иногда необходима именно исходная формулировка.

Концепция не сообщает, что судебные фильтры будут переписывать показания. Приписывать ей это нельзя. Но такой сценарий важно учитывать при проектировании и испытании системы.

Если обработка фрагмента ограничена, пользователь должен видеть факт ограничения. Если текст преобразован, должно быть понятно, что именно изменено. Отсутствие обработанного содержания нельзя незаметно представить как отсутствие соответствующих сведений в деле.

Ограничение доступа к чувствительным материалам и изменение их доказательственного содержания представляют собой совершенно разные меры.

Помощник, несогласие с которым нужно мотивировать

В матрице рисков есть положение, заслуживающее отдельного внимания. Среди мер против снижения независимости и инициативности судьи названа «обязательная мотивировка отклонения ИИ-рекомендации». Рядом указаны вспомогательная роль системы, запрет на выбор по умолчанию и журналы взаимодействий. 

Предполагаемая логика понятна: судья не должен ни механически принимать рекомендацию, ни произвольно её отбрасывать. Но возникает вопрос об устройстве этой обязанности.

Кому адресуется мотивировка? Где она фиксируется? Должна ли входить в судебный акт? Получат ли её стороны? Требуется ли столь же подробное обоснование согласия с рекомендацией?

Если отдельное объяснение необходимо только при отклонении, возникает дополнительная нагрузка именно на несогласие. Это уже возможное влияние интерфейса и процедуры на принятие решения, а не просто вопрос удобства программы.

ст. 17 УПК РФ связывает оценку доказательств с внутренним убеждением, основанным на их совокупности, законом и совестью. Никакие доказательства не обладают заранее установленной силой. Тем более справочная рекомендация программы не должна подменять самостоятельную оценку доказательств.

Рядом с этим положением стоит рассмотреть и другой целевой показатель Концепции: не менее 80 процентов проектов должны утверждаться судьями без существенных правок.

Высокая доля таких проектов может свидетельствовать об их качестве. Но сама по себе она не показывает глубину проверки. Один и тот же внешний результат возможен и после внимательного анализа, и без него.

Поэтому количество исправлений характеризует работу с текстом, но не заменяет оценки обоснованности судебного решения.

Декларировать ИИ или проверять документ?

Матрица рисков затрагивает не только судей. Для противодействия подаче сгенерированных материалов с недостоверными ссылками предусмотрены декларирование использования ИИ, автоматическая проверка ссылок и процессуальные санкции.

Из этого не следует, что Концепция уже установила самостоятельный штраф за использование ИИ. Она обозначает предполагаемые меры. Их основания, пределы и порядок применения нельзя подменять одной строкой таблицы.

Остаётся и вопрос: что именно участник процесса должен будет декларировать?

Генерацию всего документа? Подготовку отдельного абзаца? Проверку орфографии? Поиск повторов? Сопоставление двух таблиц? Использование программы для расшифровки аудиозаписи?

Без разграничения операций одинаковая отметка об использовании ИИ объединит совершенно разные способы работы.

В публикации «Длинное тире как улика» я уже разбирал попытки определять машинное происхождение документа по внешним признакам. А в комментарии написал: «Пусть лучше подозревают в использовании искусственного интеллекта, чем в отсутствии естественного».

Шутка не отменяет предмета обсуждения. Происхождение текста и его качество нужно проверять отдельно. Грамотно оформленный документ может содержать неправильный вывод. Документ с опечатками тоже не теряет от этого доказательственной силы.

Декларация о применении ИИ сообщает о способе подготовки материала. Она не устанавливает достоверность изложенных обстоятельств и не подтверждает добросовестность либо недобросовестность автора.

Профайлинг судей: где проходит граница?

В матрице рисков отдельно указан профайлинг судей по их решениям. Предлагаемые меры сформулированы как полный запрет на персонализированный анализ судей и обезличивание сведений о них в аналитике. 

Здесь необходимо определить, какую деятельность предполагается ограничить. Изучение правовых подходов, отражённых в судебных актах, составление статистики и построение персонального профиля для воздействия на человека не являются одной и той же задачей.

Допустим, адвокат изучает, как в решениях конкретного судьи разрешается определённый процессуальный вопрос. Меняется ли характер такой работы от того, прочитал он документы самостоятельно или воспользовался программой для их систематизации?

Другой вопрос касается достоверности результата. По текстам решений нельзя автоматически установить мотивы судьи или все обстоятельства рассмотренных дел. Различия в категориях дел и составе доступных материалов способны сделать сравнение некорректным.

Это основания обсуждать пределы и методику анализа. Но из самой Концепции пока нельзя вывести готовые правила для всех таких ситуаций и тем более уже действующий всеобщий запрет на изучение практики конкретного судьи.

И приписывать документу планы анализа личности участников процесса только ради красивой симметрии тоже не следует. Такой вывод требует самостоятельного основания.

Адвокатская проверка системы

Пункт 12 перечисляет участников работы Центра судебных компетенций: подразделения Верховного Суда, Судебный департамент, университет правосудия, судей нижестоящих судов, а при необходимости представителей органов власти, научных организаций и технологических партнёров. Адвокатура отдельно не названа. При этом среди задач Центра предусмотрено взаимодействие с общественными организациями. 

Это не означает, что участие адвокатов запрещено или исключено. Но их обязательное участие и роль в проверке процессуальных гарантий в тексте не обозначены.

Между тем проверка системы со стороны пользователя и со стороны участника процесса будет различаться.

Для судьи существенно, насколько быстро программа находит документы и готовит пригодный проект. Для разработчика важны корректность поиска, качество обработки и устойчивость системы. Защитник поставит ещё несколько вопросов.

Сможет ли он установить, что довод защиты не попал в анализ? Проверить исходный фрагмент? Указать на ошибку распознавания? Добиться исправления уже сформированного результата? Получить достаточные сведения для содержательного возражения?

Это не противопоставление юристов разработчикам. Здесь одна и та же операция должна одновременно выдерживать техническую и процессуальную проверку.

Когда документ до судьи вообще не доходит

Есть у меня свежий и очень наглядный пример.

Исковое заявление было подано в один из городских судов через электронную систему -ej.sudrf.ru Усиленная квалифицированная электронная подпись прошла проверку успешно.

На следующий день обращение всё равно отклонили:

«Электронный образ обращения в суд не содержит графической подписи лица, обратившегося в суд».

Формально аппарат суда сослался на действующий Порядок подачи электронных документов. Для электронного образа документа он действительно требует сохранения графической подписи, причём отсутствие такой подписи прямо отнесено к основаниям для отклонения обращения. Одновременно электронная подпись проверяется отдельно.

Получается довольно своеобразная конструкция.

Государственная информационная система подтвердила действительность моей УКЭП. То есть установила и личность подписанта, и целостность подписанного файла.

Но документ всё равно не дошёл до судьи, потому что в его изображении отсутствовал ещё один визуальный реквизит — нарисованная подпись.

Можно спорить о разумности такого порядка. Сейчас для меня важнее другое.

Решение о том, попадёт ли документ к судье вообще, уже сегодня во многом принимается на стадии технической обработки аппаратом суда.

И теперь Концепция предлагает автоматизировать часть этой работы ещё сильнее.

ИИ должен проверять комплектность документов, их соответствие требованиям законодательства, наличие обязательных приложений, формальные недостатки, а также определять наличие оснований для оставления без движения, возврата или отказа в принятии.

Формально окончательное процессуальное решение, конечно, остаётся за судьёй.

Но практический вопрос значительно проще:

дойдёт ли документ до судьи в своём первоначальном виде, если предварительный алгоритм сочтёт, что с ним что-то не так?

Сегодня моё заявление остановил сотрудник аппарата суда, потому что при действующей УКЭП он не обнаружил на изображении ещё и графическую подпись.

Завтра перед ним появится ещё один помощник, который будет автоматически определять формальные недостатки.

И вот здесь мне хотелось бы очень чёткой границы. ИИ может сообщить:

«Предположительно отсутствует обязательное приложение».

ИИ может выделить возможный недостаток. ИИ может помочь сотруднику аппарата и судье быстрее его обнаружить.

Но ИИ не должен становиться ещё одним самостоятельным фильтром, после которого обращение вообще не попадает к судье.

Иначе мы получим не упрощение доступа к правосудию, а автоматизацию недопуска к нему.

Пока вопросы можно поставить до внедрения

В Концепции уже обозначены существенные гарантии: вспомогательная роль ИИ, фиксация взаимодействий, проверка результатов человеком, право стороны знать о применении системы и оспаривать её выводы. Их наличие следует учитывать, а не писать так, будто авторы документа вообще не заметили соответствующих проблем. 

Но между обозначением принципа и работающей процедурой остаётся расстояние.

Право оспорить вывод имеет практический смысл, когда можно установить, какие сведения получила система, какую задачу ей поставили, какие преобразования произошли с материалами и какой результат был использован. При этом порядок проверки должен учитывать и права сторон, и режим охраняемых сведений, и самостоятельность суда.

Сейчас обсуждается ещё не результат повсеместного внедрения, а его Концепция. Поэтому самое время разбирать эти вопросы на примерах, а не после появления спорного судебного акта.

Ускорить подготовку решения и обеспечить проверяемость его оснований не одно и то же.

Программа может помочь с первой задачей. Вторая от этого не исчезает.

Вместо заключения. Я всё-таки за ИИ в суде

Наверное, после всего написанного может показаться, что я против использования ИИ в судопроизводстве. Как раз наоборот.

Ещё больше года назад я писал, что «я бы с удовольствием оснастил каждого судью и следователя ИИ-ассистентом, который мгновенно проверяет допустимость доказательств, процессуальные нарушения и противоречия в показаниях».

Мнение с тех пор не изменилось. Хороший ИИ-помощник способен обработать десятки томов дела, сопоставить показания, найти противоречие, которое человек пропустил, поднять судебную практику, обратить внимание судьи на довод защиты, затерявшийся где-нибудь в пятнадцатом томе.

Я сам использую ИИ постоянно и прекрасно знаю, насколько он ускоряет такую работу.

Знаю и другое.

Когда-то я поручил ИИ подготовить несколько однотипных документов в разные суды. Потом лично всё проверил. Документы выглядели блестяще, и я их отправил.

Через некоторое время обнаружил, что в части документов адвокат Кондратьев Владимир Владимирович каким-то образом превратился во Владимира Викторовича.

Я проверял. И не увидел. Поэтому проблема не только в том, что ИИ может ошибиться. Ошибаются все.

Проблема в другом: он умеет ошибаться очень убедительно.

Я уже формулировал это так: «Проблема не в том, что ИИ пишет плохо. Проблема в том, что он может писать достаточно хорошо, чтобы юрист перестал проверять».

Для суда цена такой ошибки несколько выше, чем неправильное отчество в шапке документа.

И здесь меня гораздо меньше интересует средняя точность системы. Пусть она будет 90 процентов. Или 95. Или 99.

Уголовное дело рассматривается не «в среднем».

Подсудимому совершенно безразлично, насколько хорошо ИИ проанализировал предыдущие 99 дел, если существенное противоречие он пропустил именно в сотом.

Поэтому мне недостаточно знать, что результат «проверил человек».

Я хочу понимать, что именно проверял человек.

Какие материалы получил ИИ? Попало ли в них ходатайство защиты? Как система распознала показания, данные непосредственно в судебном заседании? Какие фрагменты дела RAG отобрал для ответа? Как был сформулирован запрос? Какие ответы система дала до окончательного? Менялся ли запрос после неудобного ответа? Что рекомендовал ИИ судье и почему судья с этим согласился либо не согласился?

И наконец: смогу ли я всё это проверить в апелляции и кассации, если полагаю, что ошибка ИИ повлияла на судебное решение?

Именно здесь, на мой взгляд, проходит граница.

Мне совершенно не мешает, если ИИ помогает судье думать.

Более того, я за такого помощника.

Но если результат его работы способен влиять на оценку доказательств и содержание судебного решения, он не может превращаться в невидимого собеседника судьи, разговор с которым недоступен сторонам и исчезает после вынесения приговора.

Иначе мы получим довольно странную конструкцию.

ИИ помогает исследовать доказательства. Его выводы могут влиять на внутреннее убеждение судьи. Но проверить, что именно он исследовал, о чём его спрашивали и что он отвечал, сторона не может.

Это уже не проблема искусственного интеллекта. Это проблема уголовного процесса.

Поэтому сама Концепция мне скорее нравится.

Тем более что в ней уже есть правильные слова: вспомогательная роль ИИ, проверка человеком, журналирование взаимодействий, право стороны знать об использовании ИИ и оспаривать его выводы. Теперь самое интересное: превратить эти правильные слова в процессуальный механизм.

Потому что право оспаривать вывод ИИ имеет смысл только тогда, когда стороне дают возможность установить, как этот вывод был получен.

Дополнение. А кто будет учить судебный ИИ, что такое «правильно»?

После публикации коллеги задали вопрос, который я первоначально сознательно обходил. Можно ли настроить судебный ИИ так, чтобы он воспроизводил существующий обвинительный уклон?

Сначала вопрос кажется несколько конспирологическим. В самом деле, трудно представить техническое задание разработчикам примерно следующего содержания:

«При наличии сомнений поддерживать обвинение, а при очевидной невиновности предлагать условный срок».

Никто такое техническое задание не напишет и не подпишет. Но потом я подумал, что писать это вообще не требуется.

У ИИ есть не только промт конкретного пользователя. Есть системные инструкции, база знаний, механизм поиска и отбора документов, обучающие и тестовые данные. Наконец, есть критерии, по которым разработанную систему будут проверять и принимать в эксплуатацию.

И вот последнее, пожалуй, даже интереснее промтов.  Допустим, разработчики создали судебный ИИ. Теперь нужно проверить, насколько хорошо он работает.

Берём тысячу уже рассмотренных уголовных дел. У нас есть материалы дел и вступившие в силу судебные решения. Предлагаем ИИ проанализировать доказательства и сравниваем его выводы с тем, к чему пришли реальные суды.

Вполне естественный способ проверки.

Предположим, в большинстве случаев ИИ приходит примерно к тем же выводам. Значит, система работает хорошо.

А теперь представим, что в заметной части дел ИИ начинает говорить: доказательств недостаточно, здесь существенное противоречие не устранено, этот вывод обвинения материалами дела не подтверждается.

Что это означает?

Первый вариант: ИИ плохо работает. Отправляем разработчикам на доработку.

Второй: ИИ обнаружил проблему не в себе, а в той судебной практике, которую мы выбрали для проверки.

Вот второй вариант для любой системы гораздо неудобнее.

И никакого «обвинительного алгоритма» для этого вообще не требуется. Достаточно определить качество ИИ как способность воспроизводить существующую судебную практику.

Можно даже установить совершенно нейтральный KPI:

«Выводы системы должны совпадать с выводами суда на контрольной выборке не менее чем в X процентах случаев».

Дальше разработчики совершенно добросовестно будут улучшать систему, пока она не начнёт соответствовать этому показателю. Никто не давал команды поддерживать обвинение. Никто не нарушал принцип состязательности. Никто не писал секретного промта «верить прокурору».

Просто существующую судебную практику приняли за правильный ответ.

И если в самой этой практике существует системный уклон, ИИ его не исправит. Он его выучит. Причём чем лучше будет обучена система воспроизводить такую практику, тем «качественнее» она окажется по выбранному критерию.

Поэтому после обсуждения публикации я бы несколько расширил свой первоначальный вопрос.

Меня интересует уже не только журнал работы судебного ИИ. Не только то, что спросил у него конкретный судья.

И даже не только системный промт, то есть что разработчики заранее сказали ИИ о том, как он должен отвечать.

Меня интересует ещё один уровень: как будут проверять, что судебный ИИ вообще работает правильно.

Какие дела войдут в контрольную выборку? Что будет считаться эталонным результатом? С чем будут сравнивать выводы ИИ? Какой процент расхождений допустим?

И самое интересное: что будут делать, если ИИ систематически станет расходиться со сложившейся судебной практикой?

Исправлять ИИ? Или хотя бы допускать мысль, что иногда проверять надо практику?

Концепция предусматривает пилотирование системы, её оценку по установленным показателям и только затем масштабирование. То есть стадия проверки и приёмки неизбежна. Поэтому, пожалуй, будущая дискуссия должна быть не только о прозрачности работы ИИ после его внедрения.

Не менее важна прозрачность его обучения, тестирования и приёмки.

Потому что настоящее «мировоззрение» судебного ИИ может оказаться вовсе не в секретном промте. Оно может находиться в куда более скучном документе.

В методике испытаний и критериях приёмки.