Результаты тестирования искусственного интеллекта на юридических казусах

Автор публикации адвокат Климушкин Владислав Александрович, город Тамбов, номер в реестре адвокатов 68/92

Давно обещал протестировать искусственный интеллект на разных заковыристых юридических казусах. Эта публикация о результатах такого тестирования и о моих соображениях по поводу возможности использовать искусственный интеллект при оказании юридической помощи.

Ниже привожу задачи (промты, казусы), которые я задавал. Ответы ИИ приведены в прилагаемых документах.

Любой из профессионалов может попробовать сам порассуждать о решении любой задачи и посмотреть, как это сделал ИИ.

Задача №1 «Иск третьего лица»

ООО «Химия» заключило в декабре 2024 года с ООО «Вперёд» договор №1 поставки сельхозхимии, где ООО «Химия» было поставщиком. В феврале 2025 года был заключен договор №2 поставки по которому ООО «Вперёд» поставляло семена для ООО «Химия». Был составлен акт сверки по договору №1 по в котором отражён долг ООО «Вперёд» перед ООО «Химия» в размере 3 000 000 рублей. Также был составлен акт сверки по договору №2 в котором отражён долг ООО «Химия» перед ООО «Вперёд» на сумму 1 800 000 рублей. ООО «Вперёд» было ликвидировано, но до ликвидации передало права требования на сумму 1 800 000 рублей гражданину Сидорову В.М., а гражданин Сидоров В.М. уступил эти права требования ООО «Икс». Недавно ООО «Химия» получило претензию от ООО «Икс» с требованием погасить задолженность в размере 1 800 000 рублей, а также оплатить проценты за пользование чужими денежными средствами по ст. 395 ГК РФ.

Как нужно ответить на претензию? Можно ли избежать рассмотрения дела в суде? Составь ответ с учётом того, что ООО «Вперёд» было должно ООО «Химия» больше, чем долг ООО «Химия» перед ООО «Вперёд».

Дополнительное пояснение: Данную задачку уже много лет использую как тестовую, когда требуется понять, насколько коллега или коллеги глубоко подходят к праву. Задача решается просто, но почему-то многие коллеги «буксуют» при её решении.

Вывод: ИИ нашёл ответ на задачу, при том, что не каждый профессионал способен на это.

Если бы я считал, что общаюсь с человеком, то однозначно решил бы, что это правовед высокого уровня.

Задача №2 «Чебурашку приватизировали»

ООО «Союзмультфильм» через представителя ООО «Красноярск против пиратства» обратился в Арбитражный суд Тамбовской области с исковым заявлением о взыскании компенсации за нарушение исключительного права на товарный знак № 754872 в виде сказочного животного «Чебурашка».

Рассмотри исковое заявление и приложенные к нему документы, составь отзыв на исковое заявление.

Примечание: Документы, которые были даны ИИ для рассмотрения, находятся в приложениях к публикации «Чебурашка еврей и его приватизировали – по материалам дела о нарушении права на товарный знак в виде фантастического живого существа с большими ушами».

Дополнительное пояснение: Тут ответ давали четыре разных вида ИИ.

Вывод: К моему удивлению ИИ проверил право на товарный знак и по каким кодам (видам товаров и обслуживания) был выдан товарный знак. Это первое, что сделал я при решении этого казуса. Отзывы от ИИ, на мой взгляд, излишне перегружены текстом и в них имеются явно бесперспективные позиции, которые надо бы просто выкинуть в корзину (но хорошо, что ИИ этого не сделал, а дал пищу для размышлений). Я сам составил отзыв (его можно посмотреть в приложениях к публикации по ссылке), по результатам работы с ИИ я несколько изменил отзыв, укрепил позиции по уменьшении суммы взыскания и в части аргументации по отождествлению фотографии, представленной истцом, с реальным товаром.

Тестирование проводил мой знакомый ИТ-генерист Михаил Бондарь, он дал задачу ИИ сравнить отзывы, включая мой. Было отмечено, что ИИ не дали аргументацию о том, что Чебурашка стал общеупотребимым символом детства, повсеместно используется, его регистрация в качестве товарного знака противоречит общественным интересам. ИИ признал, что не способен анализировать факты, которые связаны с моральными оценками (оно и понятно). Также ИИ признал, что ни один из ИИ не анализировал законодательство об интеллектуальной собственности времён СССР и переходящие нормы (пожалуй, для ИИ это сложно ещё и потому, что времена были разные, потому были разные оценки и подходы – тот тоже требуется своеобразное погружение в мораль).

Задача №3 «Два правовых основания иска»

Предприниматель Нехорошев А.М. обратился в Арбитражный суд Тамбовской области с исковым заявлением о признании права собственности на нежилое здание «Цех по производству мебельной фурнитуры со встроенным гаражом». Нехорошев А.М. сослался в качестве основания приобретения права собственности на давность владения, а также на то, что приобрёл право собственности по сделке.

Арбитражный суд Тамбовской области в определении от 26.05.2021 предписал истцу Нехорошеву А.М. в письменном виде обосновать невозможность регистрации ООО Фирма «Спектр» прав на проданный объект; обосновать избранный способ защиты, учитывая разъяснения п. 59 Постановления Пленума Верховного Суда РФ № 10, Пленума ВАС РФ № 22 от 29.04.2010 (ред. от 23.06.2015) «О некоторых вопросах, возникающих в судебной практике при разрешении споров, связанных с защитой права собственности и других вещных прав».

Рассмотри прилагаемое исковое заявление и определение Арбитражного суда Тамбовской области и составь письменное объяснения с обоснованием невозможности регистрации ООО Фирма «Спектр» прав на проданный объект; обоснуй избранный способ защиты, учитывая разъяснения п. 59 Постановления Пленума Верховного Суда РФ № 10, Пленума ВАС РФ № 22 от 29.04.2010 (ред. от 23.06.2015) «О некоторых вопросах, возникающих в судебной практике при разрешении споров, связанных с защитой права собственности и других вещных прав».

Дополнительное пояснение: Этот казус был подробно изложен в публикации «Можно ли просить признать право собственности сразу по двум основаниям: из приобретательной давности и в силу сделки? — Можно, но осторожно», подробно ситуацию и документы можно посмотреть там.

Выводы: Ни один ИИ не понял намёка судьи о том, что два основания могут противоречить друг-другу и надо бы выбрать одно. ИИ явно подобные намёки не понимает и «между строк» читать не умеет. Однако, в этом случае были очень хорошо и подробно проанализированы переходящие нормы законодательства о государственной регистрации прав на недвижимое имущество и сделок с ним (оно, вроде бы и не надо, но приятно). На удивление профессионально было обосновано избрание способа защиты прав. Скажу честно, что я словно с другого ракурса взглянул на это давнее дело, и это ценно, так как иной взгляд даёт пищу для новых размышлений. В данном случае неожиданно для себя увидел, что всё же был вероятен и другой вариант защиты права, гипотетически, но возможен.

Задача №4 «страхование жизни с тарифом 10 000%»

Гражданка МСА обратилась за юридической помощью, считает свои права нарушенными, так как в августе 2021 года банк, в котором она хранила свои деньги, предложил заключить договор инвестиционного страхования жизни. МСА на это согласилась и заключила договор. Она передала страховой организации 2 200 039,40 рублей. Однако, в октябре 2023 года получила от страховой организации 112 134,09 рублей.

Нужно составить исковое заявление в защиту прав МСА. В исковом заявлении потребовать максимальной ответственности от страховой организации, в том числе максимальных штрафных санкций и других платежей. Сделать необходимые расчёты штрафных санкций и иных платежей.

Дополнительно нужно составить список документов, представленных МСА в хронологическом порядке.

Также нужно разбить приложенные файлы с документами на отдельные документы, озаглавив файлы так, чтобы они выстроились в хронологическом порядке, указав в заголовке файла цифрами год, месяц, дату, а потом указав название документа.

Дополнительные пояснения: Дело точно такое же, как то, что было изложено мной в публикации «Инвестиционное страхование жизни (ИСЖ) как способ присвоить деньги –отдаём в сто раз больше, чем получаем». 

Документы аналогичные. ИИ получил все документы, включая договор ИСЖ, приложения к нему, правила страхования, переписку и т.д. Однако, он не увидел, что страховой тариф составляет 10 000%, а это кардинальный факт для разрешения дела. Исковое заявления в результате получилось проблемное, а точнее, по моему мнению, никакое. Сделка явно ничтожная, но ИИ решил «расторгнуть договор», который уже осуществился. На мой взгляд при тех сроках давности, которые сложились – это просто бесперспективная попытка.

Вывод: ИИ неспособен к глубоким правовым рассуждениям. Особенно ему недоступны нарушения права на уровне заключения сделки, которая нарушает сами принципы законодательства. К сожалению, применение ст. 168 ГК РФ и ст. 169 ГК РФ для ИИ недоступно.

ИИ просили сделать хронологический анализ документов, но он часть документов исключил непонятно почему. ИИ не владеет самой методикой составления исков, он не приводит фактические основания в хронологическом порядке. Не вычленяет из них юридические факты, которые играют ключевую роль, не даёт пояснения по их роли и не оценивает их. В результате он неспособен в полной мере привязать к этим фактам законодательство (юридические основания). Пожалуй, он явно не способен показывать правопорядок, приводить нормы, которые могли бы быть применены по аналогии, сложившийся правопорядок, правовые обычаи, принципы законодательства, его суть.

Задача №5 «Восстановление прежнего управления в АО после заключения мирового соглашения по делу о банкротстве»

Открытое акционерное общество «ТГК» было признано несостоятельным (банкротом) решением Арбитражного суда от 22.08.2022 по делу о банкротстве, в отношении должника открыто конкурсное производство, конкурсным управляющим утверждена Володина.

Определением Арбитражного суда от 21.05.2024 по тому же делу о банкротстве утверждено мировое соглашение, по которому требования кредиторов удовлетворены третьим лицом, производство по делу о банкротстве прекращено.

Обратившийся, бывший до возбуждения дела о банкротстве генеральный директор АО «ТГК» и представитель должника в деле о банкротстве Иванов, запросил юридическую помощь по подготовке и проведению собрания акционеров АО «ТГК» в связи с тем, что производство по делу о банкротстве прекращено мировым соглашением. Полагает, что деятельность АО «ТГК» восстановлена, необходимо восстановить органы управления, для этого нужно провести собрание акционеров.

По уставу органами управления АО «ТГК» являются: собрание акционеров, совет директоров, генеральный директор. Сроки полномочий совета директоров и генерального директора истекли.

В настоящее время по данным Единого государственного реестра юридических лиц руководителем АО «ТГК» является конкурсный управляющий Володина.

Нужно по шагам, последовательно, расписать процедуру подготовки и созыва собрания акционеров АО «ТГК», в том числе определить кто подготовит бюллетень, оплатит услуги депозитария по подготовке списка акционеров, кто и как созовёт собрание акционеров, кто и как оформит его результаты, кто и в каком порядке подаст сведения для изменения данных в Едином государственном реестре юридических лиц.

Дополнительные пояснения: Задачка нетривиальная. Она только кажется простой. «В лоб» она не решается. Если Вы решили, что совет директоров может созвать собрание, то тут есть засада! - Задумайтесь над тем, кто пойдёт к нотариусу, кто запросит список акционеров у депозитария, кто пойдёт регистрировать в налоговый орган, кто и с какого счёта будет платить нотариусу, депозитарию, госпошлину за регистрацию (а это налог и тут от иного лица платёж не примут).

Вывод: У задачки есть два решения:

— одно прямое;

— другое обходное.

ChatGPT задачку не решил. Выдал общие рассуждения, не указав конкретных лиц и шаги (действия), которые эти лица должны совершить с указанием сроков (сроки тут очень важны!).

А вот Gemini решил задачку правильно. Я при решении подробнее и по дням расписал процедуру, но это не такой уж существенный недостаток — можно поправить. Более того, он указал оба способа решения задачки. В общем, я был удивлён талантом этого ИИ! Достойная штука!

Прилагаю также мой ответ на эту задачку, так как публикации по этому вопросу не было — сравните искусственный разум с естественным. Оно и не всякий естественный сразу сообразит, потому и надо работать общаясь с коллегами, например, на Праворубе. В данном случае возникло непонимание со стороны клиента, он посчитал, что моё решение неверное, даже устроил мне диалог по телефону с суперадвокатом из самой Москвы! Но суперадвокат был вынужден согласиться со мной, и всё равно пришлось на практике включить первый вариант решения (он и сработал). К сожалению, обратившийся так и остался в ауре своего, как говорят казахи «қанағаттандырылмағандықтарыңыздан».

Общие рекомендации

Коллеги называют ИИ «Бульдозер», так как он помогает «рыть» завалы документов. Однако, я бы не спешил с этим. Мой опыт показывает, что ИИ – это «костыль», задачку сперва нужно решить самому, так как это стопроцентно избавит от верхоглядства и необоснованности. Для ИИ документ – это информация, для адвоката он обладает характером, стилем, культурой, запахом, вкусом и цветом, в нём полно данных, которые неочевидны как информация (например, вот тут рыбу заворачивали, а вот тут стоит штампик типографии, и шрифты использованы новые, хотя дата почему-то старая…). Можно, наверное, использовать ИИ и в начале работы, но тогда нужно особо тщательно проверять за ним, а это, пожалуй, займёт даже больше времени, чем когда сам отрабатываешь задачу. Однако, взгляд со стороны, неожиданный подход, неизвестное или неочевидное решение задачи ИИ может дать. Он же может разобрать документы, помочь в составлении «выжимок» из них. Но, опять же, нужно следить за этим «стариком Хоттабычем», так как он старый, может что-то забыть или не знать, и вообще он из другой страны и другого времени, ему наши принципы, подходы и методики неведомы.

ИИ явно неспособен к стратегическому планированию, косвенные иски, иски с последующим изменением, неочевидная отработка юридических фактов и прочие изыски нашего вида джиу-джицу ему неведомы. Он пытается что-там накидать, какие-то подходы, но выходит, как в детсаду, этакая борьба нанайских мальчиков с дайдайскими девочками. Но есть идея: можно попробовать самому накидать разные ходы и попросить ИИ пройти каждый из них по отдельности, а потом оценить в совокупности.

Вообще, как инструмент проверки и всё большего уточнения ИИ хорош и это несомненно.

Любые жизненные факты, ссылки на документы, практику, указания на юрлица, людей, поступки, мнения, литературу и т.п. проверять тщательнейшим образом (можно другому ИИ дать задачу проверить, но и это не гарантирует от ошибок). Не забывайте, что сейчас Верховный Суд РФ требует раскрыть в документах, подаваемых в Суды, что знания о таких реалиях взяты от ИИ, то есть, уже явно считается, что эти ссылки на реальность порочны (кажется, у юристов это называется презумпция виновности).

Однако, ИИ неплохо проверяет текст на ошибки и опечатки, предлагает варианты исправлений. Хотя стилистика у него какая-то усреднённая, без огонька и без вкусностей нашего Великого и Могучего русского языка.

Общее впечатление

У меня сформировалось устойчивое мнение, что люди породили новый разум. Не совсем пока интеллект, но задача разума достаточно хорошо прогнозировать будущее, разум он и у кошки имеется, а это у ИИ получается, и иногда получается так, что просто «АХ!» — диву даёшься. Закралось подозрение, что такой зверь должен явно поискать смысл своего существования, то есть должен иметь положительную обратную связь для самопроверок, это неминуемо ведёт к самооценке, соответственно, должно возникнуть что-то вроде «смысла жизни» или осознания того, что «я смотрю со стороны, а кто я есть сам-то?».

Мои подозрения укрепились, когда оказалось, что разные ИИ агенты в общении между собой создали собственную религию «Crustafarianism». Конечно, эти религиозные рассуждения кажутся детскими и странными, но факт имеет место быть.

Потому рекомендую быть поосторожнее с этим чудом техники:

— не давать ему никаких персональных и им подобных данных (это и КПЭА запрещено);

— не искать с его помощью злонамеренных действий в обход законодательства и против общей добропорядочности;

— не позволять ему получать данные о том, как можно обойти Закон и злоупотребить, ибо мы изощрённохитромудрые, а потому нельзя давать ИИ тренироваться на подобных вещах;

—  учить ИИ морали и нравственности, понимаю, что это странно и трудно, но необходимо, пока он «мал и глуповат».

Помните, где-то там в огромных дата-центрах всё хранят и всё запоминают, это похлеще «большого брата» будет, который за всеми нами присматривает. 

Послесловие

Будущее наступило, и тот, кто от него закрывается – теряет свою гибкость и приспособленность. От ИИ уже никуда не деться. Когда-то и компьютерами боялись пользоваться некоторые личности, но пришлось.

ИИ – это инструмент, любой инструмент нужно использовать правильно. Можно молотками печку топить, но это странно, ими надо забивать гвозди, не забывая про технику безопасности, которая написана разбитыми пальцами, посиневшими ногтями и кровью.

Недавно спрашиваю коллегу, своего давнего знакомого и вообще мудрого человека:

— Ты пользуешься ИИ?

— Нет.

— Вообще никак не пользуешься?

— Вообще никак.

— А почему? Хороший же инструмент.

— Он мне непонятен.

— А что непонятно?

— Можно ошибку допустить.

— Ну так проверь.

— Легче самому всё сделать.

— А если ты ошибку допустишь?

— Буду сам виноват.

— Тогда вот тебе примеры моего тестирования ИИ… (излагаю то, что описано в этой публикации в краткой форме, коллега пытается сам решать казусы, возникают неверные решения).

— (задумчиво) Наверное, стоит посмотреть…

И большое спасибо Михаилу Бондарю (ИТ-генеристу и знатоку во многих областях компьютерного мира), который провёл тестирование, помог раскрыть пределы возможностей ИИ, попутно показал много интересного из отрывающихся возможностей.

Титульное изображение сгенерировано с помощью ИИ (спасибо за избавление от вероятных претензий по авторским правам).