Сделайте мне как у ИИ…, или Почему нельзя полагаться на нейросеть в лингвистической экспертизе

В современной практике экспертного анализа наблюдается тревожная тенденция: всё больше клиентов перед обращением к профессиональному эксперту-лингвисту загружают свои материалы в системы искусственного интеллекта. Недавно такой запрос поступил и мне, и в размышлениях по его поводу родилась эта публикация.

Получив машинный анализ спорного текста, заказчики приходят к реальным специалистам с готовым «эталоном» в виде выводов ИИ и требуют воспроизвести аналогичные формулировки в официальном заключении. Аргумент прост: вот ИИ сделал, значит, и Вы сделайте (то есть как нельзя? Это Вы просто не хотите!). Подразумевается, что ИИ по умолчанию прав и объективен, он же сколько-то там материала «проанализировал».

Как эксперт с многолетним стажем утверждаю вполне конкретно: уважаемые клиенты, такая ситуация создаёт серьезные профессиональные риски. Важно понимать фундаментальные различия между экспертной оценкой человека и машинным анализом. Искусственный интеллект, каким бы продвинутым он ни был, оперирует лишь общедоступными данными из интернета. Причём только из открытых источников! Он, как правило, не имеет доступа к специализированным научным публикациям, профессиональным ведомственным методикам и базам данных, которыми располагает квалифицированный эксперт. Зато имеет доступ к чатам и форумам, коих в Сети невероятное количество, к Википедии, к личным блогам, к сайтам непрофильных организаций и прочим, строго говоря, «болталкам».

Хорошо, если среди его источников будет хотя бы «Киберленинка», но, опять же, «Киберленинка» представляет срез мнений по научному сообществу в целом. А у разных учёных могут быть (и объективно есть) разные взгляды на решение одной и той же задачи, которую мы можем отнести к экспертным. Грубо говоря, относительно того, какая лексика подпадает под понятие оскорбления, учёный А считает так, а учёный Б считает по-другому, и оба вполне уважаемые и авторитетные, с регалиями. Оба публикуют статьи и монографии, и мнения обоих с точки зрения науки равнозначны.

Но для судебной экспертизы нужен не хоровод мнений и научных теорий, а какие-то конкретные рамки, поскольку только так можно добиться главного – воспроизводимости результатов исследования по одному и тому же объекту и по одном и тем же вопросам, вне зависимости от личности и взглядов конкретного эксперта. С этой точки зрения нужна опора проверенные методики, а «Киберленинка» и подобные уважаемые ресурсы всё же отходят на второй план.

Конечно, есть и интернете и полезная информация, и даже релевантная Вашему запросу информация. Но она может быть критически устаревшей. Как, например, книга весьма уважаемого эксперта и учёного Елены Игоревны Галяшиной «Основы судебного речеведения», которая вышла, на минуточку, в 2003 году, но на которую по-прежнему на голубом глазу ссылаются некоторые коллеги. Или другая книга Е.И. Галяшиной — «Лингвистика vs экстремизма», выходившая в 2006 году. За истёкшие с тех пор два десятка лет созданы методики по лингвистической экспертизы по делам об экстремизме от нескольких разных ведомств, только у одного Минюста было 3 издания, каждый раз с исправлениями и дополнениями. У самой Елены Игоревны в 2021 году вышел учебник по судебной лингвистической экспертизе, где она скорректировала свои подходы в сторону концепций Минюста (и они отличаются от тех, что представлены в указанных старых монографиях).

Всего этого ИИ не знает и не учитывает. И многого другого он, в отличие от живого профессионала, не знает и не умеет тоже.

Давайте рассмотрим ключевые ограничения ИИ в лингвистической экспертизе:

1. Учёт контекста: машинный интеллект не способен (во всяком случае, пока) полноценно учитывать широкий контекст коммуникативной ситуации, включая социальные, психологические и юридические аспекты конкретной ситуации общения, социальные и культурные ограничения, особенности издания, серии публикаций и другие моменты, которые обязательно принимает во внимание эксперт-лингвист.
2. Дефиниционный анализ: ИИ ограничивается только открытыми интернет-ресурсами, игнорируя авторитетные современные (подчёркиваю: современные!) лингвистические словари, которые, как правило, в веб-формате не существуют или не машиночитаемы (например, выложены в PDF-сканах). Возможно, профессиональные базы данных вроде Национального корпуса русского языка ИИ в выборку включает. Но, во-первых, корпус – это не словарь, а сборник конкретных контекстов (примеров словоупотребления), и из него ещё надо уметь вывести полноценную дефиницию. Во-вторых, мне лично выводы ИИ со ссылками на Национальный корпус пока не попадались. Робот предпочитает трансляцию уже готовых определений с ресурсов вроде dic.academic.ru, содержащих данные из самых базовых словарей вроде Даля и Ожегова, да и то без указания года издания. А ведь даже словарь Ожегова с годами пополняется, да-да. При этом dic.academic.ru – это ещё в лучшем случае. В худшем это будет Википедия, которая, напомню, для целей лингвистической экспертизы вообще не подходит, поскольку не является научным источником и не позволяет добиться достоверности исследования.
3. Методологическая база: современные экспертные методики не представлены в открытом доступе или представлены очень ограниченно и требуют специального обучения и практики.
4. Интерпретация результатов – это самое важное. Машинный анализ даёт усреднённую картину, не учитывающую специфику конкретного текста и коммуникативной ситуации.

Профессиональный эксперт-лингвист, напротив, опирается на многолетний практический опыт анализа реальных кейсов – собственный опыт и опыт коллег, изложенный в научных статьях и экспертных заключениях; на специализированные методики, разработанные научными коллективами (и их можно достать разве что в служебном доступе, если речь о государственных судебных экспертах, либо в читальном зале Российской государственной библиотеки, хотя некоторых методик нет и там); глубокое понимание языковых закономерностей, которое постигается годами учёбы и практики; способность к комплексной оценке конкретного текста с учётом всех релевантных факторов.

Да, в современном мире ИИ может помочь с подбором некоторых релевантных ссылок на научную литературу или судебные решения. Может помочь с рутинными операциями и большими статистическими данными – например, просчитать частотность какого-то слова или корня в тексте, выделить семантические поля, посчитать количество предложений и проч. Это, безусловно, ускоряет работу эксперта. А заказчику исследования ИИ вполне может помочь сформулировать вопросы для первичной консультации со специалистом. Почему нет? Это тоже экономит время и, признаем честно, иногда ИИ может гораздо лучше и конкретнее сформулировать мысль, чем сам человек, особенно если у него нет постоянной практики работы с текстами, дающей беглость речи.

Но требовать от квалифицированного специалиста повторения формулировок и/или выводов ИИ – значит игнорировать профессиональные стандарты и многолетний опыт экспертной практики. Живой эксперт, владеющий современными методиками и имеющий богатый опыт реальных исследований, не может и не должен подгонять свои выводы под шаблонные ответы искусственного интеллекта. Да это и вообще невозможно в подавляющем большинстве случаев, потому что ИИ многие вещи в смысловом анализе конкретного текста упускает, поскольку заточен на усреднённые ответы.

В заключение важно подчеркнуть: экспертный анализ, выполненный профессиональным лингвистом, остаётся и будет оставаться качественно иным, более глубоким и достоверным по сравнению с машинным анализом. Ожидать от опытного специалиста воспроизведения выводов ИИ – значит недооценивать сложность и многогранность лингвистической экспертизы как научной дисциплины.

Профессиональный эксперт не просто применяет набор методик – он создает целостную картину на основе комплексного анализа, учитывая множество факторов, недоступных искусственному интеллекту, который самообучается на «открытых данных». Именно такой подход обеспечивает достоверность и обоснованность экспертного заключения, которое может быть использовано в правоприменительной практике.

P.S. А вот обложку для этой статьи мне сделала как раз нейросеть. :) Вот в этой области она действительно неплохо справляется.

Анастасия АКИНИНА,

независимый эксперт-лингвист, эксперт по интеллектуальной собственности, автор блога «ЛингЭксперт», член Гильдии лингвистов-экспертов по документационным и информационным спорам, член «СУДЭКС».