ИИ может определять ложь и истину с точностью в 67%

Елена Лиханова

Полиграф измеряет частоту дыхания, сердечный пульс и давление, чтобы определить, лжет ли человек. Этому инструменту уже 85 лет, и его трудно назвать надежным.

Группа ученых из Вюрцбургского университета предложила свое решение — систему на базе BERT, языковой модели от Google. Ее можно будет использовать на постоянной основе, например для поиска выдуманных фактов в резюме или фактчекинга публикаций в соцсетях.

Исследователи отмечают, что система помогает чаще видеть обман, но в то же время побуждает людей чащей подозревать друг друга во лжи.

    Новости

В ходе недавнего исследования Алисия фон Шенк и ее коллеги из Вюрцбургского университета в Германии разработали инструмент, который распознает ложь намного лучше, чем обычные люди, и провели несколько экспериментов, чтобы выяснить, как его будут использовать.

Ученые собрали 1536 высказываний, половина из которых были истинными, а остальные — ложными. На 80% этих утверждений обучили алгоритм распознавания лжи и правды, используя языковую модель ИИ Google BERT. Полученный инструмент протестировали на оставшихся 20% утверждений.

Обнаружилось, что он может успешно определить, является ли утверждение истинным или ложным в 67% случаев. Человек справляется с такой задачей значительно хуже — обычно мы угадываем лишь в половине случаев.

Настроить свою подписку на RB.RU

Чтобы выяснить, как люди будут взаимодействовать с инструментом, ученые провели серию тестов и пришли к следующим выводам:

Если люди могут воспользоваться ИИ-полиграфом за небольшую плату и потом получить финансовое вознаграждение, они все равно не очень-то стремятся его использовать. Лишь треть добровольцев использует инструмент, возможно, из-за скепсиса или потому, что они оптимистично оценивают собственное умение обнаружить ложь. При этом они почти всегда следует выводам алгоритма.

Как планы Google отказаться от привычного поиска могут изменить интернет

Роботы станут полезнее, если научатся «слышать»

Надежность инструмента влияет и на наше поведение. Как правило, мы склонны предполагать, что окружающие говорят правду.

Исследование это подтвердило: хотя добровольцы знали, что половина утверждений была ложью, они отметили только 19% из них как таковые. Однако воспользовавшись инструментом с ИИ, они подозревали обман в 58% случаев.

В некотором смысле это было неплохо — такие инструменты позволяют нам выявлять больше лжи. Однако это сказывается на доверии, без которого невозможно выстраивать отношения.

В исследовании фон Шенк и ее коллеги были заинтересованы лишь в том, как создать инструмент, который бы распознавал ложь лучше людей. Это не так сложно, учитывая, насколько плохо это у нас получается. Но она представляет, что подобный инструмент мог бы применяться на ежедневной основе: оценивать правдоподобность публикаций в соцсетях, а также искать ложные сведения в резюме или ответах на собеседовании. 

Готовы ли мы принять показатель точности в 80%, при котором только четыре из каждых пяти оцененных утверждений будут правильно интерпретированы как истинные или ложные? Будет ли достаточной точность даже в 99%? Трудно сказать наверняка.

Стоит помнить, что все методы обнаружения лжи были подвержены ошибкам. Полиграф измерял частоту сердечных сокращений и других признаков возбуждения, поскольку считалось, что некоторые признаки стресса присущи лишь лжецам. Но это не так. И об этом известно уже давно.

Вот почему результаты детектора лжи, как правило, не учитываются в судах США. Несмотря на это, в некоторых ситуациях полиграфы все еще продолжают использовать, например, на реалити-шоу, причиняя их участникам немало вреда.

«Яндекс» первым начал маркировать рекламу, созданную ИИ

JAMA: ChatGPT превзошел врачей в вопросах о здоровье в 79% случаев

По словам фон Шенка, несовершенные инструменты ИИ могут иметь еще больший эффект. За день на детекторе лжи можно проверить лишь ограниченное число людей. Но ИИ позволяет выявлять обман практически в неограниченных масштабах.

«Учитывая, что у нас распространяется так много фейковых новостей и дезинформации, в этих технологиях есть свои преимущества, — говорит фон Шенк. — Однако нужно их хорошо протестировать — чтобы убедиться, что они значительно лучше людей». «Если искусственный интеллект-детектор лжи генерирует много обвинений, нам, возможно, лучше вообще его не использовать», — добавляет она.

Фото на обложке: Andrey Burmakin / Shutterstock

Источник: rb.ru

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *