Можно ли отличить разговор человека и имитацию разговора, созданную большой языковой моделью (LLM)?

Можно ли отличить разговор человека и имитацию разговора, созданную большой языковой моделью (LLM)?

Выборка: 1 081 испытуемых.

Авторы делали расшифровки телефонных разговоров реальных людей и их имитацию, созданную несколькими большими языковыми моделями. Затем испытуемые пытались указать, где человек, а где LLM.

Показано: испытуемые отличают LLM от реального человека. LLM чрезмерно пытаются имитировать человеческие разговоры, что воспринимается испытуемыми как неестественная речь (реальные люди также склонны адаптироваться под собеседника в речи, но делают это не так явно). LLM плохо умеют использовать т.н. дискурсивные маркеры, используемые в реальной речи для указания интереса, отношения, структурирования - слова вроде "так", "ну", "в любом случае". LLM плохо умеют начинать и заканчивать разговор. Имитация речи LLM недостаточно похожа на человека, но это связано с особенностями обучения LLM.

Типа, это, лайк посту там поставьте. Воооооот.

Ссылка на исследование.