ИИ может лучше людей предсказывать корреляции между ответами на вопросы личностных тестов
Модели на основе искусственного интеллекта (ИИ) оказались многообещающими инструментами для прогнозирования некоторых тенденций данных и будущих результатов с хорошей точностью. Способность этих моделей делать прогнозы путем анализа данных может быть особенно ценной для исследований, например, помогая ученым разрабатывать гипотезы для проверки и прогнозирования результатов экспериментов.
Исследователи из Лондонской школы экономики и политических наук, Spark Wave, Нью-Йоркского университета и Оксфордского университета недавно провели исследование, направленное на оценку способности моделей искусственного интеллекта предсказывать корреляции между ответами, которые люди дадут на различные вопросы в широко используемых личностных тестах .
Их результаты, опубликованные в журнале Communications Psychology , показывают, что разработанный ими специализированный инструмент на основе искусственного интеллекта может предсказывать эти корреляции гораздо лучше, чем люди.
«Первоначальная идея этой статьи возникла в ходе беседы двух соавторов, доктора Люциуса Кавиолы и доктора Спенсера Гринберга, которые обсуждали идею тщательного тестирования возможностей прогнозирования личности с помощью пограничных моделей, а также PersonalityMap», — рассказал изданию Medical Xpress Филипп Шенеггер, первый автор статьи.
«PersonalityMap — это бесплатная платформа , разработанная двумя нашими соавторами, Спенсером и Алексом, и только что выпущенная для публики. Она позволяет пользователям исследовать более 1 миллиона человеческих корреляций, включая личность, убеждения и поведение».
PersonalityMap позволяет пользователям получать доступ к корреляциям между показателями личности, убеждениями и поведенческими моделями участников, которые принимали участие в прошлых исследованиях. Кроме того, исследователи обучили искусственную нейронную сеть на этих корреляциях, что позволило ей делать прогнозы на основе изученных ею связей.
Эта нейронная сеть теперь управляет платформой, быстро делая прогнозы о связях между различными чертами, убеждениями и поведенческими моделями в ответ на запросы пользователей. В рамках своего недавнего исследования Шенеггер и его коллеги решили сравнить прогнозы, сделанные этой специализированной моделью ИИ, с прогнозами, сделанными другими моделями ИИ общего назначения (например, GPT-4o и Claude3 Opus), 254 неэкспертами и 272 экспертами в области психологии.
«Мы выбрали набор пар вопросов психологии личности и вопросов анкеты с известными корреляциями (на которых ИИ не могли обучаться, чтобы предотвратить мошенничество) и попросили как участников-людей (включая как неспециалистов, так и экспертов), так и модели ИИ оценить эти корреляции», — пояснил Шенеггер.
«Затем мы сравнили их оценки с фактическими значениями. Это позволило нам увидеть, насколько точно каждая группа — отдельные люди, агрегированные люди и различные модели ИИ — могут предсказать истинные соотношения».
Результаты экспериментов, проведенных Шеннегером и его коллегами, показали, что все протестированные ими модели искусственного интеллекта лучше предсказывают корреляции между ответами людей на вопросы личностных тестов, чем большинство неспециалистов и экспертов-психологов.
Примечательно, что специализированная модель на основе нейронной сети, разработанная коллегами Шенеггера Спенсером Гринбергом и Александром Гришиным, превзошла как GPT-4o, так и Claude 3 Opus — две из наиболее широко используемых моделей больших языков общего назначения (LLM).
«Сравнивая отдельных экспертов/неспециалистов с отдельными запусками модели, мы обнаружили, что большинство моделей ИИ лучше, чем подавляющее большинство неспециалистов и большинство экспертов», — сказал Шенеггер. «Главный вывод здесь — стоимость. Вместо того, чтобы просить эксперта дать оценку взаимосвязи между двумя элементами, можно просто запросить ИИ, чтобы получить аналогичные или лучшие результаты».
В целом, результаты этого недавнего исследования подчеркивают потенциал моделей на основе ИИ, особенно тех, которые были обучены на данных прошлых исследований, для прогнозирования корреляций между ответами человека в тестах личности . Модель PersonalityMap, разработанная исследователями, вскоре может быть использована другими исследователями психологии для планирования их исследований, например, путем прогнозирования взаимосвязей, которые могут возникнуть, и выявления перспективных гипотез перед проведением экспериментов.
«Хотя в настоящее время мы не планируем и не проводим последующее исследование, существует ряд исследовательских вопросов, которые можно было бы изучить в будущих исследованиях, например, сосредоточиться на расширении этих моделей для обработки нелинейной динамики, оценить их устойчивость к новым утверждениям, количественно оценить неопределенность прогнозов и перейти от простых ассоциаций к более причинно-следственному анализу», — добавил Шенеггер.
«PersonalityMap также находится в стадии активной разработки с целью включения постоянно растущего спектра человеческих черт, относительно которых он может делать прогнозы, таких как другие убеждения, поведение, демографические факторы и переменные, связанные со здоровьем, с целью ускорения научной работы».