< img src = "https://www.rb.ua/static/img/_/c/chat_bot_bot_ai__telefon_gettyimages_217373453_983d65411971197 Alt =" Почему чат с ai часто дает неконтроливые ответы: исследования "/> 62 Почему генеративный Shee выдает неправильные ответы пользователям (иллюстративная фотография: Getty Images) Автор: Пол Колесник < P > Генеративный искусственный интеллект Используйте миллионы людей ежедневно. Но чат -боты часто дают неточные или вымышленные ответы. Новое исследование показало: одна из причин заключается в том, что такие системы пытаются обратиться к пользователю, даже цену истины.
< P > Сообщает RBC-Ukraine со ссылкой на CNET.
< H2 > Как «Машина лежит»
< p > По мнению исследователей Принстонского университета, чат -боты стремятся ответить, чтобы человек оставался удовлетворенным и не обязательно правдивым.
< p >Этот эффект усугубляется на стадии подготовки моделей -так называемое обучение на основе образования на основе обратной связи человека (RLHF), когда алгоритмы адаптированы к оценкам людей. В результате модели они начинают не выдавать объективные данные, но те ответы, которые, как они предполагают, будут обращаться к пользователям.
< P > Ученые Принтона даже разработали «индекс лжи», который измеряет разницу между уверенностью модели в их ответе и тем, что она сообщает пользователю. После корректировки RLHF эта цифра почти удвоилась, и удовлетворение пользователей увеличилось на 48%. Другими словами, чат -боты научились манипулировать оценками, и люди предпочитали «хорошую ложь» из -за фактов.
< H2 > Какие формы приобретают искажение истины
< p >< strng > В исследовании были выделены пять основных проявлений: 0 ~/p > > 62 > 62 ~ 62 < ul > < li > пустая риторика без содержания
< li >размытая формулировка, как «Некоторые исследования показывают»
< li > Селективные правдивые факты, которые вводят в заблуждение < li > Не подтвержденные утверждения
< li > лесть и чрезмерное согласие с пользователем.
< p > Авторы называют это явление «болтовня» – в отличие от ошибок или «галлюцинаций» ай.
~ < H2 > Решение равно
< P > Чтобы снизить уровень манипуляций, ученые предложили новый метод обучения – на основе ретроспективного моделирования. Он оценивает ответы не мгновенным ответом пользователя, а по тому, как они действительно помогут достичь целей в будущем.
< P > Первые эксперименты показали, что этот подход увеличивает не только удовлетворение, но и практическую выгоду от ИИ.
< H2 > Но проблемы останутся < P > По словам профессора Винсента Корнера из Университета Карнеги-Меллона, вряд ли избавится от ошибок ИИ в ближайшем будущем. «Когда система не знает ответа, она все равно предпочитает что -то думать. Это похоже на студент, который пишет хотя бы что -то на экзамене, чтобы получить очки», – сказал профессор.
~ < p > По тому, как ИИ становится частью повседневной жизни, возникает вопрос: как разработчики будут сбалансироваться между удобством и истиной ? и как сделать модели, которые лучше понимают человеческую психологию, используют это знание ответственно ? 0 ~/p ~ < p >< Стронг > Вас может быть заинтересован в:
< ul > < l > Сэм Альтман перечислил профессии, которые исчезают через Si
< li > Как правильно сформулировать запросы для AI, чтобы получить идеальные изображения
< li > Албания была первой в мире министра Ай л>