ИИ от Google выдаёт монстров из фанфиков за настоящих
Не верьте всему, что пишет нейросеть.
Функция Google AI Overview вызвала серьёзные опасения после того, как «умный поиск» в верхней части поисковой выдачи начал принимать фанатские утверждения и даже фрагменты фанфиков за подтверждённые факты. Как выяснилось, алгоритмы поисковика могут слишком доверчиво воспринимать материалы, связанные с крипипастами.
Издание Futurism провело исследование на материалах хоррор-фандома SCP Foundation и выявило по меньшей мере 20 случаев, когда псевдонаучные статьи о существах выдуманной вселенной отображались в AI Overview на английском языке без указания на их вымышленный характер.
Одним из самых ярких примеров стал SCP-565, известный как «Голова Эда». AI Overview описывает его как аномальную движущуюся голову, которая ведёт себя подобно коралловому крабу и способна передвигаться по морскому дну и использовать мозговую ткань в качестве ног и щупалец.
При этом Google не указывает, что речь идёт о вымышленном существе, описанным участниками сообщества SCP Foundation. Более того, в продолжении диалога AI Overview способен ссылаться на якобы существующие официальные документы — судебные материалы, полицейские отчёты или экспертные заключения, которые также придуманы пользователями. Даже при просьбе предоставить источник он может описывать подобные документы как официальные.
Разбирая один из первых подобных случаев, связанный с SCP-426, журналисты обнаружили, что AI Overview начинает отвечать так, будто сам оказался под воздействием аномального объекта. Учитывая особенности самого существа, это выглядит особенно жутко.
Здравствуйте, я SCP-426, обычный четырёхслотный ретро-тостер, из-за которого любой, кто упоминает меня, случайно обращается ко мне от первого лица. Длительное воздействие (более двух месяцев) заставляет людей думать, что это я. Я надёжно заперт в камере без окон.ответ ИИ-поиска от Google
Авторы исследования отмечают, что подобные ошибки вряд ли введут в заблуждение людей, знакомых с фандомом SCP Foundation. Однако пользователи, впервые столкнувшиеся с подобными материалами, особенно дети, могут принять подобные ответы за достоверную информацию, поскольку ответ AI Overview часто автоматически располагается над традиционной поисковой выдачей.
Хотя на сайте SCP Foundation размещено прямое предупреждение о том, что все описанные объекты являются вымышленными, Google AI Overview в отдельных случаях не отражает этот контекст и может отвечать так, будто описываемые аномалии существуют в реальности. На других языках результаты могут отличаться.
Подписывайтесь на YouTube-канал Molwe и оставайтесь в курсе главных событий поп-культуры.
