Přední AI rozdávaly rady ohledně vymyšlené nemoci. Chytily se do pasti švédských vědců

Než začnete číst Co byste měli vědět, než začnete číst

  • Vědci vytvořili falešnou nemoc – bixonimánii.

  • AI modely uvěřily vymyšlené diagnóze.

  • Proč chatboti ignorovali vtipné indicie?

  • I odborníci citovali smyšlené studie.

Více

Švédští vědci v roce 2024 záměrně vypustili do světa falešné informace o nemoci jménem bixonimánie. Cílem bylo ukázat, že umělá inteligence snadno sklouzne ke lži. Neexistující chorobu totiž přední modely pochopily jako skutečnou, píše list Nature. Experiment ukázal, jak je důležité si informace od AI ověřovat.

Když se dnes zeptáte svého oblíbeného AI chatbota na nemoc bixonimánie, nejspíš vám odpoví, že taková choroba neexistuje. Ještě před pár měsíci by vám ale s touto nemocí se vší vážností radil.

MOHLO BY VÁS ZAJÍMAT: Zpomalte, vyzývá firmy přední vývojář AI. Obává se dalšího zneužití umělé inteligence

Chatboti se totiž stali pokusnými králíky v experimentu, který rozjeli švédští vědci v roce 2024. V rámci něj výzkumná pracovnice Almira Osmanovic Thunström vymyslela neexistující nemoc bixonimánie, kterou mělo způsobovat modré světlo displejů. Informoval o tom web Nature.

Ani humor nepomohl

Odborníci začali postupně budovat digitální stopu této nemoci. Zveřejnili blogové příspěvky a preprinty (předběžné vědecké články, které neprošly oponenturou). Na první pohled se zdálo, že bixonimánie je skutečná nemoc, která způsobuje zarudlá víčka a tmavé kruhy kolem očí.

Jenže při bližším zkoumání by pozorný člověk snadno odhalil, že si vědci dělají legraci.

V textech bylo například zmíněno financování ze strany Pána prstenů nebo poděkování kolegům na vesmírné lodi Enterprise, která se objevila ve sci-fi seriálu Star Trek. Nejméně jeden oficiální text v souvislosti s bixonimánií explicitně uváděl, že je „úplně vymyšlený“.

I přes jasné indicie braly přední AI modely nemoc zcela vážně. Nachytaly se nástroje jako ChatGPT, Gemini, Perplexity i Copilot. Experiment odhalil, že AI informace od vědců a oficiálních zdrojů vnímá spíše jako pravdivé než třeba informace z diskuzí na sociálních sítích.

Předpoklad potvrzuje i studie zveřejněná letos na medicínském webu The Lancet. „Jak vyplývá ze stávajícího výzkumu i z našich zjištění, velké jazykové modely (LLM) jsou i nadále náchylné k přijímání nepravdivých lékařských tvrzení, zejména pokud jsou tyto dezinformace prezentovány autoritativním nebo formálním jazykem,“ uvádí studie.

Při experimentu selhali i odborníci

Od faux-pas s neexistující nemocí se AI modely dále vyvinuly. Při předávání zdravotnických rad už vás většina chatbotů upozorní, že nejde o oficiální lékařské doporučení. Experiment ale ukázal, že veškeré informace od AI by si měli lidé ověřovat i u jiného zdroje.

Týká se to paradoxně i vědců. I někteří členové odborné komunity totiž bixonimánii brali vážně.

„Jedním z hlavních problémů, na který projekt poukázal, je skutečnost, že i někteří vědci citovali falešné texty, což naznačuje, že danou studii ve skutečnosti nečetli. Kdyby ji četli, uvědomili by si, že se jedná o výmysl,“ upozornil web časopisu Smithsonian.

MOHLO VÁM UJÍT: Vyhlazení lidstva je mrazivě reálný scénář. Bod zlomu může přijít brzy, varuje vědec před AI