Jak moc nám chatboti lžou? Velký test odhalil jejich slabiny, pohořel ChatGPT, Copilot i Gemini

Chatboti jsou dobrými pomocníky a řada uživatelů na ně spoléhá nejen v soukromém životě, ale i v tom pracovním. Necháváme je psát za nás e-maily, chceme po nich rešerše a zestručnění textů, vyžadujeme zkrácení dlouhých textů a tak dále. To vše zvládnou během chvíle. Ale zvládnou to skutečně správně?

Britská BBC se rozhodla prozkoušet jejich schopnosti právě v oblasti sumarizace, přičemž pak tým redaktorů detailně kontroloval správnost odpovědí chatbotů. Do testu se zapojila největší čtyřka: chatGPT, Copilot, Gemini a také Perplexity. A aby byly výsledky skutečně dobře prověřitelné, dostali chatboti za úkol vyhledávat a sumarizovat články vzniklé právě v BBC.

Chybovost je někdy velká

Možná už víte, že chatboti občas takzvaně halucinují. To znamená, že když neznají odpověď na vaši otázku, jednoduše vám nenapíšou „Promiň, tohle nevím“. Začnou si zkrátka vymýšlet. V oblasti sumarizace textů bychom ale očekávali, že jejich odpovědi budou zcela přesné a pravdivé. Vždyť na tom de facto není co zkazit.

Analýza ale ukázala opak. Nějaká chyba byla zjištěna v 51 % jejich odpovědí. Tedy v mírně nadpoloviční většině. V 19 % byly dokonce odhaleny faktické chyby. A ve 13 % odpovědí si chatboti svévolně upravili citace, ale tvrdili, že pocházejí z daného zdroje.

Co se týká jednotlivých jazykových modelů, tak Gemini udělala chyby ve 34 % případů, Copilot ve 27 %, Perplexity v 17 % a ChatGPT v 15 %.

Nejlépe tak z testování vyšel chatGPT a hned za ním Perplexity. Oba tyto modely ale také chybují. Proto je potřeba používat je obezřetně a vždy přesně kontrolovat a prověřovat jejich odpovědi. Někdy jde totiž o drobné chybky, které nikomu nevadí – jindy jde ale o závažná pochybení, kvůli nimž může celý obsah z původního zdroje naopak vyznívat úplně jinak.

Důvěřujete odpovědím chatbotů?

Zdroj: BBC, Pixabay