AI asistent si vymyslel neexistující pravidlo a rozhodil zákazníky. Firma se za něj omluvila

Vývojáři používající populární editor kódu s umělou inteligencí Cursor se ocitli v nepříjemné situaci. Jeden z uživatelů si všiml, že při přepínání mezi zařízeními dochází k automatickému odhlašování, což představuje značnou komplikaci pro developery pracující na více počítačích. Když následně kontaktoval podporu, dostal od pracovníka jménem Sam překvapivou odpověď – jednalo se prý o novou bezpečnostní zásadu. Jenže žádná taková ve skutečnosti zavedená nebyla a Sam byl ve skutečnosti bot poháněný AI, který si údajné pravidlo zcela vymyslel. O případu informoval server Ars Technica.

Halucinace AI způsobila vlnu rozhořčení

Incident začal, když uživatel diskuzní platformy Reddit s přezdívkou BrokenToasterOven zjistil, že mu editor Cursor ukončuje relace při přepínání mezi pracovními stroji. Po kontaktování podpory přišla rychlá odpověď: „Práce s jedním zařízením na jedno předplatné je klíčová bezpečnostní funkce, se kterou byl Cursor navržen.“ Uživatel, jehož původní příspěvek byl již odstraněn moderátory subredditu r/cursor, neměl důvod zpochybňovat autenticitu této informace a považoval ji za oficiální vyjádření firmy.

Jakmile se o údajné změně dozvěděli další uživatelé na Redditu, nespokojených reakcí rychle přibývalo. „Práce na více zařízeních je pro vývojáře naprostý základ,“ psal jeden z komentujících. Problém mnohé zákazníky rozhořčil natolik, že začali okamžitě začali rušit svá předplatná – včetně původního „redditora“, který uvedl, že jeho pracoviště od nástroje zcela upouští.

Za vše mohla takzvaná halucinace umělé inteligence, tedy jev, kdy AI prezentuje přesvědčivou odpověď jako fakt, ale ve skutečnosti je smyšlená, nesprávná nebo zavádějící.

Společnost rychle reagovala na incident

Reakce Cursoru na sebe nenechala dlouho čekat. „Žádnou takovou směrnici nemáme,“ reagoval spoluzakladatel Cursoru Michael Truell na Redditu o tři hodiny později. „Samozřejmě můžete používat Cursor na více strojích současně. Bohužel jde o nesprávnou odpověď od bota AI podpory.“

Truell se také veřejně omluvil na platformě Hacker News. Uvedl, že uživateli byly vráceny peníze, a současně prohlásil, že všechny e-maily psané umělou inteligencí budou nyní řádně označeny. Přesto však skončil s notnou dávkou kritiky.

Na vygenerování AI videa u sebe doma už nepotřebujete superpočítač –⁠⁠⁠⁠⁠⁠ díky FramePacku Pavlína Čížková Zprávičky Pavlína Čížková Zprávičky

„Proč by vám měl někdo věřit? V nejlepším případě jste lhali o tom, že na podpoře odpovídají lidé. LLM předstírající, že jsou lidé (pojmenovali jste ho Sam!) a nejsou takto označeni, mají zjevně za cíl klamat. Pak jste se snažili ovlivnit dění na Redditu,“ reagoval uživatel AyyEye.

Opakující se problém umělé inteligence

Server Ars Technica připomíná, že podobný incident se odehrál v únoru 2024, kdy chatbot Air Canada vymyslel neexistující směrnici vrácení peněz, kterou byla společnost nakonec nucena dodržet. Na rozdíl od Air Canada, která se snažila zpochybnit svoji odpovědnost za odpovědi chatbota, Cursor odpovědnost přijal a podnikl kroky k nápravě.

Nabízí se proto otázka, do jaké míry je vhodné nechat AI pracovat zcela autonomně, tedy bez dohledu lidského kontrolora. I společnosti působící v technologickém sektoru totiž evidentně mohou mít problém virtuálního pomocníka ukočírovat.

Pozná ChatGPT, kde bydlíte? Na sociálních sítích se rozmohl nový trend a my ho otestovali Adam Kurfürst Články Adam Kurfürst Články

Jak byste v podobné situaci reagovali vy?

Zdroje: Ars Technica, Reddit, Hacker News