Rossz tanácsot adott a mesterséges intelligencia, másnapra 10 hektárnyi vetés pusztult el

A mesterséges intelligencia korában hozzászoktunk ahhoz, hogy a válaszok csupán egyetlen gombnyomásra vannak tőlünk. Legyen szó egy gyors re...

A mesterséges intelligencia korában hozzászoktunk ahhoz, hogy a válaszok csupán egyetlen gombnyomásra vannak tőlünk. Legyen szó egy gyors receptről, fordításról vagy éppen szakkérdésekről, a chatbotok magabiztosan, azonnal és megkérdőjelezhetetlennek tűnő szakértelemmel válaszolnak.

Ez a vakbizalom azonban néha drámai és megdöbbentő következményekkel jár a való világban. Egy Kínában történt bizarr eset tökéletesen rávilágít arra, mi történik akkor, amikor a digitális asszisztens tanácsait kritika nélkül átültetjük a gyakorlatba.

A kelet-kínai Csucsou városában élő, 67 éves gazdálkodó hónapokon keresztül támaszkodott egy meg nem nevezett mesterséges intelligencia alapú chatbot segítségére. A férfi kezdetben szkeptikusan fogadta a technológiát, ám ahogy a digitális segéd hatékonynak bizonyult a mezőgazdasági ütemtervek összeállításában és a műtrágyázási tanácsok megfogalmazásában, a gazda bizalma fokozatosan megszilárdult.

Az algoritmus a mindennapi munkájának szerves részévé vált, a modern technológia vívmánya pedig úgy tűnt, megkönnyíti a nehéz fizikai munkát. A tragikus fordulat júliusban következett be, amikor a gazdálkodó a szezámföldjét fenyegető kártevők ellen kért azonnali és hatékony megoldást a chatbottól.

Az MI készségesen kiadta a receptet: a flupyrimethalin és fomesafen tartalmú szerek keverékét javasolta, kiegészítve thiamethoxammal és metilsóval. A gazda, nem kételkedve a digitális szakértő szavában, semmilyen humán szakemberrel vagy növényvédelmi mérnökkel nem konzultált, hanem azonnal bekeverte és kiszórta a vegyszerkoktélt a több mint 10 hektáros, azaz körülbelül 100 000 négyzetméteres szezámültetvényére.

A másnap reggeli látvány sokkoló volt: a teljes vetés elszáradt és elpusztult. A döbbent gazdálkodó visszatért a chatbothoz, és megkérdezte, mi történhetett. Az MI ekkor meglepő "őszinteséggel" rámutatott saját korábbi hibájára. Közölte, hogy a fomesafen valójában egy kétszikű gyomnövények irtására szolgáló erős gomba- és gyomirtó szer, amelyet főként szójaültetvényeken használnak.

Mivel a szezám maga is kétszikű növény, az irtószer nemcsak a gyomot, hanem a kultúrnövényt is azonnal elpusztította. Ahogy maga a gazda keserűen megjegyezte: a szer kiszórása után a palántáknak esélyük sem volt a túlélésre, és gyorsabban elpusztultak, mint maguk a gyomnövények.

Ez az eset azonban messze nem az egyetlen, és nem is a legszélsőségesebb példa arra, amikor a mesterséges intelligencia vak követése komoly veszélyt jelent. Az úgynevezett "hallucináció" jelensége – amikor az algoritmus teljesen téves, kitalált információkat tálal abszolút tényként – beépített velejárója a jelenlegi nyelvi modelleknek.

Nemrégiben megjelent nemzetközi kutatások szerint az MI által adott válaszok legalább 45 százalékában található valamilyen jelentős pontatlanság vagy hiba, és minden ötödik válasz tartalmaz konkrét hallucinációt. Ez különösen aggasztó annak fényében, hogy a felmérések szerint világszerte minden hetedik ember használt már mesterséges intelligenciát egészségügyi vagy orvosi tanácsadásra.

A szakirodalomban dokumentáltak már olyan esetet is, ahol egy felhasználónak a chatbot azt javasolta, hogy a konyhasót (nátrium-klorid) helyettesítse nátrium-bromiddal – ami egy mérgező, idegrendszeri károsodást és súlyos mérgezést okozó vegyület. Egy másik elhíresült esetben egy nagy új-zélandi áruházlánc receptek generálására tervezett alkalmazása olyan ételreceptet dobott ki a felhasználóknak, amely klórgázt állított volna elő a konyhában.

A Google keresőjébe épített MI sem mentes az ilyen bakiktól: volt idő, amikor a rendszer azt tanácsolta a felhasználóknak, hogy tegyenek nem mérgező ragasztót a pizzára, hogy ne csússzon le róla a sajt, vagy hogy egyenek meg naponta legalább egy kis kavicsot a megfelelő ásványianyag-bevitel érdekében.

A probléma gyökere abban rejlik, hogy a nyelvi modellek nem gondolkodó lények és nem "igazsággépek". Nem értik a fizikai világ törvényszerűségeit, a kémiai reakciókat vagy a biológiai folyamatokat. Hatalmas emberi szövegadatbázisokon tanultak meg mintázatokat felismerni, és csupán azt számítják ki statisztikailag, hogy melyik szónak mi a legvalószínűbb és a felhasználó számára leginkább tetszetős folytatása.

Ha az adatbázisukban hibás információ szerepel, vagy a modell rosszul köti össze a szavakat, az eredmény katasztrofális lehet. A kínai gazda tragédiája rámutat arra a veszélyre, hogy miközben a technológiai óriások a mindennapi élet minden területére próbálják betolni az MI-t, a társadalom jelentős része – különösen az idősebbek vagy a kevésbé képzett felhasználók – még nincs felkészülve a digitális információk kritikus szűrésére.

A mesterséges intelligencia kiváló eszköz lehet a kutatásban és az ötletelésben, de amíg az életünket, a megélhetésünket vagy az egészségünket érintő döntésekről van szó, a végső szót továbbra is a hús-vér szakembereknek és a józan észnek kell kimondaniuk. (1)

(1) - https://www.iflscience.com/ai-fail-of-the-week