Az utóbbi időben számos példa akadt arra, hogy talán mégsem kell annyira félnünk a munkánkat elvevő MI-től, mint amennyire azt próbálják elhitetni velünk. Elképzelhető ugyanis, hogy hazugságokra építik fel a mesterséges intelligencia jövőjét. 2025-re pedig kipukkadhat a mesterséges intelligencia lufi.
“Hazudtunk reggel, éjjel meg este”
Egyre több alkalommal buknak le a cégek kamu demokkal, amikben az általuk készített mesterséges intelligenciák olyan képességét mutatják be, amelyek nem léteznek, vagy nem úgy léteznek.
2023. decemberében a Google Gemini AI képességeit bemutató demo videójáról derült ki, hogy kamu. Az még csak a kisebb hazugságok közé tartozik, hogy a Gemini nem válaszolt olyan gyorsan, mint ahogy az a demo videón látható volt. Ennél egy fokkal nagyobb probléma volt, hogy összevágták a válaszokat. Valamint a folyamatos mozgókép helyett állóképeket mutattak az AI-nak, amiről csak hellyel-közzel tudta megállapítani, hogy pontosan mit is ábrázol. A Gemini AI demoját azóta miszlikre szedték már.
Nemrég az Amazon “MI” hajtotta kisboltjairól derült ki, hogy nem sikerült a vásárlásokat mesterséges intelligenciával feldolgozni. Így kénytelenek voltak 1000 indiait alkalmazni arra, hogy ellenőrizzék a vásárlásokat. Ez megmagyarázza több vásárló visszajelzését is, miszerint csak órákkal vagy napokkal később kaptak blokkot a vásárlásukról. Az Amazon bejelentette, hogy felfüggeszti “Just Walk Out” pénztár nélküli boltjainak üzemeltetését.
Amikor bekamuzod az önéletrajzodat és megkapod a melót
Legutóbb pedig a Devin AI fejlesztői buktak le kamu demo videójukkal. A Devin AI-ra sokan úgy hivatkoznak, mint az “első AI szoftvermérnök”, amely aztán biztosan elveszi minden programozó munkáját, mivel képes magától értelmezni az ügyfél igényeit és aszerint lefejleszteni egy komplett szoftvert. Ebben az esetben tehát nem csak arról lenne szó, hogy egy-egy forráskód részletet, függvényt megcsinál, hanem A-Z-ig lefejleszt mindent.
Az Internet of Bugs Youtube csatorna alapos, közel félórás videóban szedi szét a Devin AI demo videó furcsaságait.
A Devin AI-t úgy reklámozták, hogy az Upwork nevű platformon “véletlenszerűen” kiválasztottak egy feladatot. Aztán megkérték, hogy csinálja meg.
Az egyik furcsaság már itt szembeötlik: nem tűnik annyira véletlenszerűnek a munka kiválasztása. Jól látszik ugyanis a “road damage” kulcsszóra kerestek rá.
A videó egy későbbi részében látszik a prompt, amit beadtak a Devin AI-nak. Jól látszik, hogy nem egyezik meg teljesen a prompt üzenet a munkaleírásával. A promptba mindössze annyi került, hogy “Please figure it out”. Míg a munka leírása elég egyértelműen fogalmaz, hogy pontosan mit is szeretne.
A nyilvánvaló dolgoktól tekintsük el, hogy a Devin AI nem kért több infót a munkával kapcsolatban, pedig azért itt lenne bőven mit megkérdezni. Carl, az Internet of Bugs csatorna készítője továbbá felhívja a figyelmet arra is, hogy mennyire rosszul dolgozott valójában a Devin.
Fantom fájlok
A demo videóban feltűnik egy hibaüzenet, amelyből kiderül, hogy olyan fájlra hivatkozik ami nem létezik a videóban példaként mutatott git repo-ban. Egészen pontosan a visualize_detections.py fájlról van szó. Carl megemlíti, hogy amikor végigcsinálta ugyanazokat a lépéseket, amiket a Devin és eljutott ehhez a ponthoz, ő nem kapott ilyen hibaüzenetet. Sőt rákeresve a fájlra a Github-on, nem talált ilyet.
Ugyanezen a képernyőn szintatikai hibákat is látunk, sőt az egész eladott kód egyáltalán nem így működik, nem így használjuk. Feltételezhetően a Devin készít el bizonyos állományokat, ráadásul azokat is rosszul, hibásan, erre enged következtetni ez a képkocka.
Carl a videóban elmondja, hogy ha valaki nem elég kritikusan nézi a videót, vagy nem ért annyira a programozáshoz annak úgy tűnhet, hogy a Devin az Upwork platformon a munka mellé adott repoban található fájlokban lévő hibákat deríti fel és javítja. Valójában a saját maga által generált hibás kódot kalapálja. Ennek az AI-nak nem is ez lenne a feladata, hiszen a munka célját kellene teljesíteni, de ehelyett saját kódot generál, a saját hibáinak javítására.
A végére még pár észrevétel
- Eleve nincs szükség semmilyen kódolásra. A repoban található README tartalmazza az összes utasítást, ami a feladat elvégzéséhez szükséges. Ezek a leírások még mindig jól működnek, mindössze egy egysoros módosítással, még akkor is, ha a repo régi. Ezért kérte az ügyfél inkább az EC2-n való futtatásra vonatkozó utasításokat, mint némi kódolást. Úgy tűnt, Devin nem olvasta el a README-t, és nem értette meg, hogy csak néhány, már meglévő Python szkriptet kell végrehajtania. A videón látható kimenet úgy tűnik, mintha a feladat összetett és kifinomult lenne, hosszú tervvel és sok jelölőnégyzettel, amelyek az elvégzett munkát mutatják, de a munka valójában értelmetlen és felesleges volt.
- Devin kódváltoztatásai rosszak, pl. saját alacsony szintű fájlolvasási ciklus írása ahelyett, hogy a szabványos könyvtárat használná megfelelően.
- A videón úgy tűnik, hogy Devin gyorsan elvégezte a feladatot, és a videó készítője is képes volt ~30 perc alatt elvégezni a kért munkát. Valójában azonban a chat időbélyegei szerint a feladat több órán át, sőt a következő napra is elhúzódott.
- Teljes értelmetlen parancsokat is futtat: pl “head n 5 foo | tail -n 5”
Egy szó, mint száz a Devin AI nem azt végezte el, amit kértek, nem is jól végezte el a munkát. Jelenleg a junior szintet sem ugorja meg, nemhogy szoftvermérnöknek nevezhessük.
Miért gond, ha kamuznak a cégek?
Már most is látszik, hogy sokan elfogultan viszonyulnak a mesterséges intelligencia által generált tartalmakhoz. Számtalan hír látott napvilágot az elmúlt időszakban, amikor az ember kérdés nélkül elfogadta az MI által generált kimenetelt. Ilyen eset volt pl az az eset, amikor egy ügyvéd nem létező balesetet is beleírt egy általa képviselt ügy vádiratába.
Az a probléma azzal, hogy ha az AI fejlesztő cégek kamuznak a mesterséges intelligencia képességeiről, hogy a laikusok sokkal többet várnak el az MI-től, mint amire az valójában képes. A cikkeket és a címeket egymástól kritika nélkül átemelő médiumokat olvasók számára pedig úgy tűnhet, hogy “atyaég, hát itt van az AI-ok kora“. Joggal merülhet fel egy fiatalban a kérdés ezeket a cikkeket olvasva, hogy mi értelme programozónak, zenésznek, grafikusnak menni, ha az AI úgyis elveszi a munkánkat, holott a demók által prezentált “valóság” csak egy vágyálom a fejlesztők részéről. Egy olyan vágyálom, ami jelenleg nincs, nem elérhető és valószínűleg az elkövetkező időszakban is elérhetetlen marad. Így olyan dologtól rettegnek egyesek, ami nincs, és nem létező problémák okoznak szorongást nekik.
Borzasztóan károsak tehát ezek a kamu videók, mivel egyrészt növelik a szorongást egyesekben, másrészt olyat próbálnak eladni, ami nem létezik. Cserébe persze a részvényeseknek jól esik nézni a hirtelen részvényárfolyam megugrásokat, és rengeteg ingyenes marketing megjelenést generál egy-egy ilyen videó.
2025-re úgyis itt az MI apokalipszis?
Van egy jelenleg elég vészjósló tendencia: egyes AI modellek egyre butábbakká vállnak. És ez nem azért van, mert mondjuk az ingyenes elérhető változatokat szándékosan lebutítják a fejlesztők. Egyre nagyobb probléma, hogy az újonnan készült Internetes tartalmak nagy részét már most is AI generálja. Míg a tisztán emberek által előállított anyagok várhatóan 2025-re elfogynak.
A nagy nyelvi modellek pedig a neten fellelhető anyagokból IS tanulnak. Na most, ha egy nem tökéletes MI által generált tartalmat megetetünk egy másik nem tökéletes MI-vel, az eredmény végül még tökéletlenebb, még több hibát tartalmazó lesz. Így egy lefelé gyorsuló spirálban találhatjuk magunkat.
Jelenleg ez egy megoldandó probléma a fejlesztők számára, hogyan tudnának különbséget tenni ember és MI által generált forrásanyagok között. A idő szorít, mert valamivel etetni kellene az AI modelleket, hogy tudjanak fejlődni. Ha ezt nem sikerül meglépni könnyen elképzelhető, hogy 2025-2026 környékére az AI lufi egyszerűen kipukkad, és elmarad a várva-várt AI kánaán.