Egy 2024. január 17-i tanulmányban a Makaói Egyetem, a University College London (UCL) és a Tencent AI Lab kutatói megvizsgálták a nagy nyelvi modellek (LLM-ek) teljesítményét a "klasszikus" gépi fordítással (MT) szemben. Tanulságosak az eredmények, amelyeket a Slator.com is összefoglalt: a fordit.hu az utóbbi forrás megállapításaiból mazsolázott.

A kutatók a Llama2-7b modellt használták a német-angol nyelvpáron, hangsúlyozva, hogy mindkét nyelv gazdag nyelvi erőforrásokban. A Llama2-7b modellt a Meta fejlesztette ki és tette közzé a nagy nyelvi modellek (LLM) Llama 2 családján belül, amely a generatív szövegmodellek előre betanított és finomhangolt gyűjteménye, 7 milliárdtól 70 milliárd paraméterig terjedő skálán. A Llama-2-Chat például a ChatGPT-hez hasonlóan is használható.

Egy lépés előre, egy hátra

A kutatók megállapították, hogy a nagy nyelvi modellekkel a fordítók javíthatják a hosszú mondatok és teljes dokumentumok fordítását. Azonban továbbra is problémás lehet a különböző területeken különböző jelentésű, és a ritka szavak predikciója. Az LLM-et  használó fordítók ráadásul új kihívásokkal is szembesülnek, ugyanis a kevés erőforrással rendelkező nyelvek fordításában a nagy nyelvi modellek sem remekelnek, ráadásul az emberi beavatkozás is nehezebb, mint a CAT eszközökbe épített gépi fordítás esetében. 

A dokumentum-szintű fordítás kapcsán a kutatók arra jutottak, hogy a nagy nyelvi modellek csökkentik a kétnyelvű (párhuzamos) szövegekre való támaszkodás igényét az előfordítás során, különösen a sok erőforrással rendelkező nyelvek esetében, ahol már kis mennyiségű párhuzamos adat is jelentősen javítja a fordítási teljesítményt – ha épp a rendelkezésre áll. 

Meglepő módon az adatbőség csak marginális javulást eredményezett a nagy nyelvi modellnél, sőt bizonyos esetekben csökkentette is a rendszer teljesítményét, amely problémára a kutatók a rendszer további finomhangolást javasolták. Valószínűleg az LLM-ek nem a párhuzamos szövegeken fognak “megokosodni”.

Fejlődési lehetőségek és vegyes tapasztalatok

Az LLM-ek a hagyományos gépi fordításnál jobb teljesítményt mutattak egy-egy szakterületen belül, kevésbé keverték az azonos alakú, de különböző jelentésű szakszavakat. Cserébe a terminológiai hibák, stílusbeli különbségek és hallucinációk nehezítették a velük való munkát. A ritka szavak predikciója továbbra is jelentős kihívást jelent az LLM-ek számára, ami kihagyásokhoz vezetett a fordításokban. 

A kutatók vegyes eredményeket tapasztaltak a szövegek párhuzamosítása és a szókapcsolatok azonosítása terén is, sőt, arra jutottak, hogy a jelenlegi fejlettségű LLM-ek ezekre a feladatokra még a gyakorlatban nem alkalmasak. A hagyományos MT a sebességben egyértelműen lehagyta a hatalmas méretű nyelvi modelleket, amelyek így egyelőre még kevéssé alkalmasak valós idejű fordításra (pl. tolmácsolásra).

Mi várható a jövőben?

A gépi fordítás előtt álló új kihívások között szerepel a (modelleken belül) kevésbé reprezentált nyelvpárok fordítási minőségének javítása és a fordítások minőségének értékelése is. A kutatók rámutattak, hogy a fordítási teljesítmény jelentősen függ az egyes nyelvekhez rendelkezésre álló erőforrásoktól, és a LLM-ek tréningje során szükség van változatos és kiegyensúlyozott adatkészletekre. A fordítás csak akkor lesz egyenletesen jó a különböző nyelveken, ha az adatkészleteit is minden szükséges nyelvből megkapja. Ekkor válik valóra a fejlesztő Meta gyakran hangoztatott célja, hogy a Metaverzum nyelvi korlátok nélkül működjön.

Hozzászólások (3)