Ƙara Bangla, Swahili da Hausa ga mai taimakon agaji mai cin gashin kansa

Mataimakin mu na bangaren humanitariya yana amsa tambayoyi game da ka'idojin da aka saba da su a fannin — littafin Sphere, Yarjejeniyar Geneva, Yarjejeniyar 'Yan Gudun Hijira ta 1951 da 'yan'uwansu — daga wani tarin bayanai da muke karba da saka a cikin tsarinmu, a bayan iyakar fitarwa inda ake rubuta, share sunaye, da gano kowace kira ga samfurin. Tarin bayanain na Turanci ne. Amma mutanen da ke buƙatarsu sau da yawa ba masu magana da Turanci ba ne.

Saboda haka, mun yanke shawarar ƙara harsuna uku: Bangla, Swahili da Hausa. Tare, suna rufe yanayin ayyukan humanitariya tun daga Cox's Bazar har zuwa Sahel. Daban-daban, kowannensu matsala ce ta injiniyanci daban — wanda muka sani ne saboda mun auna kowannensu kafin mu gina komai.

Wannan ita ce labarin waɗannan aunawar: abin da suka kashe (kuɗin da bai kai euro goma ba), abin da suka gano, da kuma hanyar aiki da ta sa tsarin ya fito daga bayanai maimakon daga ra'ayi da aka riga aka yi.

Layer huɗu, hanyoyi huɗu na gazawa

Ba a ce ana goyon bayan harshe saboda katin samfurin ya ce haka ba. Ga mai amfani da ke rubuta da Bangla, dole ne layer huɗu masu zaman kansu su yi aiki:

1. Gano — san wane harshe saken yake ciki. Tsarinmu na baya, wanda aka gina don duniyar Ukrainian/Russian/Turanci, ya rarraba dukkan harsuna uku masu sabo a matsayin Turanci.
2. Nemo — gano ingantattun layukan Turanci daga tambayar da aka rubuta da wani harshe. Neman cross-lingual aikin samfurin embedding ne.
3. Haifar — amsa da harshen mai amfani, bisa shaidar Turanci, ba tare da neman mai bayarwa wanda zai saba wa matsayin mulkin kai ba.
4. Share sunaye — gano sunaye, lambobin waya, da lambobin shaidar ƙasa kafin komai ya wuce iyaka. A rufe ko'ina idan aka gaza, bisa harshe.

Kowane layer na iya gazawa da kansa, amma abin da ke faruwa shi ne suna gazawa daban-daban bisa harshe.

Auna da farko, kar a hayar komai

Kafin mu ɗauki wani tsari (ko wani GPU), mun gudanar da bincike biyu akan matakin inference na EU wanda ke biyan kuɗi bisa token, ba tare da server ba. Kiran samfurin kusan 2,900, ƙasa da euro biyar, babu wani instance da aka taɓa shirya.

Binciken ya gado ka'idodin kimantawa da mun riga mun biya kuɗin koyon su akan tsarin Turanci:

• Maimaita komai. Kimantawarmu tana da sanannen matakin hayaniya (~4 maki a ma'aunin maki 100 tsakanin gudummawar da aka yi iri ɗaya). Kowacen kwatanta da aka yi sau ɗaya da ta fi ƙanƙanta da hakan tana auna yanayin mai haifarwa. Kowace lamba da ke ƙasa matsakaici ce ta gudummawa uku, tare da rahoton bambancin.
• Ba da maki ga nemo daban da haifarwa. Yin haka tare yana hana ganewa (observability).
• Tabbatar da fassararku. Tambayoyin kimantawa an fassara su ta inji, sannan aka duba su ta hanyar zagaye-zagaye ta hanyar samfurin mai zaman kansa tare da wani samfuri na uku yana yanke hukunci game da daidaiton ma'ana. Yawan wadanda suka tsira: Bangla 32/40, Swahili 25/40, Hausa 22/40 — kuma wata alamar Bangla ɗaya ita ce canjin cutar measles da cholera ba tare da sanarwa ba. Wannan bincike ne kanta: abubuwan da aka fassara ta inji suna buƙatar bita, ko da me kuka yi game da tattaunawa.
• Kada ku amince da alkalin ku. An sake yin hukunci ga sakamakon Hausa gaba ɗaya ta hanyar wani samfuri na biyu daga wani dangi daban. Matsayin ya tsira; lambobin ainihin sun motsa. Ka ba da rahoton duka biyun.

Bincike na 1 — Haifarwa: samfuri ɗaya bai bambanta da harshe ba

Mun ba da samfura uku masu zabin shaidar ingantacciyar Turanci da tambayar a kowane harshe, muna buƙatar amsar a wannan harshe. Wannan yana ware haifarwar cross-lingual daga nemo gaba ɗaya.

Samfuri ɗaya — Gemma — ya kewaye nasa maki na Turanci a dukkan harsuna uku. Samfuri ɗaya ya gaza Hausa gaba ɗaya. Kuma mafi mahimmancin gazawar ba a cikin maki ba ne: mistral-small ya amsa tambayoyin Bangla da Turanci kashi 32% na lokacin, duk da umarnin bayyananne. Abun da yake ciki yana da kyau; biyayyarsa ga harshe ba ta kasance ba. Alkalin LLM ya ɓace wannan akai-akai — rubutun layi biyar da ke duba script na Unicode na amsar ya gano shi kowane lokaci. Bincike mai araha wanda ba ya canzawa yana doke alkalan samfuri a ko'ina inda zaka iya rubuta ɗaya.

Bincike na 2 — Nemo: hoton madubi

Sannan tambayoyin iri ɗaya sun tafi kan tarin bayanai masu rai a matsayin bincike, ana gwada ko samfurin embedding ɗinmu (bge-m3) zai iya nemo layukan Turanci daga rubutun da ba na Turanci ba. Sarafin Turanci ya sake samar da ma'auninmu na samarwa daidai — koyi tabbatar da kayan aiki kafin ka amince da shi.

Bangla yana nemo daidai da Turanci. Hausa ya rushe — kuma an kawar da hayaniyar fassarar inji ta hanyar sake ba da maki akan fassarorin da aka tabbatar da tsarkakarsu kawai (sakamako iri ɗaya). Samfurin embedding bai ga isasshen Hausa ba, wanda yayi daidai da abin da adabin nemo na harsunan Afirka (AfriMTEB) ya ruwaito ga wannan nau'in samfuri.

Ka sanya binciken biyu kusa da juna kuma tsarin zai ƙera kansa:

Mun auna wannan juyawar a wannan rana: fassarar tambayoyin Hausa zuwa Turanci tare da NLLB-200 (samfurin da aka rage zuwa 1.3B, akan CPU, dakiku kaɗan kowace tambaya) ya ɗaga nemo daga MRR 0.37 zuwa 0.70 — sama da na Swahili na asali — kuma ya rage tambayoyin da ba a taɓa nemo su ba daga 15 zuwa 2. Harshe da za mu kira cewa ba za a iya ba da hidima ba a safe, ya sami tsarin aiki na ƙarshe da aka tabbatar da shi da yamma, kuma gyaran yana buƙatar matakin fassarar CPU-dakiku akan tambayoyin harshe ɗaya kawai.

Sakamako na 3 — Gyaran Bayanai: Tarkon duk a shiru ne

Layer din sirri shine babban gibin: tsarin PII na daidaitaccen masana'antu ba shi da samfura ko daya ga wadannan harsuna. Mun kara sabis na bincike na biyu – samfuran transformer NER da aka horar da su akan bayanan harsunan Afirka da Bangla – yayin da muka bar wanda akwai, wanda aka auna riga kafin, ba a taba shi ba. Sabis guda biyu, domin faɗaɗa rumbun bayanan ba zai iya lalata abin da aka riga aka auna ba a shiru.

Aunawa da recall kafin a sanya shi aiki ya gano laifuffuka uku, wadanda duk da sun kasance ba a iya ganin su a cikin bitar lambobi ba:

1. Mai gyara bayanai ya rufe kalmar "mai amfani" (beneficiary) ya kuma fitar da ainihin sunan. Mai raba kalma na samfurin Bangla yana cire alamar wasali; a karkashin tarawa ta tsohuwar hanya, gutsuttsuran sunan sun yi asara a daidaitawa. Darajar saiti guda daya (aggregation: max) ta gyara shi – amma aunawa da recall kadai ce za ta iya nuna shi.
2. Mai karfafa mahallin na tsarin bai yi aiki ba. Tsarin ID ya samu maki kasa da iyakar gyaran bayanai yayin da yake kusa da kalmar mahalli cikakkiya ("NID", "kitambulisho"), saboda mai raba kalma na harsuna da yawa bai bayar da tushe (lemmas) ga mai karfafa don ya dace ba. Lambobin sun yi kama da na gaskiya; sun kasance mataki daya kasa da yadda ya kamata a tsari.
3. "Common Article 3" ya koma <PERSON_1>. A Hausa, samfurin NER ya yi wa buɗewar ambaton tambayar Yarjejeniyar Geneva alama a matsayin mutum – wanda zai lalata ɗaya daga cikin mahimman tambayoyin da ke cikin tarin bayanan a shiru. Jerin sunayen kalmomin fanni na musamman sun wanzu ne daidai don wannan.

Tsarin da aka sanya a yanzu yana auna recall 120/120 a kan tarin bayananmu da aka yi wa lakabi – kuma muna buga wannan lamba tare da gargadinta: an gina tarin bayanan daga dokokin tsari iri daya da masu gane su ke ɗauka, don haka wani bangare na wannan sakamakon shine tabbacin kai. Lokacin da gyaran bayananmu na Ukrainian/Russian ya hadu da saitin gwaji na gaske da aka ware, ~100% ya koma 84.2%. Wannan shine lamba da muke ambata wa wadannan harsuna, kuma sabbin harsuna uku ba za su sami lamba ta bainar jama'a ba har sai an samu saitin gwajinsu da aka ware. Lambobin recall ba tare da asalin su ba talla ce, ba shaida ba.

Sakamako na 4 – Aunawa tana biyan kanta ta hanyar kurakurai da ba ka neman ba

Yayin da muka saita layer din binciken kalmomi ya gane Unicode (da farko yana cire duk haruffan Bengali), muka gano mai raba kalma ba ta taba dacewa da harafin Ukrainian "ї" ba – gibin harafi guda a cikin regex wanda ke gutsuttar da yawancin kalmomin Ukrainian a binciken kalma tun lokacin da aka sanya fasahar. Babu wanda ya lura, domin dawo da haɗaɗɗiyar hanya ta ragu a hankali maimakon ta gaza. An gano wannan kuskuren ba ta rahoton kuskure ba, sai ta hanyar bincike da ya ki samar da lamba mai ma'ana.

Wannan tsari ya sake faruwa duk rana. QA na fassara ta baya ya nuna cewa 32 daga cikin fassarorin Hausa 40 sun lalace – har sai da muka duba mai dubawa muka gano cewa samfurin fassara ta baya shine yake kuskuren karanta Hausa ("toilet" ya koma "nisa daga gida"). Canza mai karatu, kuma 22 daga cikin 40 sun tsira. Kowace kayan aikin aunawa ita kanta abu ce da za a auna.

Tambayar masaukan kai, a karshe tare da lamba

Gwajin karshe na taron ya magance wata tambaya daban da take tsayawa: menene ainihin farashin inganci na masaukan samfurin a kai? Mun bayar da samfurin daya ta hanyoyi biyu – API mai masaukin baki a cikakken daidaito, da kwafi mai quantized 4-bit a GPU namu – kuma muka guda gwaji iri daya, sau uku a kowane bangare.

Quantization zuwa int4 yana farashin maki kusan 6, wanda yake waje da hayaniyar duka bangarorin biyu. Wannan yana canza muhawarar gine-gine marar tabbas zuwa dokar yanke shawara: kada ka kai zirga-zirgar da ta dogara da inganci zuwa bangaren int4 a farashi daya. Hanyar masaukan kai ana sayar da ita akan abin da take aiki da shi a hakika – bukatar iko da abokin hulɗa yake biya – tare da farashin ingancinta da aka auna an bayyana shi a farko, kuma FP8 a kan na'urorin samarwa an jera shi azaman gwajin daidaito.

Darasi daya na kayan aikin: gudun farko na wannan kwatanton ya ruwaito cewa bambancin yana cikin iyakar hayaniya. Amsoshi goma sha biyu sun samu sifili saboda alkalin API ya iyakance yawan aiki a tsakiyar gudu – gazawar tsarin da ke bayyana kamar alamar inganci. Rikodin gazawa na kowane record ne kawai ya sa a gani. A sake yanke wa wadannan goma sha biyun hukunci, kuma hukuncin ya koma akasin haka. Idan kimantawarka ba ta iya gaya maka dalilin da ya sa record ya samu sifili ba, a karshe za ta yaudararka.

Abin da ya kashe, da abin da har yanzu ba mu sani ba

Duk binciken – bincike biyu a kan harsuna hudu da samfura uku, gwajin juyawa na dawo da bayani, fadada gyaran bayanai da aka sanya aka tabbatar, da yanke shawarar masaukan kai da aka auna – ya kashe kudi kaɗan na Euro a cikin tokens na API da sifili na awannin GPU da aka haya. Tambayar da ta yi kama da mai tsada ("shin muna bukatar GPU na €1,000/wata?") an amsa ta da farashin kofi, kuma amsar ita ce "ba tukuna ba, kuma ga lamba da za ta gaya mana yaushe."

Abin da yake da muhimmanci kuma shine abin da shaidar ba ta goyi bayan tukuna, domin buga wannan jerin shine yake sa sauran su zama masu inganci:

• Recall na gyaran bayanai na 120/120 shaida ce na waya, ba ikirarin samarwa ba – saitin gwaji da aka ware na kowane harshe ya zo da farko.
• Maki na bincike ba maki na samarwa ba; shaidar zinariya tana sa samarwa ya fi sauqi fiye da madauki na dawo da bayani kai tsaye.
• Fassarorin sun wuce QA na inji kawai; bitar mai magana da asali tana jiran duk wani abu da zai fuskanci mai amfani.
• Ganowa ana auna shi a kan rajistar kimantawarmu, ba a kan maganganun yau da kullum, musayar lambobi, ko Bangla da aka rubuta da haruffan Rumi ba.
• Kowace lamba da ke sama matsakaici ce akan gudaje da aka maimaita tare da bambancinta – kuma lambobin samarwar Hausa suna dauke da rashin tabbas fiye da sauran, saboda ko da alkalai biyu har yanzu alkalai biyu ne kawai.

Hanyar ita ce abin da za a dauka. Babu wani abu a nan da ya bukaci kayan aiki na musamman ko kasafin kudi na bincike. Yana dogara ne akan yanke shawarar gine-gine da aka yi daga aunawa – da kuma daukar kowace lamba mai ban mamaki a matsayin tambaya game da kayan aikin kafin a yarda da ita a matsayin gaskiya game da duniya.

Takon shaidar cikakke a bayan wannan labarin – littafin ikirari, sakamakon asali, da jerin abin da kowace ikirari ke nunawa da abin da ba ta nunawa ba – wani bangare ne na tsarin nassara na wakili mai iko.

A matsayin ƙarin lada, mun yi amfani da irin wannan hanyar aunawa-tukuna a kan shafin da kansa: yanzu an fassara baena.ai ta atomatik zuwa Bangla, Swahili da Hausa – waɗanda su ne harsuna uku da wannan labarin ke magana a kansu – domin wannan rubutu, da sauran shafin, su zama masu sauƙin isa ga mutanen da ainihi aka yi su domin su.