Kuunda RAG ya Kisheria Inayoweza Kuaminika

Hii ni nyongeza ya kiufundi kwa muhtasari wa Mshauri wa Sheria. Muhtasari huo unaelezea kile zana hii inachofanya na kwa nini ni bure; nakala hii imeandikwa kwa ajili ya watu wanaojenga mifumo kama hii na wanataka kuelewa maamuzi yaliyofanywa ndani yake.

Toleo fupi: kwa AI maalum ya sekta fulani yenye hatari kubwa, sehemu ngumu si mfumo (model) — ni nidhamu inayozunguka. Chatbot ya jumla inayosikika kama wakili ni rahisi. Lakinile inayoweza kuaminika na swali la utii wa sheria sio. Karibu kila uamuzi ulio hapa chini unalenga kufanya tofauti hiyo.

Vikwazo vilivyounda kila kitu

Kabla ya usanifu wowote, tatizo liliweka kanuni:

• Majibu makosa yana gharama kubwa. Hii inahusu utii wa sheria na haki. Uongo wenye ujasiri (hallucination) sio hitilafu, ni jukumu la kisheria.
• Sheria hubadilika. Mpango wa kisheria wa kibinadamu wa Ukraine umerekebishwa mara kwa mara tangu Februari 2022. Mkusanyiko wa maandiko ni lengo linalosogea.
• Lugha mbili. Maandiko asilia yako kwa Kiukreni; watumiaji wengi hufanya kazi kwa Kiingereza.
• Watumiaji wasio wataalam. Waratibu, si wakili.
• Lazima iweze kuthibitishwa. Watumiaji lazima waweze kuchunguza yale wanayoshauriwa.
• Lazima iwe nafuu na imara. Ni zana ya umma bure, hivyo gharama zinazozidi au udhaifu vingeliuua mradi huo.

Muhtasari wa usanifu

INGEST                         SERVE
official legislation           user question
  → extract & normalize          → embed the query
  → chunk                        → retrieve across 3 corpora (law-first)
  → embed (Gemini)               → reason over sources (tool agent)
  → vector store (Qdrant)        → answer + cited sources
        ▲                              │
        └── incremental updates        └── same-origin proxy → chat UI

Stacki imekusudiwa kuwa ya kawaida: Google Gemini kwa ajili ya embeddings na uzalishaji wa maandiko, Qdrant kama hifadhi ya vekta, safu ya uratibu ya low-code kwa ajili ya grafu ya huduma, na safu nyembamba ya wavuti (web layer) ya same-origin. Kuwa ya kawaida ni sifa — thamani ipo katika uchaguzi, si katika ubunifu mpya.

Maamuzi yanayofaa

Urejeleaji (Retrieval), si urekebishaji (fine-tuning)

Mkusanyiko wa maandiko hubadilika kila wiki. Kurekebisha mfumo (fine-tuning) kulingana na sheria kungemaanisha kufanya mafunzo upya kila sheria inapobadilishwa, na bado ingeweza kuchanganya mpaka kati ya "mfumo umejifunza hii" na "mfumo unadhania." Retrieval-Augmented Generation (RAG) huhifadhi maarifa katika hifadhi unayoweza kusasisha ndogo ya dakika na kuiangalia moja kwa moja, na hufanya kunukuu kuwa jambo la asili: mfumo hujibu kutoka kwenye sehemu ambazo amezipata hivi punde. Kwa sekta ambapo chanzo cha habari ndio lengo kuu, RAG sio njia fupi — ni usanifu sahihi.

Embeddings: ubora na lugha kwanza

Mkusanyiko wa maandiko ulihamishiwa kwenye mfumo wa embeddings wa Gemini kwa ukamilifu wake wa vipimo (full dimensionality). Sababu mbili zilizoendesha uamuzi huu. Kwanza, ubora wa multilingual — mfumo huo huo lazima uweke kanuni ya Kiukreni na swali la Kiingereza karibu na nyingine katika nafasi ya vekta. Pili, kutofautiana kwa uliza/nyaraka: maswali na sehemu za kisheria hupewa embeddings kwa aina tofauti za kazi, ili swali fupi liweze kupata maandiko marefu na yenye msongamano vizuri. Hizi ni aina za undani ambazo kimya kimya huamua kama urejeleaji utafanya kazi kabisa.

Ugawaji (Chunking) uliozingatia sheria, si chaguomsingi

Maandiko ya kisheria yana vitengo vyake vya asili — kifungu na sehemu. Ugawaji mdogo sana (tabia iliyorithiwa kutoka kwa mifumo ya zamani ya embeddings iliyo ndogo) unavunjavunja kifungu katika sehemu ambazo kila moja hupoteza uhusiano. Ukubwa wa ugawaji hapa umerekebishwa ili kifungu kimoja kibiaki kikiwa kizima huku kikifaa kirahisi katika bajeti ya ingizo la mfumo wa embeddings. Ugawaji hauvuti macho na ni mojawapo ya maamuzi yenye athari kubwa zaidi katika mfumo wowote wa RAG.

Mikusanyiko mitatu, sheria kwanza

Si vyanzo vyote vina mamlaka sawa, na kuvichanganya kungepotofesha. Msingi wa maarifa umegawanywa katika sehemu tatu:

1. Sheria kuu — maandiko rasmi ya sheria yenye mamlaka.
2. Seti iliyochaguliwa ya kibinadamu — masharti yaliyochaguliwa mkononi kwa ajili ya shughuli za NGO, yakiwa yameongezewa metadata ya uhusiano.
3. Uchambuzi wa pili – maoni ya wataalam ambayo hukagua sheria.

Mfumo huongoza daima na sheria kuu na kutazama uchambuzi kama maoni yaliyowekwa alama wazi, yakiwa na tarehe yake. Kuweka mpangilio wa mamlaka ndani ya safu ya urejeleaji — badala ya kutegemea mfumo kuitambua yenyewe — ndiyo kinachozuia "maoni ya mtaalam" kutolewa kama "sheria."

Ejenti ya zana, si mnyororo wa urejeleaji mmoja

Ujenzi wa kwanza unaodhihirika ni urejeleaji mmoja unaoisha kwenye prompt moja. Hauwezi kuhudumia mikusanyiko mitatu yenye majukumu tofauti. Kwa hiyo, grafu ya huduma ni ejenti inayotumia zana: mfumo una zana tofauti ya urejeleaji kwa kila mkusanyiko na huamua ni ipi ya kutumia, ukianzia daima na sheria kuu. Ubadilishaji huu ni wa kweli — inahitaji mipango mingi ya mfumo kwa kila swali badala ya moja, hivyo sekunde chache za ziada za ucheleweshaji (latency). Badala yake, unapata utenganishaji wa vyanzo, tabia ya sheria kwanza, na uwezo wa kusema "vyanzo havishughuliki hili" badala ya kulazimisha jibu. Kwa sekta hii, ubadilishaji huo unastahili.

Metadata, tarehe, na upangaji

Kila sehemu (chunk) ina metadata iliyopangwa: eneo la sheria, tarehe ya kutungwa/kurekebishwa, na (kwa seti iliyochaguliwa) alama ya uhusiano wa kiutendaji. Tarehe zimebadilishwa kuwa fomu inayoweza kupangwa ili hifadhi iweze kufanya miulizo halisi ya anuwai — "sheria tangu X pekee" — badala ya kulinganisha herufi. Kupanga kulingana na uhusiano wa kiutendaji kunamaanisha kuwa mkusanyiko unaakisi ujuzi wa uwanjani, si tu kile alichokipata kwanza kipakuzi (scraper).

Kunukuu kama pato la daraja la kwanza

Kila jibu hurudisha vyanzo mahususi vilivyokuwa nyuma yake — kichwa, tarehe, kiungo — zikionyeshwa kama kadi zenye nambari, huku uchambuzi ukitofautishwa kuonekana na sheria. Hii sio mapambo. Katika sekta nyeti kwa uaminifu, uwezo wa kuthibitisha ndio bidhaa; kunukuu ambayo mtumiaji anaweza kufungua kunathaminiwa zaidi kuliko kiasi chochote cha maneno yenye ujasiri.

Vizuizi (Guardrails), kwa mpango

Aina tatu za vizuizi, zote zimebainishwa badala ya kutegemewa:

• Kutia msingi (Grounding). Msaidizi hujibu kutoka kwenye maandiko yaliyopatikana na anaagizwa kusema wakati nyenzo hazishughuliki swali — kamwe asibuni sheria, kifungu, au tarehe.
• Unyenyekevu. Majibu yenye athari humwelekeza mtumiaji kwa wakili mwenye sifa. Hii ni hatua ya kwanza, si mbadala.
• Mipaka. Inabaki kuwa msaidizi wa kisheria: haitasumbuliwa kutoka kwenye mada, na haitafichua mambo yake ya ndani. Vizuizi ambavyo hawezi kusemwa kwa usahihi ni vizuizi ambavyo huna kweli.

Utoaji huduma na upatikanaji

Safu ya wavuti haioni kamwe funguo za API — maombi hupitishwa kupitia same-origin, huku kitambulisho kikiingizwa upande wa seva. Upatikanaji kisha huundwa na udhibiti uliotabaka: ukaguzi wa asili (origin check) ili kuzuia tovuti nyingine kuingiza zana hiyo, pamoja na kupunguza kasi (rate limiting) kama kikomo cha matumizi ya haki na gharama. Kanuni inayostahili kutajwa: ukaguzi wa asili ni udhibiti wa kiwango cha kivinjari, hivyo unachukuliwa kama safu moja miongoni mwa nyingine, si kama uthibitishaji. Ulinzi wa kina, unaofaa kwa onyesho la umma bure.

Gharama na uthabiti

Zana bure lazima ibaki kuwa bure. Hii inamaanisha mfumo wa uzalishaji wenye ufanisi wa gharama, majibu yanayotiririka (streaming) ili kiolesura kihisi kuwa cha haraka hata wakati ejenti inafanya kazi, na kikomo cha matumizi ili ongezeko la trafiki lisigeuze kuwa bili ya ghafla. Kuhakikisha mkusanyiko wa maandiko unakaa sawa kunashughulikiwa kupitia sasisho za hatua kwa hatua na, wakati mfumo wa embeddings unapobadilika, ujenzi upya bila kukatiza huduma kwenye mkusanyiko mpya kabla ya kubadilisha — pamoja na milango ya ubora kwenye uchimbaji ili hakati yoyote iliyoharibika ifike kwenye hifadhi.

Ubadilishaji wa kweli

Hakuna mfumo uliokamilika, na kudai vinginevyo ni ishara ya hatari. Mambo machache ningeyataja wazi: muundo wa mipango mingi ya ejenti hubadilisha ucheleweshaji (latency) kwa ubora; ubora wa tafsiri kwa majina ya kunukuu ni mzuri lakini si mbadala wa kusoma sheria kwa lugha asilia; na mfumo sahihi wa tathmini nje ya mtandao (offline evaluation harness) — unaopima usahihi wa urejeleaji na uaminifu wa majibu dhidi ya seti ya maswali yaliyowekwa alama — ndio uwekezaji unaofuata wa asili kwa mfumo kama huu.

Kwa nini kuandika hili

Zana zilizopo hapa ni bidhaa za kawaida; mtu yeyote anaweza kuziunganisha. Kinachofanya bidhaa ya AI katika sekta maalum kuwa ya kuaminika ni hukumu — kujua kwamba mgawanyo wa data (chunking) ni muhimu zaidi kuliko uchaguzi wa mfumo, kwamba mfumo wa idhini (authorization system) unapaswa kuwa katika safu ya urejeshaji, kwamba uwezo wa kuthibitisha (ability to verify) unashinda uzuri wa lugha, na kwamba vizuizi (constraints) vinahitaji kubainishwa, si kudhaniwa. Hukumu hiyo inatokana na kufanya kazi na tatizo hilo katika mazoezi, si kusoma juu yake tu.