এটি প্যারালিগ্যাল অ্যাডভাইজারের ওভারভিউ-এর কারিগরি সহযোগী। ওভারভিউটি ব্যাখ্যা করে যে টুলটি কী করে এবং কেন এটি বিনামূল্যে; এই অংশটি তাদের জন্য যারা এই ধরনের সিস্টেম তৈরি করেন এবং এর অন্তর্নিহিত সিদ্ধান্তগুলো বুঝতে চান।
সংক্ষিপ্ত সংস্করণ: উচ্চ-ঝুঁকিপূর্ণ, নির্দিষ্ট ডোমেইনের AI-এর ক্ষেত্রে কঠিন অংশটি মডেল নয় — এটি এর চারপাশের শৃঙ্খলা। একজন আইনজীবীর মতো কথা বলা একটি সাধারণ চ্যাটবট তৈরি করা সহজ। কিন্তু কমপ্লায়েন্স সংক্রান্ত প্রশ্নের ক্ষেত্রে যাকে বিশ্বাস করা যায়, এমন একটি তৈরি করা সহজ নয়। নিচের প্রায় প্রতিটি সিদ্ধান্তই এই পার্থক্যটি নিশ্চিত করার জন্য নেওয়া হয়েছে।
সবকিছুর রূপ দেওয়া সীমাবদ্ধতাগুলো
যেকোনো আর্কিটেকচারের আগেই, সমস্যাটি নিয়মগুলো নির্ধারণ করে দিয়েছিল:
- ভুল উত্তরগুলো ব্যয়বহুল। এটি কমপ্লায়েন্স এবং আইনের শাসনের সাথে সম্পর্কিত। আত্মবিশ্বাসী হ্যালুসিনেশন কোনো বাগ নয়, এটি একটি দায়ভার।
- আইন পরিবর্তনশীল। ফেব্রুয়ারি 2022 সাল থেকে ইউক্রেনের মানবিক আইনি কাঠামো ক্রমাগত সংশোধিত হচ্ছে। কর্পাস একটি চলমান লক্ষ্য।
- দুটি ভাষা। উৎস টেক্সটগুলো ইউক্রেনীয়; অনেক ব্যবহারকারী ইংরেজিতে কাজ করেন।
- অ-বিশেষজ্ঞ ব্যবহারকারী। সমন্বয়কারীরা, আইনজীবীরা নন।
- এটি যাচাইযোগ্য হতে হবে। ব্যবহারকারীদের তাদের জানানো তথ্য যাচাই করার সুযোগ থাকতে হবে।
- এটি সাশ্রয়ী এবং টেকসই হতে হবে। এটি একটি বিনামূল্যের পাবলিক টুল, তাই অতিরিক্ত খরচ বা ভঙ্গুরতা এটিকে ধ্বংস করে দেবে।
একনজরে আর্কিটেকচার
INGEST SERVE
official legislation user question
→ extract & normalize → embed the query
→ chunk → retrieve across 3 corpora (law-first)
→ embed (Gemini) → reason over sources (tool agent)
→ vector store (Qdrant) → answer + cited sources
▲ │
└── incremental updates └── same-origin proxy → chat UI
স্ট্যাকটি ইচ্ছাকৃতভাবে সাধারণ: এমবেডিং এবং জেনারেশনের জন্য Google Gemini, ভেক্টর স্টোর হিসেবে Qdrant, সার্ভিং গ্রাফের জন্য একটি লো-কোড অর্কেস্ট্রেশন লেয়ার, এবং একটি পাতলা সেম-অরিজিন ওয়েব লেয়ার। সাধারণ হওয়াটাই একটি বৈশিষ্ট্য — মূল্য নতুনত্বে নয়, বরং পছন্দগুলোতে নিহিত।
যে সিদ্ধান্তগুলো গুরুত্বপূর্ণ
ফাইন-টিউনিং নয়, রিট্রিভাল
কর্পাস প্রতি সপ্তাহে পরিবর্তিত হয়। আইনসংক্রান্ত বিষয়ে মডেল ফাইন-টিউনিং করলে প্রতিবার আইন সংশোধিত হলে পুনরায় প্রশিক্ষণ দিতে হতো, এবং তবুও "মডেলটি এটি শিখেছে" এবং "মডেলটি অনুমান করছে" — এই দুটির মধ্যে সীমানা অস্পষ্ট থেকে যেত। Retrieval-Augmented Generation (RAG) জ্ঞানকে এমন একটি স্টোরে রাখে যা আপনি কয়েক মিনিটে আপডেট করতে পারেন এবং সরাসরি পরিদর্শন করতে পারেন, এবং এটি উদ্ধৃতিকে স্বাভাবিক করে তোলে: মডেলটি সম্প্রতি রিট্রিভ করা অংশগুলো থেকে উত্তর দেয়। যে ডোমেইনে প্রভেন্যান্স বা উৎসই মূল বিষয়, সেখানে RAG কোনো শর্টকাট নয় — এটিই সঠিক আর্কিটেকচার।
এমবেডিং: গুণমান এবং ভাষা অগ্রাধিকার
কর্পাসটি এর পূর্ণ মাত্রায় Gemini-এর এমবেডিং মডেলে স্থানান্তরিত করা হয়েছে। এর পেছনে দুটি কারণ ছিল। প্রথমত, মাল্টিলিঙ্গুয়াল গুণমান — একই মডেলকে ভেক্টর স্পেসে একটি ইউক্রেনীয় আইন এবং একটি ইংরেজি প্রশ্নকে পরস্পরের কাছাকাছি রাখতে হয়। দ্বিতীয়ত, কোয়েরি/ডকুমেন্ট অসামঞ্জস্যতা: প্রশ্ন এবং আইনি অনুচ্ছেদগুলো ভিন্ন টাস্ক টাইপ ব্যবহার করে এমবেড করা হয়, যাতে একটি ছোট প্রশ্ন দীর্ঘ ও ঘন টেক্সটকে ভালোভাবে খুঁজে পেতে পারে। রিট্রিভাল আসলে কাজ করবে কিনা, তা নীরবে নির্ধারণ করে এমন বিবরণগুলোই এগুলো।
ডিফল্ট মান নয়, আইন অনুযায়ী চাঙ্কিং সাইজ
আইনি টেক্সটের প্রাকৃতিক একক রয়েছে — অনুচ্ছেদ এবং ধারা। খুব ছোট চাঙ্ক করলে (যা পুরনো, ছোট এমবেডিং মডেল থেকে আসা একটি অভ্যাস) একটি অনুচ্ছেদকে এমন টুকরোয় বিভক্ত করে ফেলা হয় যেখানে প্রতিটি টুকরো মূল সূত্র হারিয়ে ফেলে। এখানে চাঙ্ক সাইজটি এমনভাবে টিউন করা হয়েছে যাতে বেশিরভাগ স্বতন্ত্র বিধান অক্ষত থাকে এবং একই সাথে এমবেডিং মডেলের ইনপুট বাজেটের মধ্যে স্বাচ্ছন্দ্যে ফিট হয়। চাঙ্কিং আকর্ষণীয় নয়, তবে যেকোনো RAG সিস্টেমের এটি অন্যতম সর্বোচ্চ প্রভাব ফেলা সিদ্ধান্ত।
তিনটি কর্পাস, আইন-প্রথম
সব উৎস সমান কর্তৃত্ব বহন করে না, এবং সেগুলো মিশ্রিত করা বিভ্রান্তিকর হবে। নলেজ বেসটি তিন ভাগে বিভক্ত:
- প্রাথমিক আইন — কর্তৃত্বশীল আইনি টেক্সট।
- একটি কিউরেট করা মানবিক সেট — এনজিও পরিচালনার জন্য হাতে বাছাই করা বিধানগুলো, প্রাসঙ্গিকতা মেটাডেটা দিয়ে সমৃদ্ধ।
- সেকেন্ডারি বিশ্লেষণ — বিশেষজ্ঞ মন্তব্য যা আইনটি পর্যালোচনা করে।
সিস্টেমটি সর্বদা প্রাথমিক আইন দিয়ে শুরু করে এবং বিশ্লেষণকে স্পষ্টভাবে লেবেলযুক্ত মন্তব্য হিসেবে বিবেচনা করে, যা তার তারিখ দিয়ে ট্যাগ করা থাকে। মডেলটি এটি অনুমান করবে বলে আশা করার পরিবর্তে রিট্রিভাল লেয়ারে কর্তৃত্বের ক্রম এনকোড করাই হলো সেই বিষয় যা "একজন বিশেষজ্ঞের মতামত"-কে "আইন" হিসেবে উপস্থাপন হওয়া থেকে বিরত রাখে।
একটি টুল এজেন্ট, একক-রিট্রিভার চেইন নয়
স্বাভাবিক প্রথম নির্মাণটি হলো একটি রিট্রিভার যা একটি প্রম্পটে ফিড দেয়। এটি ভিন্ন ভিন্ন ভূমিকা পালনকারী তিনটি কর্পাস পরিবেশন করতে পারে না। তাই সার্ভিং গ্রাফটি একটি টুল-ব্যবহারকারী এজেন্ট: মডেলের প্রতিটি কর্পাসের জন্য আলাদা রিট্রিভাল টুল রয়েছে এবং এটি সিদ্ধান্ত নেয় কোনটি পরামর্শ করতে হবে, সর্বদা প্রাথমিক আইন দিয়ে শুরু করে। লেনদেনটি সৎ — একটির পরিবর্তে প্রতি প্রশ্নের জন্য একাধিক মডেল কল, তাই কয়েক সেকেন্ড অতিরিক্ত লেটেন্সি। বিনিময়ে আপনি পান উৎস পৃথকীকরণ, আইন-প্রথম আচরণ, এবং "উৎসগুলো এটি কভার করে না" বলার ক্ষমতা, জোর করে উত্তর দেওয়ার পরিবর্তে। এই ডোমেইনের জন্য, এই লেনদেনটি মূল্যবান।
মেটাডেটা, তারিখ এবং র্যাঙ্কিং
প্রতিটি চাঙ্ক কাঠামোগত মেটাডেটা বহন করে: আইনের ক্ষেত্র, প্রণয়ন/সংশোধনের তারিখ, এবং (কিউরেট করা সেটের জন্য) একটি অপারেশনাল-প্রাসঙ্গিকতা স্কোর। তারিখগুলো একটি সর্টযোগ্য রূপে স্বাভাবিক করা হয় যাতে স্টোরটি বাস্তব রেঞ্জ কোয়েরি করতে পারে — "শুধুমাত্র X এর পরের আইন" — স্ট্রিং ম্যাচিংয়ের পরিবর্তে। অপারেশনাল প্রাসঙ্গিকতার ভিত্তিতে র্যাঙ্কিংয়ের অর্থ হলো কর্পাসটি মাঠের অভিজ্ঞতা প্রতিফলিত করে, শুধু স্ক্র্যাপার প্রথমে যা খুঁজে পেয়েছে তা নয়।
উদ্ধৃতি একটি প্রাথমিক আউটপুট হিসেবে
প্রতিটি উত্তর এর পেছনের নির্দিষ্ট উৎসগুলো ফেরত দেয় — শিরোনাম, তারিখ, লিঙ্ক — যা নম্বরযুক্ত কার্ড হিসেবে প্রদর্শিত হয়, যেখানে বিশ্লেষণকে আইন থেকে দৃশ্যত আলাদা করা হয়েছে। এটি সাজসজ্জা নয়। বিশ্বাস-সংবেদনশীল একটি ডোমেইনে, যাচাইযোগ্যতাই হলো পণ্য; একটি উদ্ধৃতি যা ব্যবহারকারী খুলতে পারেন, তা যেকোনো পরিমাণ আত্মবিশ্বাসী বাক্যগঠনের চেয়ে বেশি মূল্যবান।
ডিজাইন অনুযায়ী গার্ডরেইল
তিন পরিবারের গার্ডরেইল, সবকটি আশা করার পরিবর্তে সুনির্দিষ্টভাবে নির্ধারিত:
- গ্রাউন্ডিং। সহকারী রিট্রিভ করা টেক্সট থেকে উত্তর দেয় এবং নির্দেশিত হয় যে যখন উপাদানগুলো কোনো প্রশ্ন কভার করে না তখন তা বলতে — কখনোই কোনো আইন, অনুচ্ছেদ বা তারিখ উদ্ভাবন করতে নয়।
- বিনয়। গুরুত্বপূর্ণ উত্তরগুলো ব্যবহারকারীকে একজন যোগ্য আইনজীবীর কাছে নির্দেশ করে। এটি একটি প্রথম স্টপ, প্রতিস্থাপন নয়।
- সীমানা। এটি একটি আইনি সহকারী হিসেবেই থাকে: একে বিষয়ান্তরে নিয়ে যাওয়া যাবে না, এবং এটি তার নিজস্ব অভ্যন্তরীণ বিষয় প্রকাশ করবে না। যে গার্ডরেইলগুলো আপনি সঠিকভাবে উল্লেখ করতে পারেন না, সেগুলো আসলে আপনার কাছে নেই।
সার্ভিং এবং অ্যাক্সেস
ওয়েব লেয়ার কখনোই কোনো API কী দেখে না — অনুরোধগুলো সেম-অরিজিন হিসেবে প্রক্সি করা হয়, যেখানে ক্রেডেনশিয়াল সার্ভার-সাইডে ইনজেক্ট করা হয়। এরপর অ্যাক্সেস স্তরিত নিয়ন্ত্রণ দ্বারা গঠিত হয়: অন্যান্য সাইট থেকে টুলটি এমবেড করা বন্ধ করার জন্য একটি অরিজিন চেক, পাশাপাশি ফেয়ার-ইউজ এবং খরচের সীমা হিসেবে রেট লিমিটিং। উল্লেখযোগ্য নীতিটি হলো: একটি অরিজিন চেক হলো একটি ব্রাউজার-স্কোপ নিয়ন্ত্রণ, তাই এটিকে প্রমাণীকরণ হিসেবে নয়, বরং একাধিক স্তরের মধ্যে একটি স্তর হিসেবে বিবেচনা করা হয়। একটি বিনামূল্যের পাবলিক ডেমোর জন্য উপযুক্ত, ডেফেন্স ইন ডেপথ।
খরচ এবং টেকসইতা
একটি বিনামূল্যের টুলকে বিনামূল্যেই থাকতে হবে। এর অর্থ হলো একটি খরচ-দক্ষ জেনারেশন মডেল, স্ট্রিমিং রেসপন্স যাতে এজেন্ট কাজ করার সময়ও ইন্টারফেসটি দ্রুত মনে হয়, এবং একটি খরচের সীমা যাতে ট্রাফিক স্পাইক কোনো আশ্চর্যজনক বিলে পরিণত না হয়। কর্পাসকে হালনাগাদ রাখার কাজটি ইনক্রিমেন্টাল আপডেট এবং, যখন এমবেডিং মডেল নিজেই পরিবর্তিত হয়, তখন সুইচ করার আগে একটি নতুন কালেকশনে জিরো-ডাউনটাইম রিবিল্ড-এর মাধ্যমে সম্পন্ন করা হয় — পাশাপাশি এক্সট্রাকশনে কোয়ালিটি গেট যাতে ত্রুটিপূর্ণ ডকুমেন্টগুলো কখনোই স্টোরে না পৌঁছায়।
সৎ লেনদেন
কোনো সিস্টেমই সম্পূর্ণ নয়, এবং অন্যথায় ভাবা একটি রেড ফ্ল্যাগ। কিছু বিষয় আমি প্রকাশ্যে উল্লেখ করতে চাই: এজেন্টের মাল্টি-কল ডিজাইন গুণমানের বিনিময়ে লেটেন্সি গ্রহণ করে; উদ্ধৃতির শিরোনামের জন্য অনুবাদের গুণমান ভালো কিন্তু আইনের স্থানীয় পাঠের বিকল্প নয়; এবং একটি যথাযথ অফলাইন ইভ্যালুয়েশন হারনেস — যা একটি লেবেলযুক্ত প্রশ্ন সেটের বিপরীতে রিট্রিভাল প্রিসিশন এবং উত্তরের বিশ্বস্ততা পরিমাপ করে — এমন একটি সিস্টেমের জন্য পরবর্তী স্বাভাবিক বিনিয়োগ।
কেন এটি লিখছি
এখানকার টুলগুলো হলো সাধারণ পণ্য; যেকেউ এগুলো একসাথে সংযুক্ত করতে পারে। একটি ডোমেইন-নির্দিষ্ট AI পণ্যকে বিশ্বস্ত করে তোলে বিচারবুদ্ধি — এই বোধগম্যতা যে মডেল নির্বাচনের চেয়ে চাঙ্কিং বেশি গুরুত্বপূর্ণ, যে কর্তৃত্বের ক্রম রিট্রিভাল লেয়ারে থাকা উচিত, যে সাবলীলতার চেয়ে যাচাইযোগ্যতা শ্রেয়, এবং যে গার্ডরেলগুলো অনুমান না করে সুস্পষ্টভাবে নির্ধারণ করতে হয়। এই বিচারবুদ্ধি আসে সমস্যাটি প্রত্যক্ষভাবে অভিজ্ঞ হওয়া থেকে, কেবল তা সম্পর্কে পড়ে নয়।
এটাই ঠিক সেই ধরনের কাজ যা আমি সংগঠনগুলোর সাথে করি: একটি বাস্তব অপারেশনাল সমস্যা নিয়ে এমন একটি AI পণ্য তৈরি করা যা নির্ভুল, যাচাইযোগ্য এবং নির্ভর করার মতো যথেষ্ট টেকসই।
