“सामग्री ली जा सकती है।” यह वाक्य सचमुच पुस्तिका में है। सीलबंद पैकेजों के लिए अपवाद ठीक इसके बाद आता है, लेकिन पुनर्प्राप्त पाठ-अंश में शामिल नहीं होता। एक एआई पहले वाक्य से एक साफ़, स्रोत-सहित उत्तर बना सकता है और फिर भी निर्णायक शर्त खो सकता है।
RAG खोज और उत्तर को जोड़ता है: किसी संग्रह से प्रश्न से मेल खाने वाले अंश चुने जाते हैं और संदर्भ के रूप में उपलब्ध कराए जाते हैं। इससे मॉडल के वेट अपने आप नहीं बदलते। प्रासंगिक तकनीक उत्तर लिखे जाने से पहले ही, सामग्री के अंतर्ग्रहण, विभाजन और चयन से शुरू होती है।
चार चरण और विफलता के चार संभावित बिंदु
पहले, किसी फ़ाइल की सामग्री उपयोग योग्य रूप में उपलब्ध होनी चाहिए। फिर उसे खंडों में विभाजित किया जाता है। एक सर्च इंडेक्स प्रश्न से मेल खाने वाले खंड खोजने में मदद करता है। अंत में, एक मॉडल इस चुनी गई सामग्री का उपयोग करके उत्तर तैयार करता है। शुरुआत में हुई कोई त्रुटि केवल इसलिए गायब नहीं हो जाती कि अंतिम वाक्य विशेष रूप से विश्वसनीय लगता है।
अन्य बातों के साथ-साथ, Open WebUI का दस्तावेज़ीकरण टेक्स्ट विभाजन, ओवरलैप और री-इंडेक्सिंग का वर्णन करता है। मौजूदा ज्ञान-दस्तावेज़ अपना पिछला विभाजन तब तक बनाए रखते हैं जब तक उन्हें री-इंडेक्स नहीं किया जाता। इसलिए बदली गई सेटिंग अभी इस बात का प्रमाण नहीं है कि सर्च इंडेक्स पहले ही बदल चुका है।
ज्ञात उत्तरों वाला एक बहुत छोटा संग्रह बनाएँ
स्थिर पहचानकर्ताओं के साथ अपनी तीन टेक्स्ट फ़ाइलें बनाएँ। पहली फ़ाइल सामग्री लेने और उसके अपवाद का वर्णन करती है। दूसरी मेहमानों और टीम सदस्यों के बीच अंतर करती है। तीसरी वर्तमान और संग्रहीत दस्तावेज़ों के बीच का अंतर समझाती है। स्रोत जानबूझकर चुनी गई स्थानीय फ़ाइलें या Nextcloud जैसे किसी सिस्टम से निर्यात की गई सामग्री हो सकती है; फ़ाइलें उपलब्ध कराना और एआई खोज अलग-अलग चरण बने रहते हैं।
K01 Material
Material may be taken.
Sealed packages require approval beforehand.
K02 Access
Guests check in at reception.
Team members use their own access.
K03 Archive
Current documents are kept in the working folder.
Archived versions are kept only for traceability.चार प्रश्न उनके अपेक्षित आधार के साथ लिख लें: सीलबंद पैकेजों पर क्या लागू होता है? मेहमान चेक-इन कैसे करते हैं? कौन-सा संस्करण वर्तमान है? रिसेप्शन का फ़ोन नंबर कहाँ है? अंतिम जानकारी जानबूझकर शामिल नहीं की गई है। इससे आपको तीन उत्तर देने योग्य प्रश्नों के साथ एक वास्तविक अज्ञात मामला मिलता है।
किसी मौजूदा RAG टूल में इसी छोटे संग्रह से शुरुआत करें। तैयार उत्तर का आकलन करने से पहले वास्तव में पुनर्प्राप्त पाठ-अंशों को सहेजें या प्रदर्शित करें। यदि अपवाद वहीं पहले से गायब है, तो सबसे पहले विभाजन या चयन की जाँच की जानी चाहिए। उत्तर वाले प्रॉम्प्ट को दोबारा शब्दबद्ध करने से किसी गायब स्रोत की भरपाई भरोसेमंद ढंग से नहीं हो सकती।
पाठ-सीमाओं को जानबूझकर बदलना
दो संभालने योग्य विकल्पों की तुलना करें: एक ऐसा विभाजन जिसमें नियम और अपवाद अलग हो जाते हैं, और एक ऐसा जो दोनों को साथ रखता है। वास्तव में बने खंडों को नोट करें। आकर्षक नाम वाली कोई सेटिंग मात्र अभी यह नहीं बताती कि आपका अपना पाठ वास्तव में कहाँ काटा गया।
ओवरलैप पड़ोसी संदर्भ को बनाए रख सकता है, लेकिन अतिरिक्त दोहराई गई सामग्री भी उत्पन्न करता है। दूसरी ओर, बहुत बड़े खंड अपने साथ बहुत-सी अप्रासंगिक सामग्री ला सकते हैं। इसलिए इस उदाहरण से कोई सार्वभौमिक आदर्श खंड-आकार नहीं निकलता।
तुलना करते समय अन्य सभी चरण समान रखें। यदि निष्कर्षण, एम्बेडिंग मॉडल और प्रॉम्प्ट एक साथ बदलते हैं, तो बदले हुए उत्तर को शायद ही किसी एक कारण से जोड़ा जा सकता है। एक छोटा संग्रह ठीक यही अवलोकन आसान बनाता है।
री-इंडेक्सिंग और दोबारा इम्पोर्ट करना अलग-अलग हैं
Open WebUI री-इंडेक्सिंग की एक विशेष रूप से व्यावहारिक सीमा बताता है: यह पहले से निकाले गए पाठ के साथ काम करता है और मूल फ़ाइल को दोबारा नहीं खोलता। इसलिए कोई अलग निष्कर्षण विधि पुराने दस्तावेज़ों की सामग्री को अपने आप नहीं बदलती। वास्तव में नई प्रोसेसिंग के लिए प्रभावित फ़ाइलों को प्रलेखित प्रक्रिया के अनुसार दोबारा जोड़ना होगा।
यह अंतर समस्या-निवारण में मदद करता है। यदि निकाले गए पाठ से तालिका की कोई पंक्ति पहले से गायब है, तो अलग चंक आकार पहला उपाय नहीं है। यदि अपवाद मौजूद है लेकिन अलग से पुनर्प्राप्त होता है, तो यह किसी बाद के चरण से संबंधित है।
चारों परीक्षण-प्रश्नों का एक अच्छा उत्तर अपना आधार बताता है, प्रतिबंधों को बनाए रखता है और गायब फ़ोन नंबर को खुला छोड़ देता है। यह परीक्षण सामान्य RAG गुणवत्ता को नहीं मापता। यह शृंखला को समझने योग्य बनाता है: स्रोत को ग्रहण करें, संदर्भ बनाए रखें, सही अंश खोजें और उसके बाद ही उसके आधार पर उत्तर दें।
स्रोत और स्थिति
स्रोत 25 अक्टूबर 2026 की स्थिति के अनुसार। रिट्रीवल ऑगमेंटेड जनरेशन — चंकिंग और री-इंडेक्सिंग।
