इस लेख में
JSON Lines क्या है?
JSON Lines (जिसे JSONL या Newline-Delimited JSON, NDJSON भी कहते हैं) एक टेक्स्ट प्रारूप है जहाँ हर पंक्ति एक मान्य JSON ऑब्जेक्ट होती है। सामान्य JSON के विपरीत, जो हर चीज़ को एक ऐरे में लपेटता है, JSONL हर रिकॉर्ड को एक पंक्ति पर बिना किसी घेरने वाले ब्रैकेट के रखता है। यह इसे स्ट्रीमिंग, जोड़ने और बड़े डेटासेट को पंक्ति-दर-पंक्ति संसाधित करने के लिए आदर्श बनाता है।
एक सामान्य JSONL फ़ाइल इस तरह दिखती है: हर पंक्ति में अपनी की और मानों के साथ एक पूर्ण JSON ऑब्जेक्ट होता है। पंक्तियों के बीच कोई कॉमा नहीं होता और कोई घेरने वाला ऐरे नहीं होता। यही सरलता इस प्रारूप को डेटा पाइपलाइनों, लॉग फ़ाइलों और मशीन लर्निंग डेटासेट के लिए शक्तिशाली बनाती है।
JSONL क्यों मायने रखता है
आधुनिक डेटा इंजीनियरिंग और क्लाउड प्लेटफ़ॉर्म में कई महत्वपूर्ण उपयोग मामलों के लिए JSONL पसंदीदा प्रारूप बन गया है।
- स्ट्रीमिंग प्रोसेसिंग -- चूँकि हर पंक्ति स्वतंत्र होती है, आप पूरे डेटासेट को मेमोरी में लोड किए बिना फ़ाइलों को पंक्ति-दर-पंक्ति संसाधित कर सकते हैं, जो मल्टी-गीगाबाइट फ़ाइलों के लिए बेहद ज़रूरी है
- BigQuery और क्लाउड इंपोर्ट -- Google BigQuery, Amazon Athena और अन्य क्लाउड डेटा वेयरहाउस डेटा लोडिंग के लिए JSONL का मूल रूप से समर्थन करते हैं, जिससे यह क्लाउड डेटा इंपोर्ट के लिए मानक प्रारूप बन जाता है
- मशीन लर्निंग डेटासेट -- Hugging Face, OpenAI फ़ाइन-ट्यूनिंग और BERT प्रशिक्षण सहित कई ML फ़्रेमवर्क प्रति पंक्ति एक उदाहरण के साथ JSONL प्रारूप में डेटा की अपेक्षा करते हैं
- लॉग फ़ाइलें और इवेंट स्ट्रीम -- एप्लिकेशन लॉग अक्सर JSONL का उपयोग करते हैं क्योंकि मौजूदा सामग्री को बदले बिना या ऐरे सिंटैक्स बनाए रखे बिना नए इवेंट किसी फ़ाइल में जोड़े जा सकते हैं
निःशुल्क आज़माएँ — कोई साइनअप आवश्यक नहीं
CSV को JSONL में बदलें →CSV को JSONL में बदलना
CSV को JSONL में बदलना आपकी CSV फ़ाइल की हर पंक्ति को एक JSON ऑब्जेक्ट में मैप करता है जहाँ कॉलम हेडर की बन जाते हैं।
- हेडर की के रूप में -- आपकी CSV फ़ाइल की पहली पंक्ति हर JSON ऑब्जेक्ट के लिए प्रॉपर्टी नाम प्रदान करती है, इसलिए कॉलम हेडर साफ़ और सुसंगत होने चाहिए
- डिलीमीटर पहचान -- कन्वर्टर कॉमा, सेमीकोलन, टैब और पाइप डिलीमीटर को संभालता है, प्रारूप का स्वतः पता लगाता है या आपको इसे स्पष्ट रूप से निर्दिष्ट करने देता है
- प्रकार अनुमान -- संख्यात्मक मान स्ट्रिंग्स के बजाय JSON संख्याओं में बदल दिए जाते हैं, और आपकी पसंद के अनुसार खाली सेल्स को null के रूप में आउटपुट किया जा सकता है या पूरी तरह छोड़ा जा सकता है
अक्सर पूछे जाने वाले सवाल
JSONL और सामान्य JSON में क्या अंतर है?
सामान्य JSON सभी रिकॉर्ड को वर्गाकार ब्रैकेट के साथ एक ऐरे में लपेटता है और उन्हें कॉमा से अलग करता है। JSONL हर JSON ऑब्जेक्ट को एक पंक्ति पर बिना किसी ऐरे रैपर और रिकॉर्ड के बीच बिना कॉमा के रखता है। इसका मतलब है कि आप मौजूदा सामग्री को बदले बिना किसी JSONL फ़ाइल में जोड़ सकते हैं, इसे बिना पूर्ण पार्सर के पंक्ति-दर-पंक्ति संसाधित कर सकते हैं, और पूरी फ़ाइल को बफ़र किए बिना इसे स्ट्रीम कर सकते हैं।
मुझे CSV के बजाय JSONL का उपयोग कब करना चाहिए?
JSONL का उपयोग तब करें जब आपके डेटा में नेस्टेड संरचनाएँ, असंगत कॉलम हों, या इसे API और क्लाउड सेवाओं द्वारा उपयोग किया जाना हो। साधारण सारणीबद्ध डेटा के लिए CSV बेहतर है जो स्प्रेडशीट्स में खोला जाएगा। JSONL डेटा प्रकारों (संख्याएँ, बूलियन, null) को संरक्षित रखता है जबकि CSV हर चीज़ को टेक्स्ट के रूप में मानता है। JSONL कॉमा और न्यूलाइन वाले मानों को भी बिना एस्केपिंग समस्याओं के संभालता है।
मुझे कौन-सा फ़ाइल एक्सटेंशन उपयोग करना चाहिए?
सबसे आम एक्सटेंशन .jsonl और .ndjson हैं। कुछ टूल प्रति पंक्ति एक ऑब्जेक्ट के साथ .json भी स्वीकार करते हैं। स्पष्टता के लिए .jsonl का उपयोग करें क्योंकि यह फ़ाइल को देखने वाले किसी भी व्यक्ति को तुरंत बता देता है कि यह मानक JSON के बजाय न्यूलाइन-डिलीमिटेड है। BigQuery और अधिकांश क्लाउड टूल तीनों एक्सटेंशन स्वीकार करते हैं।
क्या JSONL फ़ाइलों को स्ट्रीम किया जा सकता है?
हाँ, यह JSONL के प्राथमिक लाभों में से एक है। चूँकि हर पंक्ति स्वतंत्र और स्वयं-निहित होती है, आप किसी भी प्रोग्रामिंग भाषा में साधारण readline तर्क का उपयोग करके एक बार में एक पंक्ति पढ़ और संसाधित कर सकते हैं। यह JSONL को उन डेटासेट को संसाधित करने के लिए आदर्श बनाता है जो मेमोरी में फ़िट होने के लिए बहुत बड़े हैं, सामान्य JSON के विपरीत जिसे पूर्ण ऐरे संरचना को पार्स करने की ज़रूरत होती है।