#1-New Series Building Generative AI App With HuggingFace Open Source Models With Langchain

हेलो गाइस तो मैं आप सबको वेलकम करना चाहूंगा इस अमेजिंग सीरीज में जहां पर हम लोग देखेंगे हाउ टू बिल्ड जेनरेटिव एआई एप्लीकेशन यूजिंग हगिंग फेस ओपन सोर्स मॉडल्स अलोंग विद लैंग चन अब सबसे इंपॉर्टेंट चीज यह समझना है कि हगिंग फेस एक अमेजिंग प्लेटफॉर्म है जहां पे आपको वेरियस स्टेट ऑफ द आर्ट मॉडल्स मिलेंगे फॉर डिफरेंट यूज केसेस लेट्स से मशीन लर्निंग में डीप लर्निंग में नेचरल लैंग्वेज प्रोसेसिंग या जनरेट एआई एप्लीकेशन तो अ इस स्पेसिफिक सीरीज ऑफ वीडियो बहुत सारे बच्चों ने रिक्वेस्ट किया था तो इसलिए मैं यह वीडियो डाल रहा हूं आप सबके लिए अ चलिए इस वीडियो में हम लोग समझते हैं कैसे हम लोग स्टार्ट करने वाले हैं और सबसे इंपॉर्टेंट चीज आपको यह अनाउंसमेंट के ऊपर ध्यान देना है क्योंकि पहले जब हम हगिंग फेस यूज करते थे राइट इस अनाउंसमेंट से पहले तो हम लोग हगिंग फेस सेपरेटली इंस्टॉल करते थे लैंग चन अब हगिंग फेस और लैंग चन ने क्या किया पार्टनर किया है और एक न्यू पार्टनर पैकेज बनाया है जो इंटीग्रेटेड है ल में और अगर आपको लैंग चन नहीं पता लैंग चन के थ्रू हम अ सो बेसिकली लैंग चन एक फ्रेमवर्क है जिससे आप जेनरेटिव एआई एप्लीकेशन बना सकते हैं तो इस वीडियो में हम लोग देखेंगे इस पर्टिकुलर पैकेज के बारे में और थोड़ा मल्टीपल एग्जांपल्स देखेंगे कैसे इस पैकेज से जो है हगिंग फेस के वेरियस मॉडल्स एलएलए मॉडल्स को हम लोग कॉल कर सकते हैं ठीक है तो सारे तरीके हम लोग देखेंगे तो यहां पे मैं googleapis. com काफी बड़े-बड़े होते हैं राइट तो बहुत सारे लोगों के पास लैपटॉप और डेस्कटॉप में बहुत कम मेमोरी और कम हार्ड डिस्क होता है तो इसीलिए हम लोग googleapis. com हम लोग यूज़ करके बहुत सारे लाइब्रेरीज बहुत सारे मॉड्यूस को इंपोर्ट कर सकते हैं और उसके थ्रू हगिंग फेस के कोई भी एलएलए मॉडल्स के साथ कम्युनिकेट कर सकते हैं तो पहली बात हम लोग ये बेसिक लाइब्रेरीज इंस्टॉल करेंगे तो यहां पे हम मैं लिखा हूं पिप इंस्टॉल लंग चन अंड ड हगिंग फेस वही सेम लाइब्रेरी है ये अंडरस्कोर यहां पे लिखा हुआ है बट हम लोग इसको इंस्टॉल करेंगे ठीक है पिप इंस्टॉल लंग चन ड हगिंग फेस उसके अलावा क्योंकि अगर मैं ये डॉक्यूमेंटेशन में भी देखूं तो यहां पे उसने बोला है कि ठीक है यू हैव टू गो अहेड एंड इंस्टॉल पिप इंस्टॉल लंग चन हगिंग फेस ठीक है अब उसके अलावा हम लोग थोड़े और लाइब्रेरीज इंस्टॉल करेंगे जैसे हो गया हगिंग फेस हब ट्रांसफॉर्मर एक्सलरेट बिट्स एंड बाइट्स और लैंग चन ठीक है लैंग चन मैं इसलिए इंस्टॉल कर रहा हूं क्योंकि हम लोग थोड़े प्रोमट टेंपलेट्स बनाएंगे थोड़े एलएलएम चेनस बनाएंगे तो वो सारी चीजों में भी मैं बताऊंगा आपको कैसे करना है काम ठीक है तो चलिए पहली बात तो यह इंस्टॉलेशन स्टार्ट करते हैं अब दूसरा जो सबसे इंपॉर्टेंट चीज है इस स्पेसिफिक प्रोजेक्ट में वह है अपना सीक्रेट की बनाने का ठीक है तो यहां पे आप देख रहे हैं एनवायरमेंट सीक्रेट कीज हम लोगों को बनाना पड़ेगा अब एनवायरमेंट सीक्रेट की के लिए क्या जरूरत है देखिए गाइस हम लोग यहां पे लैंगर हगिंग फेस यूज़ कर रहे हैं ठीक है एट द एंड ऑफ़ द डे हमको हगिंग फेस के मॉडल्स और यहां पे अगर आप मॉडल्स देखेंगे प्रोबेबली ईच एंड एवरी मॉडल्स अवेलेबल है विद रिस्पेक्ट टू डिफरेंट टास्क इमेज टेक्स्ट टू टेक्स्ट चाहिए विजुअल क्वेश्चन आंसरिंग चाहिए डॉक्यूमेंट क्यू एनए चाहिए डेप्थ एस्टिमेशन चाहिए इमेज क्लासिफिकेशन चाहिए ऑब्जेक्ट डिटेक्शन चाहिए कोई भी लेट्स से कि मेरे को नेक्स्ट क्लासिफिकेशन करना है एनएलपी में तो इतने सारे मॉडल्स यहां पर है और बहुत सारे अमेजिंग ओपन सोर्स मॉडल्स भी यहां पे अवेलेबल है मिस्टल हो गया l 2 हो गया l 3 हो गया सब मतलब बेसिकली हगिंग फेस में ऑलमोस्ट हर एक लाइब्रेरीज हर एक मॉडल्स अवेलेबल है ठीक है ओन e का अगर मैं बात करूं जीपीटी 2 ठीक है अगर मैं जीपीटी 2 का बात करूं ये भी अवेलेबल है देखिए ओप a ने कम्युनिटी के लिए जीपीटी 2 भी दिया था राइट तो ये सारे मॉडल्स यहां पे अवेलेबल है तो इस वीडियो में हम लोग देखेंगे कैसे ये मॉडल्स को कॉल करना है अपने नए पैकेज से ठीक है तो जैसे ही इंस्टॉल हो रहा है ठीक है और कोई भी मॉडल्स को कॉल करना है मेरे को तो एक इंपॉर्टेंट चीज होता है उसको हम लोग बोलते हैं टोकन ठीक है तो पहली बात तो टोकन कैसे बनाना है एक्सेस टोकन तो यहां पे आप क्लिक करिएगा मैं क्या करता हूं कि मेरा फेस हाइड कर देता हूं सो दैट आप लोग देख पाए क्लियर ठीक है तो यहां पे मैं अ जाता हूं सेटिंग्स में ठीक है तो सेटिंग में जैसे जाते हैं तो यहां पे आपको ऑप्शन आता है एक्सेस टोकन आपको हगिंग फेस का अकाउंट चाहिए ही hug. com आप अपना नया टोकन बना सकते हैं व्हाट दिस टोकन इज फॉर आप टेस्ट डालिए इधर कुछ भी नाम डालिए टाइप रीड रखिए और जनरेटर टोकन करिए जैसे आप टोकन जनरेट करेंगे तो आपको एक टोकन आईडी बन जाएगा इस तरीके का ठीक है जैसे मैंने यहां कृश नाम पे बनाया है और यहां पे मैं टोकन आईडी देख पाऊंगा ठीक है मेरा टोकन मत यूज करिएगा क्योंकि ये सबके लिए फ्री है तो आप भी प्रोबेबली जाके यूज कर सकते हैं इस टोकन को मैं कॉपी करूंगा और इस टोकन को मेरे को यूज करना है अपने कोड में ठीक है अब googleapis. com करते हैं तो

google's ठीक है जैसे हम लोग अगर प्रोजेक्ट बना रहे हैं तो वहां पे एनवायरनमेंट वेरिएबल बनाते हैं सिमिलरली googleapis. com आपको अपना सीक्रेट की यहां पे डालने का ठीक है मैं नाम के बारे में बताऊंगा कौन-कौन सा नाम एचएफ अंड टोकन और हगिंग फेस एपीआई अंड टोकन ठीक है तो जैसे टोकन हम लोग लिखेंगे तो टोकन को हम लोग कॉल कैसे करेंगे ठीक है तो वो सबसे ज्यादा इंपॉर्टेंट चीज है और यह चीज आपको समझने की जरूर है तो क्योंकि हम लोग य google. in कर लेता बट यहां पे googleapis. com कैसे है तो मैं यहां पे लिखूंगा फ्रॉम google. ca अब ठीक है इंपोर्ट यूजर डाटा ठीक है तो जैसे मैं यहां लिख दूं यूजर डाटा तो ये यूजर डाटा क्या करने वाला है यह स्पेसिफिकली आपका अ जो कीज है जो भी कीज का नाम है वो सीक्रेट से उठाएगा ठीक है तो यहां पे हम लोग एक वेरिएबल बना देते हैं सीक्रेट की और यहां पे यूज़ कर देते हैं यूजर डटा डॉट गेट और मैं टोकन का नाम यहां पे डाल सकता हूं अब यहां पे हम लोग टोकन का नाम जो डालने वाले जैसे मैंने बताया था यहां दो टोकन बनाया हूं एएफ अंड टोकन और हगिंग फेस एपीआई टोकन दोनों का टोकन सेम ही है तो मैं एक एग्जांपल के तौर पे आपको यहां पे दिखा देता हूं एए टोकन ठीक है एए अ टोकन अब देखिएगा मैजिक ठीक है अब यह अपने आप उस पर्टिकुलर सीक्रेट की से उठा के हम लोगों को प्रिंट कर देगा ठीक है तो यहां पे देखिए ग्रां एक्सेस मांग रहा है एए अ टोकन का इस केस में तो हम लोग ग्रां एक्सेस दे देते हैं तो अपने आप उस सीक्रेट की को रीड करके यहां पे दिखा दे रहा है ठीक है तो यही की मैंने यहां पे बनाया था अगर आप देख पाएंगे तो यही सेम की यहां पे दिख रहा है ठीक है तो वही की हम लोग ने यहां पे यूज़ किया हुआ है अब यह की डेफिनेटली चाहिए क्योंकि कोई भी एलएलए मॉडल के साथ इन द फॉर्म ऑफ एपीआई या उसको लोकल में भी डाउनलोड करना है तो हमको यह की चाहिए होगा ठीक है तो चलिए देखते हैं और आगे बढ़ते हैं विद रिस्पेक्ट टू दिस अब इन हगिंग फेस अगर हम लोगों को मॉडल के साथ इंटरेक्ट करना है तो बहुत सारे अलग-अलग तरीके हैं मैं सबसे दो एफिशिएंट तरीका आपको बताने वाला हूं एक है बाय यूजिंग हगिंग फेस एंड पॉइंट ठीक है हाउ टू एक्सेस हगिंग फेस मॉडल्स विथ एपीआई इसका मतलब क्या जैसे देखिए ओपन एआई का एपीआई है अगर हमारे पास एपीआई की है ठीक है तो हम लोग डायरेक्टली ओपन एआई के कोई भी जीपीटी मॉडल के साथ इंटरेक्ट करके अपना एप्लीकेशन बना सकते हैं और ओपन एआई के केस में क्या होता है कि पैसे लगते हैं ठीक है बट हगिंग फेस में क्या होता है बहुत सारे ऐसे एलएलएम मॉडल्स हैं जिसके थ्रू हम लोग एपीआई के फॉर्म में हगिंग फेस एंड पॉइंट के थ्रू उसको इंटरेक्ट कर सकते हैं ठीक है मैं फिर से रिपीट कर रहा हूं हगिंग फेस में बहुत सारे मॉडल्स होते हैं हगिंग फेस हब में पूरा का बहुत सारे अलग-अलग अलग मॉडल्स होते हैं और उनको भी अगर एपीआई के फॉर्मेट में हम लोगों को प्रोबेबली एपीआई की से उनके साथ इंटरेक्ट करना है जहां पे इफ्रें सिंग उनके सर्वर में हो रहा है तो हम लोग हगिंग फेस एंड पॉइंट यूज कर सकते हैं अब ये दो सेंटेंस पढ़िए बहुत ही इंपॉर्टेंट है और यह मटेरियल तो मैं आपको डिस्क्रिप्शन में तो दे ही दूंगा दे आर टू वेज टू यूज दिस क्लास यू कैन स्पेसिफाई द मॉडल विद रेप आईडी पैरामीटर दिस एंड पॉइंट यूसेज द सर्वरलेस एपीआई ठीक है व्हिच इज पर्टिकुलर बेनिफिशियल टू पीपल यूजिंग प्रो अकाउंट और एंटरप्राइज हब ठीक है बोल रहा है कि जिसके पास प्रो अकाउंट और एंटरप्राइज हब है ये उनके लिए बहुत काम करेगा बट रेगुलर यूजर के लिए क्या क्योंकि मेरा भी य जो ये अ मेरा भी जो अ जो मेरा ये पूरा आईडी है यह भी नॉर्मल रेगुलर यूज़र है कोई मैंने प्रो अकाउंट नहीं लिया है तो स्टिल रेगुलर यूजर्स कैन ऑलरेडी हैव द एक्सेस टू फेयर अमाउंट ऑफ रिक्वेस्ट बाय कनेक्टिंग विद द एएफ टोकन इन द एनवायरमेंट वर दे आर एग्जीक्यूटिंग द कोड यह सबसे ज्यादा इंपॉर्टेंट चीज है ठीक है तो एज अ रेगुलर यूजर आप भी प्रोबेबली कोई भी मॉडल के साथ इंटरेक्ट कर सकते हैं अगर आपके पास एचएफ टोकन है ठीक है तो चलिए मैं बताता हूं हगिंग फेस एंड पॉइंट से कैसे हम कोई मॉडल के साथ इंटरेक्ट कर सकते हैं तो यहां पे मैं लिख दूंगा फ्रॉम लैंग चन ठीक है फ्रॉम लैंग चन जैसे मैंने बोला हम लोग यह यूज़ करने वाले हैं हगिंग फेस हमेशा याद रखिए गाइस बिफोर अगर मैं बात करूं बिफोर अलग तरीके से हम लोग यह इंपोर्ट करते थे ठीक है अलग तरीके से जो ये हगिंग फेस एंड पॉइंट था हम लोग डायरेक्टली हगिंग फेस से इंपोर्ट करते थे सिंस हम लोगों को यह नया लाइब्रेरी आया है तो हम लोग इस तरीके से इंपोर्ट करेंगे और यही सबसे इंपॉर्टेंट चीज है जो भी रीसेंट चीजें आ रहे हैं रिसेंट अपडेट्स आ रहे हैं हमको समझना काफी ज्यादा जरूरी है ठीक है तो ये हो गया हमारा पहला वाला टास्क ठीक है अब दूसरा वाला मैं क्या करूंगा मैं ये वाला मेरा सीक्रेट की बना लिया हूं मैंने ऑलरेडी सीक्रेट की मेरे पास है ठीक है अब इस सीक्रेट की को मैं यूज करने वाला हूं तो पहली बात हम लोग करेंगे इंपोर्ट ओ ठीक

है और ओ डॉट एनवायरनमेंट हगिंग फेस एपीआई टोकन ठीक है तो ये नाम होगा मेरा एपीआई टोकन का जो हगिंग फेस के लिए चाहिए होता है और वही वाला सीक्रेट की मैं यहां पे असाइन कर दिया हूं ठीक है तो ये आपका पूरा का पूरा हम लोग को एनवायरमेंट वेरिएबल इनिशियली सेट करना पड़ता है टू इंटरेक्ट विद एनी मॉडल्स इन हगिंग फेस ठीक है अब हम लोग बात करते हैं कौन से मॉडल के साथ हम लोग खेलें ठीक है तो मैंने यहां एक मॉडल सेलेक्ट किया है मिस्टल 7 बिलियन इंस्ट्रक्ट v प2 क्या हम इसको एपीआई के थ्रू इंटरेक्ट कर सकते हैं वो देखेंगे और इस पर्टिकुलर मॉडल को कैसे यूज़ कर सकते हैं व वो भी हम लोग देखेंगे ठीक है तो मैं इसको कॉपी कर देता हूं ठीक है और यहां पे अब देखिएगा सबसे बेस्ट चीज क्या है ना मैंने यहां पे अग्री एंड एक्सेस रिपोजिटरी प भी क्लिक नहीं किया है मैं डायरेक्टली इसको कॉपी करूंगा और एपीआई के थ्रू इंटरेक्ट करूंगा अगर समझ लीजिए मेरे को ये लोकल में डाउनलोड करना है ना तो मेरे को यह वाला एग्री एंड एक्सेप्ट रिपोजिटरी करना पड़ रहा था ठीक है तो यह एक ऐसा मॉडल है जो हम लोगों को टेक्स्ट जनरेशन में काफी ज्यादा मदद करेगा ठीक है तो चलिए हम लोग देखते हैं इस स्पेसिफिक मॉडल आईडी को कॉल करते हैं तो यहां पे मैं लिख रहा हूं मॉडल आईडी और मैं यहां पे यह भी दे सकता हूं रेपो यह मेरा रेपो आईडी होगा रेपो अंडर आईडी इज इक्वल टू वो स्पेसिफिक मॉडल जो मैंने कॉपी किया था ठीक है अब नेक्स्ट स्टेप जो होगा मैं यहां पे एलएलएम बना देता हूं और यही हगिंग फेस एंड पॉइंट रेपो आईडी को रेपो आईडी के साथ दे सकता हूं ठीक है अब एक चीज बहुत इंपॉर्टेंट चीज समझना है यह हगिंग फिस एंड पॉइंट में ना रेपो आईडी के अलावा बहुत सारे अलग-अलग पैरामीटर्स भी चाहिए होता है ठीक है अलग-अलग पैरामीटर्स मतलब हमारा मैक्सिमम लेंथ ऑफ टोकेंस कितना हो सकता है व सारा चीज तो उसके लिए हम लोग यूज़ करेंगे मॉडल अंड k ए आरजीएस और यहां पे हम लोग लाइन बाय लाइन अपने पूरे अलग-अलग पैरामीटर सेट करेंगे अब मॉडल अंडर केड आरजीएस क्या है एक कीवर्ड आर्गुमेंट है ठीक है जहां पे हम लोग एनी नंबर ऑफ की पेयर वैल्यूज डाल सकते हैं तो एक पैरामीटर होता है लेट्स से कि मैंने यहां पे लिख दिया लेंथ अ लेंथ मैक्सिमम लेंथ यहां पे मैं स्पेसिफिकली लूंगा 200 कैक्ट 200 टोकेंस ठीक है मैंने टेंपरेचर ऑलरेडी सेट कर दिया है 5 एक और सबसे ज्यादा इंपॉर्टेंट चीज जो है वो है हमारा टोकन ठीक है तो यहां पे मैं लिख देता हूं टोकन क्योंकि यही टोकन हम लोगों को सप्लाई करना पड़ेगा यहां पे और इस स्पेसिफिक टोकन को हम लोग बेसिकली सीक्रेट की के साथ एक्सेस कर पाएंगे ठीक है तो यहां मेरा हो गया सीक्रेट की तो ये पूरा का पूरा मेरा एलएलएम मॉडल हो गया ठीक है और यहां पे हम लोग प्रिंट कर देते हैं हमारा एलएलएम अब कौन सा एलएलएम मॉडल हम लोग बेसिकली यूज़ कर रहे हैं मिस्टल 7b इंस्ट्रक्ट वर्जन प2 अब सबसे बढ़िया बात ये क्या है कि यहां पे हम लोग अपने लोकल में नहीं डाउनलोड कर रहे हैं कोई भी मॉडल ये डायरेक्टली एंड पॉइंट से बेसिकली एक्सेस हो रहा है तो चलिए एग्जीक्यूट करते हैं तो देखिए कितना फास्ट एग्जीक्यूट होगा अब यहां पे कुछ एरर है इंस्टेड दे वर पास्ड इन ए द पार्ट ऑफ अ पैरामीटर्स टेंपरे शुड बी स्पेसिफाइड एक्सप्लीसिटली देखते हैं क्या एरर है यहां पे टेंपरेचर शुड बी स्पेसिफाइड एक्सप्लीसिटली तो यह पार्ट ऑफ इसका नहीं होगा तो मैं इसको निकाल देता हूं और यहां पे एज अ सेपरेट पैरामीटर मैं पास करूंगा फॉर टेंपरेचर ठीक है तो उसको सेपरेटली पास करने के लिए मैं यहां पे लिख देता हूं टेंपरेचर = 5 ठीक है तो ऐसे टाइप के एरर्स आते रहेंगे डरना नहीं है तो अब देखिए द टोकन हैज बीन सेव्ड मेरा यह पूरा हगिंग फेस आ गया एंड पॉइंट यूआरएल नन है बट यहां पे देखिए बाकी सारे टोकेंस के साथ मेरा सेट है ठीक है अब यह मेरा एलएलएम मॉडल जो है पॉइंट कर रहा है मिस्टल 7 बिलियन में अब इसको इवोक कैसे करते हैं तो मैं अगर लिखूं एलएल एड इक और यहां पे लिख दूं व्हाट इज मशीन लर्निंग तो देखिए कितना ब्यूटीफुल तरीके से आंसर आएगा और यहां पे मेरा एग्जीक्यूट हो रहा है पूरा का पूरा कोड और आपको यहां पे पूरा दिख जाएगा अ और आप कोई भी मॉडल के साथ ट्राई कर सकते तो यहां देखिए मशीन लर्निंग इज अ सबसेट ऑफ़ आर्टिल फ दैट प्रोवाइड सिस्टम द एबिलिटी ऑफ सब कुछ बढ़िया है कि नहीं बताइए यहां पे मैं कुछ भी नहीं किया मेरे लोकल में भी डाउनलोड किया और इतना फास्ट तरीके से बेसिकली मैं अपना कोड रन कर पा रहा हूं राइट सो हगिंग फेस एंड पॉइंट प्रोवाइड्स अ वेरी गुड फीचर टू इंटरेक्ट विद वेरियस मॉडल्स दैट आर अवेलेबल इन हगिंग फेस ठीक है तो यहां तक अगर आपको समझ में आ गया चलिए एक और एग्जांपल लेते हैं ठीक है मिस्टल ने एक नया मॉडल आया था जिसका नाम है मिल 7b इंस्ट्रक्ट 3 वर्जन ठीक है तो हम लोग इस मॉडल को ट्राई करते हैं इस बार देखते हैं नया वाले मॉडल का क्या हम एक्सेस कर पाएंगे कि नहीं ठीक है तो यहां पर मैं सेम चीज कॉपी पेस्ट करूंगा और इंस्टेड ऑफ डूइंग दिस राइट मैं यहां पे इसको कॉपी कर देता हूं ठीक है गुड इनफ तो यहां पे मैं इसको पेस्ट कर दिया अब लेट्स से यहां पर मैं सेम चीज कर देता हूं डॉट इवोक और यहां पर मेरा क्वेश्चन होगा व्हाट इज जेनरेटिव एआई ठीक है और ये मैंने एग्जीक्यूट कर दिया परफेक्ट तो यहां

पे देखिए बहुत ही सिंपल तरीके से लॉगइन सक्सेसफुल सब कुछ सक्सेसफुल हो रहा है बेसिकली इट इज गिविंग ऑल द सक्सेसफुल रिजल्ट्स और ये फाइनली मेरा आंसर आ गया जेनरेटिव एआई रेफर्स टू द टाइप ऑफ़ आर्टिफिशियल इंटेलिजेंस दैट कैन क्रिएट न्यू कंटेंट सच एज इमेजेस टेक्स्ट और दिस दैट और सारा इंफॉर्मेशन कंटेंट क्रिएशन डेटा ऑग्मेंटेशन इट्स अमेजिंग राइट तो इसके थ्रू क्या हो रहा है हमारा एक परफेक्ट चीज चल रहा है इधर और बहुत ही इजी तरीके से मैंने आपको बताया है कि विदाउट हैविंग एनी मच रिसोर्स और यह आपके लोकल लैपटॉप में भी आप डेफिनेटली कर सकते हैं क्योंकि आगे जब हम कोई एंड टू एंड प्रोजेक्ट बनाएंगे हम लोग स्पेसिफिकली इसको यूज करेंगे ठीक है अब देखते हैं देखिए यहां पर तो मैं डायरेक्टली आपको वे बताया हूं कि कैसे आप हगिंग फेस मॉडल को इंटरेक्ट करते हैं बेसिकली उसको हगिंग फेस एंड पॉइंट के एपीआई के थ्रू कैसे इंटरेक्ट कर सकते हैं अब जो नेक्स्ट वाला सबसे इंपॉर्टेंट चीज है ठीक है यहां पर जो मैं लिखने वाला हूं वह है हमारा सबसे इंपोर्टेंट चीज फ्रॉम ल चन आई एम गोइंग टू इंपोर्ट प्र टेंप्लेट कॉमा एलएलएम चेन ठीक है अब एक तरीका मैं यहां पर आपको इसलिए दिखा रहा हूं देखिएगा ठीक है अब यहां पर मैं करने की क्या कोशिश कर रहा हूं देखिए अभी हम लोग ने क्या किया एलएलएम मॉडल को इंटरेक्ट करने के लिए डायरेक्टली हम लोग ने एनवे मॉडल से इवोक किया बट ऐसे भी सिनेरियो होता है कि जहां पर हम लोग अपना खुद का प्रोमट बनाएंगे और उस प्रोमट के हिसाब से हमारा एलएलएम हमको आउटपुट देना चाहिए तो यहां पे एक एग्जांपल देखते हैं हम लोग यह देखिए पूरा सजेशन ही दे रहा है राइट दिस इ गुड रुकिए मैं आपको दिखाता हूं ठीक है तो यहां पर हम लोग क्या करेंगे प्रम टेंप्लेट एललम न मैंने यूज किया है और यहां पर हम लोग एक क्वेश्चन देंगे ठीक है मेरा क्वेश्चन रहेगा ठीक है हु न द क्रिकेट वर्ल्ड कप इन 2011 ठीक है तो यह मेरा क्वेश्चन होगा ठीक है क्वेरी है मेरा यह ठीक है अब मैं जाकर अपना टेंप्लेट डिफाइन करूंगा जो मेरा प्रोम टेंप्लेट है ठीक है प्रम टेंप्लेट को मैं मल्टीलाइन बना देता हूं ठीक है यहां पर मल्टीलाइन तो प्रम टेंपलेट विल स्टार्ट विद अ क्वेश्चन च विल बी दिस इनपुट क्वेश्चन ठीक है तो यह मेरा इनपुट क्वेश्चन हो गया फॉर दिस ओके एंड देन द नेक्स्ट वन विल बी आंसर लेट्स थिंक स्टेप बाय स्टेप ठीक है तो आंसर हम लोगों को बेसिकली मेरा मॉडल सोच के जवाब देगा ठीक है अब हम लोग क्या करेंगे इस प्रोमट टेंप्लेट से हम लोग अपना प्रोमट बनाएंगे तो यहां पे मैंने टेंप्लेट इक्वल टू टेंप्लेट दे दिया है जो यह मेरा टेंप्लेट है और इनपुट वेरिएबल जो इसमें है उसको हम लोग क्वेश्चन बोलेंगे ठीक है अब फाइनली हम लोग इन दोनों का एक चेन बनाएंगे अब एक बेहतरीन तरीका चेन बनाने का ऐसा वाला कोड नहीं यूज करेंगे ठीक है और मैं इसको यहां से निकाल देता हूं ठीक है तो जैसे मैंने अपना प्रोमट बनाया है ठीक है अब हम लोग क्या करेंगे यह एलएलएम चेन भी यूज़ करने की भी जरूरत नहीं है ठीक है हम लोग कंबाइन करेंगे स्पेसिफिक टेंप्लेट सॉरी स्पेसिफिक प्रोमट को और प्रोमट के साथ हम लोग कंबाइन कर देंगे इस चेन को ठीक है तो यह मेरा होगा फाइनल अंडरस्कोर चेन सॉरी इट शुड नॉट बी चेन इंस्टेड इट शुड बी माय एलएलएम मॉडल जो एलएलएम मॉडल हम लोग यहां पे यूज़ कर रहे हैं ठीक है अब इन दोनों को जैसे मैंने एक चेन बनाया है तो यह क्या करने वाला है यह प्रॉमेस्से हम लोग ने क्वेश्चन डाल दिया तो क्या होगा यहां पे हम लोग इसको प्रिंट कर देंगे और यह क्वेश्चन जो है यह बेसिकली इधर जाएगा और उसके हिसाब से हम लोगों का बाद में पूरा का पूरा प्रोमट बनके एलएलएम में जाएगा और एलएलएम फाइनली हमको आंसर करेगा और यही चीज बेसिकली लैंग चन का पावर होता है ठीक है तो चलिए एग्जीक्यूट करते हैं स्टेप बाय स्टेप इसको देखते हैं क्या हमारा आउटपुट आने वाला है क्वेश्चन है हु वन द क्रिकेट वर्ल्ड कप इन 2011 तो यहां पे आंसर जो दिख रहा है क्रिकेट वर्ल्ड कप इज़ अ मेजर इंटरनेशनल टूर्नामेंट इट इज़ ऑर्गेनाइज्ड बाय आईसी 2011 क्रिकेट वर्ल्ड कप वाज होस्टेड बाय इंडिया श्रीलंका एंड बांग्लादेश द फाइनल मैच वाज प्लेड ऑन दिस दिस एट वन केडे द टीम दैट रीच द फाइनल वाज श्रीलंका एंड इंडिया श्रीलंका वन द टॉस एंड इलेक्टेड टू बैट फर्स्ट दे स्कोर्ड 27 274 रंस एंड विनिंग द मैच इंडिया वन द क्रिकेट वर्ल्ड कप इन 2011 सो कितना अमेजिंग तरीके से विद द हेल्प ऑफ दिस पर्टिकुलर मिस्टल से बी इंस्ट्रक्ट आप देख पा रहे हैं कि हमारा पूरा का पूरा आउटपुट बन रहा है बहुत ही अच्छी तरीके से हम लोग एक प्रोम टेंप्लेट के साथ इस को काम किए राइट तो यहां पे आप आपको आईडिया

मिल रहा है क्या अमेजिंग लाइब्रेरी दोनों हगिंग फेस और लैंग चन ने बनाया है जहां पे हम लोग एक हगिंग फेस एंड पॉइंट से कोई भी मॉडल पे इंटरेक्ट कर सकते हैं ठीक है इतना ही नहीं आप लामा 3 के साथ करिए लामा 2 के साथ करिए सबके साथ कर सकते हैं ठीक है तो ये हो गया हम लोगों का एक तरीका अब दूसरा तरीका जो है जिसको हम लोग बोलते हैं हगिंग फेस पाइपलाइन अब हगिंग फेस पाइपलाइन बेसिकली पाइपलाइन यूज़ करता है देखिए गाइस कोई भी मॉडल में जाता हूं ना मैं अगर यह मॉडल में यूज दिस मॉडल बाय ट्रांसफॉर्मर करू तो यहां पर दो ऑप्शन आता है फ्रॉम ट्रांसफॉर्मर इंपोर्ट ऑटो टोकेनाइजर ऑटो मॉडल फॉर कैजुअल एलएम ठीक है ये जो है यह बेसिकली हम लोग पाइपलाइन के थ्रू इसको एग्जीक्यूट कर सकते हैं और इसमें ही लगता है आपको हगिंग फेस पाइपलाइन तो उसके बारे में अब हम लोग डिस्कशन करेंगे तो फर्स्ट ऑफ ल मैं क्या करूंगा यहां पे फ्रॉम लंग चन फ्रॉम लांग चन अंडरस्कोर हगिंग फेस इंपोर्ट हगिंग फेस पाइपलाइन ठीक है उसके अलावा जैसे मैंने यहां पर आपको बात किया राइट मैं इसको दोनों को इंपोर्ट कर दूंगा वह है ऑटो टोकेनाइजर और ऑटो मॉडल फॉर कैजुअल एलएम ठीक है इसको भी इंपोर्ट कर दूंगा अब देखिए ऑटो मॉडल फॉर कैजुअल एलएम यूज होगा कोई भी मॉडल को कॉल करने के लिए लोकली बेसिकली लोकल डाउनलोड करता है कैश में रख देता है और उस स्पेसिफिक मॉडल के लिए हर एक मॉडल हर एक एलएलएम मॉडल के लिए एक टोकेनाइजर भी होता है क्योंकि मैं सिर्फ एलएलए मॉडल के बारे में नहीं बोलूंगा जो भी एनएलपी रिलेटेड टा के मॉडल होते हैं टोकेनाइजर काफ़ी ज्यादा जरूरी है बिकॉज़ टोकेनाइजर इज़ रिक्वायर्ड फॉर कन्वर्टिंग दैट इनपुट टू अ वेक्टर्स व्हिच इज़ सूटेबल फॉर दैट पर्टिकुलर मॉडल दैट वी आर डाउनलोडिंग बाय यूजिंग ऑटो मॉडल फॉर कैजुअल एलएम आई होप आपको समझ में आ गया हो ऑटो मॉडल फॉर कैजुअल एलएमसी जो भी हम लोग मॉडल को कॉल करते हैं स्पेसिफिकली रिलेटेड टू टेक्स रिलेटेड यूज़ केसेस उसमें एक ऑटो टोकेनाइजर भी चाहिए क्योंकि यह रिस्पांसिबल होगा किस तरीके से टोकन को एंबेड करके इनको इनपुट देना है ठीक है तो ये दोनों काफी ज्यादा इंपॉर्टेंट है ठीक है अब मैं आपको एक एग्जांपल दिखाता हूं एक स्पेसिफिक मॉडल से और यहां पे हम लोग लेने वाले हैं मॉडल आईडी इ gpt2 ठीक है तो हम लोग बेसिकली लेंगे जीपीटी 2 अब इस जीपीटी 2 मॉडल कहां पे है चलिए दिखा देता हूं यही है मेरा ओपन एआई कम्युनिटी जीपीटी ट आप सर्च कर सकते हैं ये मॉडल है इज अ ट्रांसफॉर्मर मॉडल ट्रेड ऑन अ वेरी लार्ज कॉर्पस ऑफ़ इंगली डाटा इंसल सुपरविजन ये सारा चीज है ठीक है तो हम लोग यह मॉडल को कॉल करेंगे अब यह मॉडल क्या होगा लोकल डाउनलोड लोड होगा ठीक है इसलिए मैं यहां पे यह वाला मॉडल नहीं ले रहा हूं क्योंकि आप समझिए रिसोर्स कंस्ट्रेंट आएगा ठीक है यह मॉडल सफिशिएंट होगा जो भी हमारे google3 लामा 2 डालेंगे तो पॉसिबल नहीं होगा रिसोर्स पूरा ब्लॉक्ड हो जाएगा और उससे क्या होगा यह पूरा का पूरा google2 आपका क्रैश हो जाएगा अब यह मॉडल आईडी हम लोग ले लिए अब हम लोग बुलाते हैं अपना मॉडल और यहां पे लिखते हैं ऑटो मॉडल फॉर कैजुअल अ एलएम फ्रॉम प्री ट्रेंड विद मॉडल आईडी सिमिलरली टोकेनाइजर भी हम लोग कॉल कर रहे हैं ऑटो टोकेनाइजर फ्रॉम प्री ट्रेन मॉडल आईडी देखिए हर एक मॉडल आईडी के बेसिस में पहली बात तो जो मैं मॉडल कॉल कर रहे हूं उसके रिलेटेड एक टोकेनाइजर होगा ही होगा अब जैसे हम लोग इसको एग्जीक्यूट करते हैं अब ये करने वाला क्या है सारा का सारा मॉडल का वेट्स कॉन्फ़िगरेशन सब कुछ डाउनलोड करेगा देखिए यहां पे टाइम लग रहा है ना सारा चीज डाउनलोड करेगा अब एक बार यह डाउनलोड हो जाता है देन वी शुड स्टार्ट क्रिएट आवर पाइपलाइन ठीक है आप देखिए यहां पे और अगर मैं अब जाऊं अब मेरा रैम बढ़ जाएगा देखिएगा ये पूरा का पूरा जो मॉडल है ये डाउनलोड हो गया है और टोटल 14. 1 एब का है थोड़े-थोड़े मॉडल क्या होते हैं जीबीज के फाइल में होते हैं तो इसलिए मैं आपको यहां पे वो एग्जांपल नहीं दिखा रहा हूं क्योंकि यहां पे रिसोर्स कंस्ट्रेंट होगा अब आते हैं हम लोग पाइपलाइंस डिफाइन करने में पाइपलाइंस के लिए हम लोग यूज करेंगे पाइपलाइन इज इक्वल टू पाइपलाइन एक अमेजिंग चीज है जहां पर हम लोग फर्स्ट पैरामीटर जो होता है टास्क रिलेटेड देंगे जैसे पाइपलाइन में टास्क हो सकता है समरा इजेशन डॉक्यूमेंट क्यू एनए क्वेश्चन आंसरिंग टेस्ट जनरेशन तो पहली बात जो यह फिक्स कीवर्ड है आप डॉक्यूमेंटेशन में देख सकते हैं और जैसे हम लोग आगे जाएंगे अलग-अलग एग्जांपल भी देखेंगे तो यहां पर हम लोग फर्स्ट ऑफ ल यूज करेंगे टेक्स्ट जनरेशन उसके बाद हमारा यह होगा मॉडल ठीक है उसके बाद हमारा होगा टोकेनाइजर और टेंपरेचर इक्वल टू 5 ठीक है टोकेनाइजर हम लोग दे दिए अब इसके अलावा हम लोग अलग-अलग पैरामीटर्स भी सेट कर सकते हैं ठीक है अब टोकेनाइजर के बाद मैं यहां पर देने वाला हूं मैक्स अंडर न्यू अंडर टोकन ठीक है और यह मैं सेट कर दूंगा 200 कर देते हैं ठीक है और फाइनली यह मेरा होगा पूरा का पूरा पाइपलाइन ठीक है अब यही पाइपलाइन को हम लोग हगिंग फेस पाइपलाइन के थ्रू कॉल कर सकते हैं ठीक है तो फाइनली यहां पर देखिए मैं लिख देता हूं हगिंग फेस पाइपलाइन विद रेस्पेक्ट टू दिस पर्टिकुलर पाइप और यह मेरा होगा एलएलएम मॉडल जो हम लोग कॉल कर रहे हैं तो जैसे मैंने एग्जीक्यूट कर दिया

यहां पाइपलाइन इज नॉट डिफाइंड द रीजन व्हाई आई एम गेटिंग दिस एरर क्योंकि हम लोगों को पाइपलाइन भी इंपोर्ट करना है और यहां पर हम लोग इसको इंपोर्ट कर देंगे ठीक है तो वही सेम ट्रांसफॉर्मर के अंदर यह पाइपलाइन भी होता है तो चलिए इसको एग्जीक्यूट करते हैं जल्दी से अ टाइम लग रहा है और देखिए यहां पर रम बढ़ रहा है धीरे-धीरे क्योंकि इतना सारा बड़ा मॉडल हम लोग ने यूज किया हुआ है ठीक है तो ये तीनों लाइब्रेरीज हम लोग ने इंपोर्ट कर दिया अब जाके एग्जीक्यूट करते हैं तो देखिएगा बहुत ही आराम से चल जाएगा यहां पे एक ऐसा एरर है जहां पर लिखा हुआ है हगिंग फेस पाइपलाइन अच्छा हम लोग को यहां पे एक पैरामीटर देना होता है हमेशा याद रखिए एक पैरामीटर जो होगा वह होगा मेरा पाइपलाइन पैरामीटर क्योंकि अलग-अलग आर्गुमेंट भी है विद रिस्पेक्ट टू दिस ठीक है तो यह मेरा हो गया हगिंग फेस अब मैं क्या करूंगा यह हगिंग फेस मॉडल को बेसिकली इवोक कर दूंगा और यहां लिख दूंगा व्हाट इज मशीन लर्निंग ठीक है व्हाट इज मशीन अनि परफेक्ट तो आप यहां पर देख सकते हैं मैं जाके इसको एग्जीक्यूट करता हूं और फाइनली हम लोगों को ओके अ द फॉलोइंग मॉडल कार नॉट यूज्ड बाय द मॉडल मैक्स न्यू टोकेंस ओके मैक्स न्यू टोकेंस नहीं यूज हो रहा है बोल रहा है देखते हैं कहां पे हम लोग ने मैक्स न्यू टोकन यूज किया है अच्छा यह रहा पूरा का पूरा मैक्स न्यू टोकन नहीं होता है ये टोकन होता है तो चलिए जाके एग्जीक्यूट करते हैं अभी और जैसे मैंने बताया था इसको हम लोग केडल ए आ जीएस में भी डाल सकते हैं और उसके थ्रू हम लोग बेसिकली इसको डिस्प्ले करेंगे ठीक है फाइनली सेटिंग पैड टोकन टू दिस फॉर ओपन एंड जनरेशन एंड फाइनली यू विल बी एबल टू सी दैट वी विल बी गेटिंग द आंसर ठीक है और थोड़ा टाइम लग रहा है क्योंकि लोकल में चल रहा है और रम देखिए बढ़ते जा रहा है जैसे-जैसे हाई होता है तो यहां पे देखिए व्हाट इज मशीन लर्निंग आई थिंक दैट पार्ट ऑफ इट जस्ट टू मेक श्यर दैट गेट टू द पॉइंट वाउ इट्स गोइंग टू सॉल्व द प्रॉब्लम दिस दिस दिस सारा इंफॉर्मेशन आपको यहां पे मिल रहा है ठीक है आप एक और काम यह कर सकते हैं देखिए गाइस अलग-अलग पैरामीटर्स भी यूज कर सकते हैं ठीक है एक और तरीका मैं आपको दिखाता हूं कैसे हम लोग जीपीयू के मदद से इसको स्पेसिफिकली कॉल भी कर सकते हैं तो देखिए क्या यहां जीपीयू एलएलएम लिखा हू मैं हगिंग फेस पाइपलाइन अगेन फ्रॉम मॉडल आईडी ठीक है मैंने मॉडल आईडी यूज किया हुआ है तो यहां पे आप देखिए सेम चीज हम लोग ने बेसिकली किया है एक और तरीका है यह बेसिकली यूज करने का अ यहां पे हम लोग ने दो मॉडल दैट इज ऑटो टोकना इजर और ऑटो मॉडल फॉर कैजुअल एलएम यूज किया था एक और तरीका मैं आपको दिखाऊंगा जहां पर हगिंग फेस के पाइपलाइन के थ्रू फ्रॉम मॉडल आईडी यूज करके आप मॉडल का आईडी का नाम दे दीजिए टास्क क्या देना है वह दे दीजिए डिवाइस भी हम सेट कर सकते हैं डिवाइस इल ट 0 जब हम लिखते हैं दैट बेसिक लिमिट इज गोइंग टू यूज द जीपीयू दैट आई हैव इफ इट इज -1 मतलब वो सीपीयू को आ गया उसके बाद जो भी पैरामीटर्स है पाइपलाइन के अंडर केडल आरजीएस में लिख सकते हैं यहां पर टेंपरेचर का वैल्यू भी डाल सकता हूं और जैसे हम लोग ये एग्जीक्यूट करते हैं ठीक है हम लोग इसको देखते हैं गट डिवाइस रो डिवाइस इज रिक्वायर्ड टू बी रिटर्न इन -1 0 तो गाइज जो एरर हम लोगों को आ रहा है द रीज़न इज वेरी सिंपल अ मैंने बाद में जाके देखा अ यहां पे रन टाइम में ना मैंने कोई जीपीयू सेलेक्ट नहीं किया था तो इसीलिए वह रो ले ही नहीं रहा है इसलिए हम लोग को बाय डिफॉल्ट -1 यूज़ करना है अगर आप जीपी यूज़ कर रहे हैं तो डेफिनेटली इसको रो य डालिए ठीक है तो जीपी एलएलएम को हम लोग फर्द एक टेंप्लेट के साथ लेके चेन के साथ बनाते हम लोग बेसिकली इसको एग्जीक्यूट कर सकते हैं तो सेम चीज हम लोग करेंगे जैसे हम लोग ने हगिंग फेस एंड पॉइंट में किया था और इसको हम लोग चेन बना देते हैं प्रोमट डीएलयू अ जो यह पर्टिकुलर एलएलएम है और फाइनली हम लोग इसको इवोक करके अपना क्वेश्चन लिख देते हैं व्हाट इज आर्टिफिशियल इंटेलिजेंस तो आई होप आपको यह वीडियो अच्छा लगा हो फाइनली इसका आंसर आ जाएगा आपके पास बट जैसे हम लोग आगे जाएंगे बहुत सारे अमेजिंग थिंग्स देखेंगे ठीक है लेट्स थिंग स्टेप बाय स्टेप इफ यू आस्क यूर एब्सलूट कन्वी पीपल हैव दिस अमेजिंग एबिलिटी टू इमेजिन देम सेल्व सो व्हाट इज आर्टिफिशियल इंटेलिजेंस के बारे में ठीक है तो सारा का सारा कोड मैं डिस्क्रिप्शन में दे दूंगा दिस वाज इट प्रैक्टिस करिएगा गाइ काफी ज्यादा इंपॉर्टेंट है एंड दिस विल बी अमेजिंग सो यस आई विल सी यू ऑल इन द नेक्स्ट वीडियो कीप ऑन रॉकिंग कीप ऑन सर्विंग एंड या दिस वाज इट फॉर माय साइड थैंक यू