A/B टेस्ट और एक्सपेरिमेंट अनालिसिस

मुझे लैंडिंग पेज के लिए A/B टेस्ट करना है, इन सब काम्स को कर दो:

बैकग्राउंड इनफॉर्मेशन:
- वर्तमान लैंडिंग पेज का कन्वर्जन रेट लगभग 3.2%
- अपेक्षित न्यूनतम सुधार: रिलेटिव सुधार 10% (यानी 3.2% से 3.52% तक)
- दैनिक औसत विजिटर्स लगभग 5000
- सिग्निफिकेंस लेवल α = 0.05, स्टेटिस्टिकल पॉवर 1-β = 0.8

कृपया:
1. हर ग्रुप को न्यूनतम कितने सैंपल साइज़ की जरूरत है कैलकुलेट करो
2. दैनिक ट्रैफिक के आधार पर टेस्ट कितने दिन चलाना चाहिए एस्टीमेट करो
3. फ्लो स्ट्रेटेजी दे दो (50/50 या कोई और रेश्यो बेहतर है)
4. टेस्ट के दौरान पर ध्यान रखने वाली बातें निकाल दो (छुट्टियां, सेल्स आदि जो डेटा को गड़बड़ा सकें)
5. एक पूरा एक्सपेरिमेंट डिज़ाइन डॉक्यूमेंट बना दो

मेरा A/B टेस्ट रन हो गया है, डेटा ~/data/ab_test_results.csv में है, फॉर्मेट कुछ ऐसा है:
- user_id: यूजर आईडी
- group: A या B (A कंट्रोल ग्रुप है, B एक्सपेरिमेंट ग्रुप है)
- converted: 0 या 1 (कन्वर्ट हुआ या नहीं)
- revenue: कितना पैसा आया (0 मतलब कोई भी नहीं)
- timestamp: जब यूजर एक्सपेरिमेंट में आया

मुझे मदद दो:
1. दोनों ग्रुप का कन्वर्जन रेट और प्रति-यूजर कमाई निकालो
2. चाय-स्क्वेयर टेस्ट (कन्वर्जन के लिए) और t-टेस्ट (कमाई के लिए) करो, p वैल्यू और कॉन्फिडेंस इंटरवल दे
3. देखो कि सैंपल साइज बराबर है या नहीं, कोई डेटा क्वालिटी की समस्या है?
4. दोनों ग्रुप का कन्वर्जन और कमाई का ग्राफ बना
5. आम बोल में बता: B प्लान को लाइव करना चाहिए या नहीं?

इस A/B टेस्ट के नतीजों को मेरे लिए आम भाषा में बता दो, मुझे बॉस को रिपोर्ट करनी है:

- कंट्रोल ग्रुप A: 10000 लोग, 320 कन्वर्ट हुए, कन्वर्जन रेट 3.20%
- एक्सपेरिमेंट ग्रुप B: 10000 लोग, 345 कन्वर्ट हुए, कन्वर्जन रेट 3.45%
- p वैल्यू = 0.03
- रिलेटिव बढ़ोतरी = 7.8%
- 95% कॉन्फिडेंस इंटरवल: [0.8%, 14.9%]

सवाल:
1. क्या यह नतीजा स्टैटिस्टिक्ली अर्थपूर्ण है? इसका मतलब क्या है?
2. 7.8% की बढ़ोतरी बिज़नेस के लिए फायदेमंद है?
3. कॉन्फिडेंस इंटरवल इतना चौड़ा क्यों है? इसका क्या मतलब है?
4. सब कुछ देखते हुए, मुझे B प्लान लॉन्च करना चाहिए या नहीं? क्यों?