S20L02 – लॉजिस्टिक प्रतिगमन पृष्ठभूमि

html
लॉजिस्टिक प्रतिगमन को समझना: एक व्यापक मार्गदर्शिका

सामग्री सूची

  लॉजिस्टिक प्रतिगमन क्या है?
  सिग्मॉइड फंक्शन: एस-कर्व
  लॉजिस्टिक प्रतिगमन में संभावना
  अधिकतम संभावना अनुमान (MLE)
  लॉजिस्टिक मॉडलों की तुलना: सबसे अच्छी कर्व का चयन
  वन-वर्सेस-ऑल रणनीति
  पायथन में लॉजिस्टिक प्रतिगमन को लागू करना
  लॉजिस्टिक प्रतिगमन के लाभ
  सीमाएँ
  निष्कर्ष


लॉजिस्टिक प्रतिगमन क्या है?
मूल रूप में, लॉजिस्टिक प्रतिगमन एक सांख्यिकीय विधि है जिसका उपयोग द्विआधारी वर्गीकरण समस्याओं के लिए किया जाता है। रैखिक प्रतिगमन के विपरीत, जो सतत परिणामों की भविष्यवाणी करता है, लॉजिस्टिक प्रतिगमन श्रेणीबद्ध परिणामों की भविष्यवाणी करता है, जो आमतौर पर द्विआधारी (0 या 1, हाँ या नहीं, सत्य या असत्य) होते हैं।

मुख्य घटक:

  निर्भर चर: द्विआधारी परिणाम (उदाहरण के लिए, स्पैम या नहीं स्पैम)।
  स्वतंत्र चर: पूर्वानुमानकों या विशेषताओं का उपयोग परिणाम की भविष्यवाणी करने के लिए।


सिग्मॉइड फंक्शन: एस-कर्व
लॉजिस्टिक प्रतिगमन की एक प्रमुख विशेषताओं में से एक इसका सिग्मॉइड फंक्शन है, जिसे एस-कर्व के नाम से भी जाना जाता है। यह गणितीय फंक्शन किसी भी वास्तविक मान वाले संख्या को 0 और 1 के बीच के मान में बदलता है, जिससे यह संभावनाओं की भविष्यवाणी के लिए आदर्श बनता है।


आकृति: एस-आकार की सिग्मॉइड कर्व

सिग्मॉइड फंक्शन क्यों?

  संभावना की व्याख्या: आउटपुट को किसी विशेष वर्ग में होने की संभावना के रूप में व्याख्या किया जा सकता है।
  गैर-रेखीयता: गैर-रेखीयता को पेश करता है, जिससे मॉडल वेरिएबल्स के बीच जटिल संबंधों को कैप्चर कर सकता है।


लॉजिस्टिक प्रतिगमन में संभावना
लॉजिस्टिक प्रतिगमन यह अनुमान लगाता है कि कोई दिया गया इनपुट बिंदु किसी विशेष वर्ग से संबंधित होने की कितनी संभावना है। द्विआधारी वर्गीकरण के लिए:


  कक्षा 1 की संभावना (सकारात्मक वर्ग): \( P(Y=1|X) = \frac{1}{1 + e^{-(\beta_0 + \beta_1X_1 + ... + \beta_nX_n)}} \)
  कक्षा 0 की संभावना (नकारात्मक वर्ग): \( P(Y=0|X) = 1 - P(Y=1|X) \)


यहां, \( \beta_0, \beta_1, ..., \beta_n \) मॉडल द्वारा प्रशिक्षण के दौरान सीखे गए गुणांक हैं।

अधिकतम संभावना अनुमान (MLE)
सबसे उपयुक्त मॉडल निर्धारित करने के लिए, लॉजिस्टिक प्रतिगमन अधिकतम संभावना अनुमान (MLE) का उपयोग करता है। MLE पारामीटर (\( \beta \) गुणांक) का अनुमान लगाता है, इस संभावना को अधिकतम करके कि देखे गए डेटा ने मॉडल के तहत होने की संभावना है।

R² का उपयोग क्यों नहीं करें?
रैखिक प्रतिगमन में, R-सquared मान मॉडल द्वारा समझाए गए विचलन के अनुपात को नापता है। हालांकि, वर्गीकरण समस्याओं में, विशेष रूप से द्विआधारी परिणामों के साथ, R-squared का उपयोग अप्रभावी होता है। इसके बजाय, लॉजिस्टिक प्रतिगमन मॉडल के प्रदर्शन का आकलन करने के लिए संभावना-आधारित उपायों पर ध्यान केंद्रित करता है।

लॉजिस्टिक मॉडलों की तुलना: सबसे अच्छी कर्व का चयन
जब कई एस-कर्व (मॉडल) संभव होते हैं, तो लॉजिस्टिक प्रतिगमन सबसे उच्च संभावना वाली को चुनता है। इस चयन प्रक्रिया का कार्यान्वयन इस प्रकार होता है:


  संभावनाओं की गणना करें: प्रत्येक डेटा बिंदु के लिए, सिग्मॉइड फंक्शन का उपयोग करके कक्षा 1 से संबंधित होने की संभावना की गणना करें।
  संभावना की गणना करें: सभी डेटा बिंदुओं में संभावनाओं (कक्षा 1 के लिए) और उनके पूरक (कक्षा 0 के लिए) को गुणा करके समग्र संभावना प्राप्त करें।
  संभावना को अधिकतम करें: वे मॉडल पैरामीटर जो इस संभावना को अधिकतम करते हैं, उन्हें इष्टतम मॉडल के रूप में चुना जाता है।


उदाहरण प्रस्तुति
कल्पना करें एक डेटासेट जिसमें दो वर्ग हैं: कार (कक्षा 1) और बाइक (कक्षा 0)। प्रत्येक डेटा बिंदु के लिए:

  कार की संभावना: इनपुट विशेषताओं के आधार पर सिग्मॉइड फंक्शन का उपयोग करके गणना की जाती है।
  बाइक की संभावना: \( 1 - \) कार की संभावना।

विभिन्न एस-कर्वों की संभावनाओं की तुलना करके, लॉजिस्टिक प्रतिगमन उस कर्व की पहचान करता है जो डेटा के सबसे उपयुक्त फिट बैठता है, जिससे इष्टतम वर्गीकरण प्रदर्शन सुनिश्चित होता है।

वन-वर्सेस-ऑल रणनीति
ऐसी परिस्थितियों में जहां दो से अधिक वर्ग होते हैं, लॉजिस्टिक प्रतिगमन को वन-वर्सेस-ऑल (OVA) दृष्टिकोण का उपयोग करके विस्तारित किया जा सकता है। यह रणनीति शामिल होती है:


  कई मॉडलों का प्रशिक्षण: प्रत्येक वर्ग के लिए, सभी अन्य वर्गों से उस वर्ग को अलग करने वाला एक अलग लॉजिस्टिक प्रतिगमन मॉडल प्रशिक्षित करें।
  पूर्वानुमान: एक नए डेटा बिंदु के लिए, सभी मॉडलों में संभावना की गणना करें और इसे सबसे उच्च संभावना वाले वर्ग को सौंपें।


पायथन में लॉजिस्टिक प्रतिगमन को लागू करना
हालांकि गणितीय मूलभूत सिद्धांतों को समझना महत्वपूर्ण है, व्यावहारिक कार्यान्वयन उतना ही महत्वपूर्ण है। पायथन की scikit-learn लाइब्रेरी सीधी-साधी फंक्शनों के साथ लॉजिस्टिक प्रतिगमन मॉडलिंग को सरल बनाती है।





		
		
			
			
Java
			
			from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_report

# Sample Data
X = [[2.5], [3.6], [1.8], [3.3], [2.7], [3.0], [2.2], [3.8], [2.9], [3.1]]
y = [0, 1, 0, 1, 0, 1, 0, 1, 0, 1]

# Splitting the Dataset
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# Creating the Model
model = LogisticRegression()
model.fit(X_train, y_train)

# Making Predictions
predictions = model.predict(X_test)

# Evaluating the Model
print(classification_report(y_test, predictions))
			
				
					
				
					1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
				
						from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_report
 
# Sample Data
X = [[2.5], [3.6], [1.8], [3.3], [2.7], [3.0], [2.2], [3.8], [2.9], [3.1]]
y = [0, 1, 0, 1, 0, 1, 0, 1, 0, 1]
 
# Splitting the Dataset
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
 
# Creating the Model
model = LogisticRegression()
model.fit(X_train, y_train)
 
# Making Predictions
predictions = model.predict(X_test)
 
# Evaluating the Model
print(classification_report(y_test, predictions))
					
				
			
		



आउटपुट:




		
		
			
			
Java
			
			              precision    recall  f1-score   support

           0       1.00      1.00      1.00         1
           1       1.00      1.00      1.00         1

    accuracy                           1.00         2
   macro avg       1.00      1.00      1.00         2
weighted avg       1.00      1.00      1.00         2
			
				
					
				
					1
2
3
4
5
6
7
8
				
						              precision    recall  f1-score   support
 
           0       1.00      1.00      1.00         1
           1       1.00      1.00      1.00         1
 
    accuracy                           1.00         2
   macro avg       1.00      1.00      1.00         2
weighted avg       1.00      1.00      1.00         2
					
				
			
		



लॉजिस्टिक प्रतिगमन के लाभ

  व्याख्यात्मकता: मॉडल के गुणांक को समझा जा सकता है ताकि विशेषताओं के महत्व को समझा जा सके।
  प्रभावशीलता: अधिक जटिल मॉडलों की तुलना में कम कंप्यूटेशनल रूप से तीव्र।
  संभाव्य आउटपुट: संभावनाएँ प्रदान करता है, जिससे अधिक सूक्ष्म पूर्वानुमान संभव होते हैं।


सीमाएँ

  रेखीय निर्णय सीमा: स्वतंत्र चर और निर्भर चर के लॉग-ऑड्स के बीच रैखिक संबंध की मान्यता करता है।
  बहिर्मुख्य अपवादों के प्रति संवेदनशीलता: अपवाद मॉडल को अनुचित रूप से प्रभावित कर सकते हैं।


निष्कर्ष
लॉजिस्टिक प्रतिगमन वर्गीकरण कार्यों के लिए मशीन लर्निंग में एक आधारभूत तकनीक बनी हुई है। इसकी सरलता, प्रभावशीलता, और व्याख्यात्मकता का संयोजन इसे द्विआधारी वर्गीकरण समस्याओं के लिए एक उत्कृष्ट प्रारंभिक बिंदु बनाता है। अंतर्निहित सिद्धांतों—जैसे सिग्मॉइड फंक्शन, अधिकतम संभावना अनुमान, और संभावना-आधारित मॉडल चयन—को समझकर, आप अपनी डेटा-आधारित प्रयासों में लॉजिस्टिक प्रतिगमन की पूरी क्षमता का उपयोग कर सकते हैं।

जब आप गहराई में जाएं, तो नियमितीकरण, बहुवेरिये लॉजिस्टिक प्रतिगमन, और पूर्वानुमानात्मक प्रदर्शन को बढ़ाने के लिए लॉजिस्टिक प्रतिगमन को अन्य मशीन लर्निंग फ्रेमवर्क के साथ एकीकृत करने जैसे उन्नत विषयों का पता लगाने पर विचार करें।



लॉजिस्टिक प्रतिगमन और अन्य मशीन लर्निंग तकनीकों पर और अंतर्दृष्टि और ट्यूटोरियल के लिए, हमारे ब्लॉग पर बने रहें। खुश मॉडलिंग!