Regresia neliniară în mineritul datelor

Când funcția modelului nu este liniară în parametri, suma pătratelor trebuie redusă la minimum printr-o procedură iterativă. Acest lucru introduce multe complicații care sunt rezumate în Diferențele între cele mai mici pătrate liniare și neliniare

Calcule de putere și dimensiunea eșantionului

Nu există metode general agreate pentru a raporta numărul de observații față de numărul de variabile independente din model. O regulă generală sugerată de Good și Hardin este N = mⁿ, unde N este dimensiunea eșantionului, n este numărul de variabile independente și m este numărul de observații necesare pentru a atinge precizia dorită dacă modelul a avut o singură variabilă independentă. De exemplu, un cercetător construiește un model de regresie liniară folosind un set de date care conține 1000 de pacienți (N ). Dacă cercetătorul decide că sunt necesare cinci observații pentru a defini cu precizie o linie dreaptă ( m ), atunci numărul maxim de variabile independente pe care modelul le poate suporta este 4, deoarece

log1000/log 5 = 4,29.

Alte Metode

Deși parametrii unui model de regresie sunt de obicei estimați folosind metoda celor mai mici pătrate, alte metode care au fost utilizate includ:

Metode bayesiene, de ex. Regresia liniară bayesiană
Regresia procentuală, pentru situațiile în care reducerea erorilor procentuale este considerată mai potrivită.
Cele mai mici abateri absolute, care este mai robustă în prezența valorilor aberante, ceea ce duce la regresie cuantilă
Regresia neparametrică, necesită un număr mare de observații și este intensivă din punct de vedere computațional
Învățare în măsurarea distanței, care este realizată prin căutarea unei valori semnificative a distanței într-un spațiu de intrare dat.

Software

Toate pachetele software statistice majore efectuează analize de regresie și inferență cu cele mai mici pătrate. Regresia liniară simplă și regresia multiplă folosind cele mai mici pătrate pot fi făcute în unele aplicații de foi de calcul și pe unele calculatoare. Deși multe pachete software statistice pot efectua diverse tipuri de regresie neparametrică și robustă, aceste metode sunt mai puțin standardizate; diferite pachete software implementează metode diferite, iar o metodă cu un nume dat poate fi implementată diferit în pachete diferite. Software-ul specializat de regresie a fost dezvoltat pentru utilizare în domenii precum analiza de sondaj și neuroimagistică.