1樓：影子
首先要給出「最優」的定義是什麼：最小化誤差平方和（2範數）可以，最小化你說的誤差距離和（1範數）也可以，還有其他許多最優的準則：例如加入各種regulation項。
所以沒有統一的「最優」。這個問題是，你首先得定義乙個合理的目標函式（例如提到的2範數，1範數等等），而最小化該目標函式的巖改槐解就是某個意義下的最優。沒有哪乙個目標函式比另外的目標函式更優，每乙個合理的目標函式有其適用範圍並且可以在數學上證明其特性，乙個核心問題是，使用誤差平方和作為目標函式時，200多年前的高斯就發現可以求導得到唯一的顯式解，而這個解法也因此被稱作最小二乘法，人們進一步研究時發現在高斯雜訊等條件下可以得到一些漂亮的結論：
如最小二乘解等價於最大似然估計，最佳線性無偏估計等。而是用其他目標函式，很難顯式得到最優解—粗友—而近年來凸優殲如化的發展，使用1範數等目標函式也可以有成熟演算法求得其最優解。<>
2樓：三杯月圓
很早就看到這個問題了，一直沒主要是因為問題實在是提的不太有誠意。就是乙個剛剛學最小二乘的高中生，你們又是正交投影，極大似然，統計檢驗，blue，mse降噪，不怕把人看暈嘛。知乎也是，這麼個問題不停地推薦答案，那我還是來一下吧。
前面基本都在標題，但沒什麼人注意到副標題，所以也很少有在點子上的。題主的這個想法其實很自然，坦白講我初學時也有想過。現在來看，最根本的原因是哲學／邏輯上的。
我們做迴歸分析，有自變數x，有因變數y，尋找的是y和x之間的聯絡，更確切的說是知道x怎麼求y。所以x和y是兩個本質不一樣的量猛賀，乙個是因，乙個是果。現在再來看看題目裡說的「應該用這樣的直線，它使得每個點到直線的距離之和最小」，這種方法其實是將因果混為一談了，試圖在(x,y)這個向量空間裡找乙個最好的超平面。
不說錯誤吧，這至少是乙個不自然的邏輯。最小二乘的邏輯就自然多了。比如說我有乙個因變數y和兩個自變數x1,x2，它們在我觀測到的樣本里都表現為乙個個的向量。
最小二乘是在做什麼呢？它是在觀測到的x1和x2的向量所生成的線性空間中，找乙個離觀測到的y向量最近的點。從殲友幾何上看氏知槐，這就是正交投影。
3樓：旺盛還素淨丶多寶魚
比如，在協變數存在觀測誤差時，如果觀測誤差是正態的，則通過極大似然估計可以匯出類似題主說的方法。不假設正態分佈，也是可以的，參考偏最小二乘法。另外當誤差的方差與迴歸係數有特定關係時(這種腔脊關係一般由關於模型的知識得出)，由極大似然也可以推出類似題主所說的方法。
不明白引用的極大似然的解釋為什麼這麼多反對和批評。極大似然估計是使對引數的估計的均方誤差漸咐圓帆進最小(樣本量越來越多時)的估計。這個意義下極大似然是最優的，最小二乘在教科書裡對最簡單的線性迴歸所做的假設下就是極大似然衡雹估計。
這是高斯最先提出的，也是最小二乘能夠這麼流行的主要原因<>
最小二乘法求線性迴歸方程
4樓：鯊魚星小遊戲
最小二乘法求凱察線性迴歸方程為a=y(平均)-b*x（平均）。
最小二乘法公式。
是乙個數學的公式，在數學上稱為曲線擬合，此處所講最小二乘法，專指線性迴歸方程！最小二乘法公式為a=y(平均)-b*x（平均）。
最小二乘法（又稱最小平方法。
是一種數學優化技術。它通過最小化誤差的平方和尋找資料的最佳函式匹配。利用最小二乘法可以簡便地求得未知的資料，並使得這些求得的資料與實際資料之間誤差的平方和為最小。
普通最小二乘估計量具有上述三特性：
1、線性特性。
所謂線性特性，是指估計量分別是樣本觀測值的線性函式。
亦即估計量和觀測值的線性組合。
2、無偏性。
無偏性，是指引數估計量的期望值。
分別等於總體真實引數。
3、最小方差性。
所謂最小方差性，是指估計量與用其它方法求得的估明孫襲計量比較，其方差最小，即最佳。最小方差性又稱有效性。這一性質就是著名激兄的高斯。
一馬爾可夫（ gauss-markov）定理。這個定理闡明瞭普通最小二乘估計量與用其它方法求得的任何線性無偏估計量相比，它是最佳的。
最小二乘法是線性迴歸方程嗎？
5樓：助公升學歷中心
最小二乘法（least squares method）是一種統計學方法，用來估計一組資料的迴歸模型引數。它的思想是，通過最小化迴歸平方誤差的和，來求解迴歸模型的最優引數。
最小二乘法可以用來求解線性迴歸方程，也可以用來求解非線性迴歸方程。但最純鍵團小二乘法本身不是線性迴歸方程，它只是一種做橘用來求解迴歸方程的亮慶方法。
寶，感謝哦！
最小二乘法求線性迴歸方程
6樓：懟懟
最小二乘法主要用來求解兩個具有線性相關關係的變數的迴歸方程。
該方法適用於求解不線性迴歸方程相關的問題，如求解迴歸直線方程，並應用其分析預報變數的取值 等。
破解此類問題的關鍵點如下： 析資料，分析相關資料，求得肢猛相關係數r,或利用散點圖判斷兩變數之間是 否存**性相關關係，若呈非線性相關關係，則需要通過變數的變換轉化構造 線性相關關係。 建模型。
根據題意確定兩個變數，結合資料分析的結果建立迴歸模型。
具體求法：第一步：求出變數x的平均值。
第二步：求出變數悉鄭y的平均值。
第三步：求出係數b
第四睜飢頌步：求出截距a
回顧ui直線方程如下圖：
使用最小二乘法做線性迴歸的目標
7樓：烏巧雲
用最小二乘法對有兩個樣本點的線性迴歸直線方程進行了直接推導，主要是分別對關於a和b的二次函式進行研究，由配方法求其最值及所需條件。
最小二乘法可以幫助我們在進行線性擬合時，如何選擇「最好」的直線。
要注意的是，利用實驗資料進行擬合時，所用資料的多少直接影響銷賀擬合的結果，從理論上說，資料越多，效果越好，即所估計的直線方程越能更好地反映變數之間的關係。
一般地，我們可以先作出樣本點的散點圖，確認線性相關性，然後再根據迴歸直線係數的計算公式進行計算。
對於一元線性迴歸模型， 假設從總體中獲取了n組觀察值（x1,y1），（x2,y2）… xn,yn）。對於平面中的這n個點，可以使用無數條曲線來擬合。要求樣本回歸函式儘可能好地擬合這組值。
綜合起來看，這條直線處於樣本資料的中心位置最合理。
選擇最佳擬合曲線的標虧尺派準可以確定為：使總的擬合誤差（即總殘差）達到最小。有以下三個標準可以選擇：
1、用「殘差和最小」確定直線位置是乙個途徑。但很快發現計算「殘差和」存在相互抵消的問題。
2、用「殘差絕對值和最小」確定直線位置也是乙個途徑。但絕對值的計算比較麻煩。
3、最小二乘法的原則是以「殘差平方和最小」確定直線位置。用最小二乘法除了計算比較方便外，得到的估計量還具有優良特性。這種方法對異常值非常敏感。
最常用的是普通最小二乘法（困段 ordinary least square，ols）：所選擇的迴歸模型應該使所有觀察值的殘差平方和達到最小。（q為殘差平方和）- 即採用平方損失函式。
多元線性迴歸分析，利用最小二乘法進行引數估計時要求：
8樓：考驗考公答疑君
多元線性迴歸分析，利用最哪雀小二乘法進行引數估計李高早念跡時要求：
正確答案：
什麼是最小二乘原理，什麼是最小二乘法及其原理？
最小二乘法是一種數學優化技術 它通過最小化誤差的平方和尋找資料的最佳函式匹配。最小二來乘法是一種數自學優化技術，它通過bai最小化誤差的平方du 和找到一組數zhi據的最dao 佳函式匹配。最小二乘法是用最簡的方法求得一些絕對不可知的真值，而令誤差平方之和為最小。最小二乘法通常用於曲線擬合。很多其他...
關於最小二乘估計量線性性的證明，為什麼說最小二乘估計量是最優的線性無偏估計量
首先，用x 表示x的均值，你明白 xi nx 這個就很好解釋了。因為 xi x xi nx 0。其次這個意思就是說均值 樣本數 樣本內的樣本之和。不對的話還請指正 一，1 用最小二乘法的基本原則是各觀察點距直線的縱向距離的平方和最小.這裡的 二乘 指的是用平方來度量觀測點與估計點的遠近,最小 指的是...
最小二乘法直線在什麼條件下一致，matlab中用最小二乘法擬合直線
那個像e的符號是希臘字母,念 西格瑪 在數學上常表示為 求和 的意思。如果已知一條直線上的n個點 xi,yi 則求最接近這n個點的直線y bx a可以.謝謝，如何用excel進行最小二乘法直線擬合 matlab中用最小二乘法擬合直線 用polyfit函式，用來多項式擬合的，是用最小二乘法 舉個例子 ...