更なるトピック

\[ \newcommand{\R}{\mathbb{R}} \newcommand{\E}{\mathbb{E}} \newcommand{\x}{\mathbf{x}} \newcommand{\y}{\mathbf{y}} \newcommand{\wv}{\mathbf{w}} \newcommand{\av}{\mathbf{\alpha}} \newcommand{\bv}{\mathbf{b}} \newcommand{\N}{\mathbb{N}} \newcommand{\id}{\mathbf{I}} \newcommand{\ind}{\mathbf{1}} \newcommand{\0}{\mathbf{0}} \newcommand{\unit}{\mathbf{e}} \newcommand{\one}{\mathbf{1}} \newcommand{\zero}{\mathbf{0}} \]

線形法の最適化 (開発者)

メモリ制限 BFGS (L-BFGS)

L-BFGS$\min_{\wv \in\R^d} \; f(\wv)$の形式の最適化問題を解決するための類似ニュートンメソッドのファミリーの最適化アルゴリズムです。L-BFGS メソッドはHessianマトリックスを構築するために、対象の関数の2次部分導関数を評価すること無しに局所的な2次の関数として対象の関数を近似します。Hessianマトリックスは以前の勾配評価によって近似されるため、ニュートンメソッドでの明示的なHessianマトリックスの計算とは異なり、垂直のスケーラビリティの問題(トレーニング機能の数)がありません。結果として、L-BFGSはしばしば他の1次の最適化と比較して高速に収束します。

Orthant-Wise メモリ制限 準ニュートン (OWL-QN) は、効果的にL1とelastic netの正規化を処理することができる L-BFGSの拡張です。

L-BFGS はLinearRegression, LogisticRegression, AFTSurvivalRegressionMultilayerPerceptronClassifierのソルバーとして使用されます。

MLlib L-BFGS ソルバーはbreezeでの対応する実装を呼び出します。

重み付き最小自乗法のための正規方程式ソルバー

MLlib はWeightedLeastSquaresによる重み付き最小自乗法 の正規方程式ソルバーを実装します。

$n$ 重み付き観測 $(w_i, a_i, b_i)$ を仮定すると:

各観測の特徴の数は $m$ です。以下の重み付き最小自乗公式を使います: \[ minimize_{x}\frac{1}{2} \sum_{i=1}^n \frac{w_i(a_i^T x -b_i)^2}{\sum_{k=1}^n w_k} + \frac{1}{2}\frac{\lambda}{\delta}\sum_{j=1}^m(\sigma_{j} x_{j})^2 \] ここで、$\lambda$ は正規化パラメータ, $\delta$ はラベルの母集団の標準偏差、そして $\sigma_j$ はj番目の特徴カラムの母集団の標準偏差です。

この対象の関数は分析的な解決法を持っており、解決するのに必要な統計を集めるためにデータを一回だけ走査する必要があります。分散システムの中でのみ格納できる元のデータセットとは異なり、これらの統計はもし特徴の数が比較的小さければ1つのマシーン上のメモリにロードさせることができ、そしてドライバー上のCholesky 分解を使って対象の関数を解決することができます。

WeightedLeastSquares はL2正規化のみをサポートし、正規化および標準化を有効あるいは無効化する選択肢を提供します。正規方程式のやり方を効率的にするために、WeightedLeastSquares は特徴の数を4096未満にすることを必要とします。もっと大きな問題については、代わりに L-BFGS を使います。

加重最小二乗法 (IRIS)

MLlib は IterativelyReweightedLeastSquaresによる 反復再重み付け最小二乗法 (IRLS) を実装します。それは、一般化線形問題(GLM)の最尤推定を見つけるために使われ、ロバスト回帰のM推定量と他の最適化問題を見つけます。詳細は Iteratively Reweighted Least Squares for Maximum Likelihood Estimation, and some Robust and Resistant Alternatives を見てください。

以下の手順を使って反復的にある種の最適化問題を解決します:

各繰り返しの中で WeightedLeastSquares によって重み付け最小自乗法の解決を必要とするため、特徴の数を4096未満にすることも必要とします。現在のところ、IRLSは GeneralizedLinearRegressionのデフォルトのソルバーとして使用されます。

TOP
inserted by FC2 system