Машинне навчання: вступ до середніх ліній похибки та регресії

Вступ

У цій статті буде розглянуто статистичний метод середньоквадратичної помилки , і я опишу взаємозв'язок цього методу з лінією регресії .

Приклад складається з точок на декартовій осі. Ми визначимо математичну функцію, яка дасть нам пряму лінію, яка найкраще проходить між усіма точками декартової осі.

І таким чином ми дізнаємося про зв'язок між цими двома методами та про те, як результат їх з'єднання виглядає разом.

Загальне пояснення

Це визначення з Вікіпедії:

У статистиці середня квадратична помилка (MSE) оцінювача (процедури оцінки ненаблюденої величини) вимірює середнє значення квадратів помилок - тобто середню квадратичну різницю між оціненими значеннями та тим, що оцінюється. MSE - це функція ризику, яка відповідає очікуваному значенню квадратних втрат помилок. Той факт, що MSE майже завжди є суто позитивним (а не нульовим), зумовлений випадковістю чи тим, що оцінювач не враховує інформацію, яка може дати більш точну оцінку.

Структура статті

  • Побачте ідею, візуалізацію графіків, рівняння середньої квадратичної помилки.
  • Математична частина, яка містить алгебраїчні маніпуляції та похідну від двох змінних функцій для знаходження мінімуму. Цей розділ призначений для тих, хто хоче зрозуміти, як ми отримуємо математичні формули пізніше. Ви можете пропустити його, якщо це вас не цікавить.
  • Пояснення отриманих нами математичних формул та роль кожної змінної у формулі.
  • Приклади

Почуй ідею

Скажімо, у нас сім точок, і наша мета - знайти пряму, яка мінімізує квадратні відстані до цих різних точок.

Спробуємо це зрозуміти.

Візьму приклад і проведу лінію між точками. Звичайно, мій малюнок не найкращий, але він лише для демонстрації.

Ви можете запитати себе, що це за графік?

  • то фіолетові точки є точками на графіку. Кожна точка має координату x та координату y.
  • Синя лінія є наш прогноз лінії. Це лінія, яка проходить через усі точки і підходить їм найкращим чином. Цей рядок містить передбачувані точки.
  • Червона лінія між кожною фіолетовою точкою і лінією передбачення є помилками. Кожна помилка - це відстань від точки до передбачуваної точки.

Ви повинні запам’ятати це рівняння зі шкільних днів, y = Mx + B , де M - нахил прямої, а B - y-перетин лінії.

Ми хочемо знайти M (нахил) і B (переріз у), що мінімізує квадратну помилку!

Давайте визначимо математичне рівняння, яке дасть нам середню квадратичну помилку для всіх наших точок.

Давайте проаналізуємо, що насправді означає це рівняння.

  • У математиці характер, який виглядає дивним Е, називається підсумовуванням (грецька сигма). Це сума послідовності чисел, від i = 1 до n. Давайте уявимо це як масив точок, де ми проходимо всі точки, від першої (i = 1) до останньої (i = n).
  • Для кожної точки беремо y-координату точки та y'-координату. Координата y - це наша фіолетова точка. Точка y 'знаходиться на створеній нами лінії. Ми віднімаємо значення y-координати від y-координати і обчислюємо квадрат результату.
  • Третя частина - взяти суму всіх значень (у-у ') ² і розділити її на n, що дасть середнє значення.

Наша мета - мінімізувати це середнє значення, що забезпечить нам найкращу лінію, яка проходить через усі пункти.

Від концепції до математичних рівнянь

Ця частина призначена для людей, які хочуть зрозуміти, як ми дійшли до математичних рівнянь . Ви можете перейти до наступної частини, якщо хочете.

Як відомо, рівняння лінії дорівнює y = mx + b, де m - нахил, а b - перетин у.

Давайте візьмемо кожну точку на графіку, і ми зробимо наш розрахунок (y-y ') ².

Але що таке y ', і як ми це обчислюємо? Ми не маємо його як частини даних.

Але ми знаємо, що для того, щоб обчислити y ', нам потрібно використовувати наше лінійне рівняння, y = mx + b, і поставити x у рівняння.

Звідси ми отримуємо таке рівняння:

Давайте перепишемо цей вираз, щоб спростити його.

Почнемо з розкриття всіх дужок рівняння. Я забарвив різницю між рівняннями, щоб було легше зрозуміти.

Тепер застосуємо ще одну маніпуляцію. Ми візьмемо кожну частину і складемо її разом. Ми візьмемо всі y, ((-2ymx) та ін., І ми поставимо їх усі поруч.

На цьому етапі у нас починається безлад, тому давайте візьмемо середнє значення всіх квадратів значень для y, xy, x, x².

Давайте визначимо для кожного новий символ, який буде представляти середнє значення всіх квадратних значень.

Подивимось приклад, візьмемо всі значення y і розділимо їх на n, оскільки це середнє значення, і назвемо це y (HeadLine).

Якщо помножити обидві сторони рівняння на n, отримаємо:

Що призведе до наступного рівняння:

Якщо ми подивимося на те, що отримали, то можемо побачити, що маємо 3D-поверхню. Це схоже на склянку, яка різко піднімається вгору.

Ми хочемо знайти M і B, які мінімізують функцію. Ми зробимо часткову похідну відносно M і часткову похідну відносно B.

Оскільки ми шукаємо мінімальну точку, візьмемо часткові похідні та порівняємо з 0.

Візьмемо два отримані нами рівняння, ізолюючи змінну b від обох, а потім віднімемо верхнє рівняння від нижнього рівняння.

Віднімемо від другого рівняння перше рівняння

Позбудемося знаменників із рівняння.

І ось ми йдемо, це рівняння, щоб знайти M, візьмемо це і запишемо B рівняння.

Рівняння для нахилу та перетину у

Давайте надамо математичні рівняння, які допоможуть нам знайти необхідний нахил та перетин у.

Тож ти, мабуть, думаєш про себе, що за біса ці дивні рівняння?

Насправді їх просто зрозуміти, тож давайте поговоримо про них трохи.

Тепер, коли ми зрозуміли наші рівняння, настав час зібрати всі речі і показати кілька прикладів.

Приклади

Велике спасибі Академії Хан за приклади.

Приклад №1

Візьмемо 3 бали, (1,2), (2,1), (4,3).

Знайдемо M і B для рівняння y = mx + b.

Після того, як ми розрахували відповідні частини для нашого рівняння M і рівняння B, давайте помістимо ці значення всередину рівнянь і отримаємо нахил та перетин у.

Візьмемо ці результати і встановимо їх усередині прямого рівняння y = mx + b.

А тепер давайте намалюємо лінію і подивимося, як лінія проходить крізь лінії таким чином, що вона мінімізує квадратні відстані.

Приклад №2

Візьмемо 4 бали, (-2, -3), (-1, -1), (1,2), (4,3).

Знайдемо M і B для рівняння y = mx + b.

Як і раніше, давайте помістимо ці значення всередину наших рівнянь, щоб знайти M і B.

Візьмемо ці результати та встановимо їх у внутрішньому рядку рівняння y = mx + b.

А тепер давайте намалюємо лінію і подивимося, як лінія проходить крізь лінії таким чином, що вона мінімізує квадратні відстані.

На закінчення

Як бачите, вся ідея проста. Нам просто потрібно зрозуміти основні частини та те, як ми з ними працюємо.

Ви можете працювати з формулами, щоб знайти лінію на іншому графіку, і виконати просте обчислення та отримати результати для нахилу та перетину у.

Це все, просто так? ?

Кожен коментар та всі відгуки вітаються - якщо це необхідно, я виправлю статтю.

Не соромтеся зв’язуватися зі мною безпосередньо в LinkedIn - натисніть тут.