yuliianikolaenko 10 января 2021

πŸ“Š ΠžΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ Data Science: 11 Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΡ‹Ρ… спСциалисту ΠΏΠΎ Π°Π½Π°Π»ΠΈΠ·Ρƒ Π΄Π°Π½Π½Ρ‹Ρ… ΠΊΠΎΠ½Ρ†Π΅ΠΏΡ†ΠΈΠΉ ΠΈΠ· статистики

ΠŸΠΎΠΏΡ€ΠΎΠ±ΡƒΠ΅ΠΌ простыми словами ΠΎΠ±ΡŠΡΡΠ½ΠΈΡ‚ΡŒ ΠΊΠ»ΡŽΡ‡Π΅Π²Ρ‹Π΅ для Data Scientist ΠΊΠΎΠ½Ρ†Π΅ΠΏΡ†ΠΈΠΈ ΠΈΠ· статистики, Π° Ρ‚Π°ΠΊΠΆΠ΅ расскаТСм ΠΏΡ€ΠΎ ΠΊΠ½ΠΈΠ³ΠΈ, курсы ΠΈ Π²ΠΈΠ΄Π΅ΠΎΠ»Π΅ΠΊΡ†ΠΈΠΈ, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΏΠΎΠΌΠΎΠ³ΡƒΡ‚ ΠΈΡ… ΠΈΠ·ΡƒΡ‡ΠΈΡ‚ΡŒ.
πŸ“Š ΠžΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ Data Science: 11 Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΡ‹Ρ… спСциалисту ΠΏΠΎ Π°Π½Π°Π»ΠΈΠ·Ρƒ Π΄Π°Π½Π½Ρ‹Ρ… ΠΊΠΎΠ½Ρ†Π΅ΠΏΡ†ΠΈΠΉ ΠΈΠ· статистики

Бтатистика – это использованиС ΠΌΠ°Ρ‚Π΅ΠΌΠ°Ρ‚ΠΈΠΊΠΈ (ΠΏΡ€Π΅ΠΆΠ΄Π΅ всСго Ρ‚Π΅ΠΎΡ€ΠΈΠΈ вСроятностСй) для выполнСния тСхничСского Π°Π½Π°Π»ΠΈΠ·Π° Π΄Π°Π½Π½Ρ‹Ρ…. ПониманиС основных Π΅Π΅ ΠΊΠΎΠ½Ρ†Π΅ΠΏΡ†ΠΈΠΉ ΠΏΠΎΠΌΠΎΠΆΠ΅Ρ‚ Data Scientist Ρ„ΠΎΡ€ΠΌΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΠΊΠΎΠ½ΠΊΡ€Π΅Ρ‚Π½Ρ‹Π΅ Π²Ρ‹Π²ΠΎΠ΄Ρ‹, Π° Π½Π΅ просто ΡΡ‚Ρ€ΠΎΠΈΡ‚ΡŒ Π΄ΠΎΠ³Π°Π΄ΠΊΠΈ.

Π’ΠΎ Π²ΡΡ‚ΡƒΠΏΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Ρ… публикациях сСрии ΠΌΡ‹ писали ΠΎ Ρ‚ΠΎΠΌ, ΠΊΠ°ΠΊΠΈΠ΅ знания ΠΏΠΎ ΠΌΠ°Ρ‚Π΅ΠΌΠ°Ρ‚ΠΈΠΊΠ΅ Π½ΡƒΠΆΠ½Ρ‹ спСциалисту ΠΏΠΎ Π°Π½Π°Π»ΠΈΠ·Ρƒ Π΄Π°Π½Π½Ρ‹Ρ…. Углубляя Ρ‚Π΅ΠΌΡƒ, расскаТСм ΠΎΠ± 11 Π²Π°ΠΆΠ½Π΅ΠΉΡˆΠΈΡ… концСпциях ΠΈΠ· статистики, Π±Π΅Π· ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Ρ… Π½Π΅ ΠΌΠΎΠΆΠ΅Ρ‚ ΠΎΠ±ΠΎΠΉΡ‚ΠΈΡΡŒ Π½ΠΈ ΠΎΠ΄ΠΈΠ½ Data Scientist.

Блучайная Π²Π΅Π»ΠΈΡ‡ΠΈΠ½Π°

Блучайная Π²Π΅Π»ΠΈΡ‡ΠΈΠ½Π° – это пСрСмСнная, значСния ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠΉ ΠΎΠΏΡ€Π΅Π΄Π΅Π»ΡΡŽΡ‚ΡΡ случайным экспСримСнтом. Π‘Π»ΡƒΡ‡Π°ΠΉΠ½Ρ‹Π΅ Π²Π΅Π»ΠΈΡ‡ΠΈΠ½Ρ‹ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚ΡΡ Π² качСствС ΠΌΠΎΠ΄Π΅Π»ΠΈ для процСссов Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ Π΄Π°Π½Π½Ρ‹Ρ…, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΌΡ‹ Ρ…ΠΎΡ‚ΠΈΠΌ ΠΈΡΡΠ»Π΅Π΄ΠΎΠ²Π°Ρ‚ΡŒ.

ΠŸΡ€ΠΈΠΌΠ΅Ρ€ Ρ‚ΠΎΠ³ΠΎ, ΠΊΠ°ΠΊ случайная Π²Π΅Π»ΠΈΡ‡ΠΈΠ½Π° являСтся Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠ΅ΠΉ ΠΎΡ‚ всСх Π²ΠΎΠ·ΠΌΠΎΠΆΠ½Ρ‹Ρ… исходов ΠΊ Ρ€Π΅Π°Π»ΡŒΠ½Ρ‹ΠΌ значСниям. <a href="https://en.wikipedia.org/wiki/Random_variable" target="_blank" rel="noopener noreferrer nofollow">Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ</a>
ΠŸΡ€ΠΈΠΌΠ΅Ρ€ Ρ‚ΠΎΠ³ΠΎ, ΠΊΠ°ΠΊ случайная Π²Π΅Π»ΠΈΡ‡ΠΈΠ½Π° являСтся Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠ΅ΠΉ ΠΎΡ‚ всСх Π²ΠΎΠ·ΠΌΠΎΠΆΠ½Ρ‹Ρ… исходов ΠΊ Ρ€Π΅Π°Π»ΡŒΠ½Ρ‹ΠΌ значСниям. Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ

Бвойства Π΄Π°Π½Π½Ρ‹Ρ… тСсно связаны с ΡΠΎΠΎΡ‚Π²Π΅Ρ‚ΡΡ‚Π²ΡƒΡŽΡ‰ΠΈΠΌΠΈ свойствами случайных Π²Π΅Π»ΠΈΡ‡ΠΈΠ½, Π²Ρ€ΠΎΠ΄Π΅ ΠΎΠΆΠΈΠ΄Π°Π΅ΠΌΠΎΠ³ΠΎ значСния, диспСрсии ΠΈ коррСляции. Зависимости ΠΌΠ΅ΠΆΠ΄Ρƒ случайными Π²Π΅Π»ΠΈΡ‡ΠΈΠ½Π°ΠΌΠΈ ΡΠ²Π»ΡΡŽΡ‚ΡΡ Ρ€Π΅ΡˆΠ°ΡŽΡ‰ΠΈΠΌ Ρ„Π°ΠΊΡ‚ΠΎΡ€ΠΎΠΌ, ΠΏΠΎΠ·Π²ΠΎΠ»ΡΡŽΡ‰ΠΈΠΌ ΠΏΡ€ΠΎΠ³Π½ΠΎΠ·ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ нСизвСстныС значСния Π½Π° основС извСстных – Π½Π° этом основано ΠΊΠΎΠ½Ρ‚Ρ€ΠΎΠ»ΠΈΡ€ΡƒΠ΅ΠΌΠΎΠ΅ машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅.

P-value

P-value – это ΠΌΠ΅Ρ€Π° вСроятности значСния, ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠ΅ ΠΏΡ€ΠΈΠ½ΠΈΠΌΠ°Π΅Ρ‚ случайная Π²Π΅Π»ΠΈΡ‡ΠΈΠ½Π°. ΠŸΡ€Π΅Π΄ΠΏΠΎΠ»ΠΎΠΆΠΈΠΌ, Ρ‡Ρ‚ΠΎ Ρƒ нас Π΅ΡΡ‚ΡŒ случайная Π²Π΅Π»ΠΈΡ‡ΠΈΠ½Π° A ΠΈ Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅ x. P-value значСния x – Π²Π΅Ρ€ΠΎΡΡ‚Π½ΠΎΡΡ‚ΡŒ Ρ‚ΠΎΠ³ΠΎ, Ρ‡Ρ‚ΠΎ A ΠΏΡ€ΠΈΠ½ΠΈΠΌΠ°Π΅Ρ‚ это ΠΈΠ»ΠΈ любоС Π΄Ρ€ΡƒΠ³ΠΎΠ΅ Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅, ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠ΅ ΠΈΠΌΠ΅Π΅Ρ‚ Ρ‚ΠΎΡ‚ ΠΆΠ΅ ΠΈΠ»ΠΈ мСньший шанс Π±Ρ‹Ρ‚ΡŒ Π½Π°Π±Π»ΡŽΠ΄Π°Π΅ΠΌΡ‹ΠΌ. На ΠΏΡ€Π°ΠΊΡ‚ΠΈΠΊΠ΅ Ссли Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅ Π  мСньшС Π°Π»ΡŒΡ„Π° (скаТСм, 0,05), ΠΌΡ‹ Π³ΠΎΠ²ΠΎΡ€ΠΈΠΌ, Ρ‡Ρ‚ΠΎ Π²Π΅Ρ€ΠΎΡΡ‚Π½ΠΎΡΡ‚ΡŒ Ρ‚ΠΎΠ³ΠΎ, Ρ‡Ρ‚ΠΎ Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚ ΠΌΠΎΠ³ ΠΏΡ€ΠΎΠΈΠ·ΠΎΠΉΡ‚ΠΈ случайно, составляСт ΠΌΠ΅Π½Π΅Π΅ 5%.

<a href="https://vitalflux.com/wp-content/uploads/2018/07/p-value.png" target="_blank" rel="noopener noreferrer nofollow">Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ</a>
Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ

P-value ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ΡΡ ΠΏΡ€ΠΈ ΠΎΡ†Π΅Π½ΠΊΠ΅ Ρ‚ΠΎΠ³ΠΎ, насколько нСсовмСстимы Π΄Π°Π½Π½Ρ‹Π΅ с построСнной статистичСской модСлью, Π½ΠΎ Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ Ρ‚Π°ΠΊΠΆΠ΅ ΡƒΡ‡ΠΈΡ‚Ρ‹Π²Π°Ρ‚ΡŒ ΠΊΠΎΠ½Ρ‚Π΅ΠΊΡΡ‚ΡƒΠ°Π»ΡŒΠ½Ρ‹Π΅ Ρ„Π°ΠΊΡ‚ΠΎΡ€Ρ‹, Π²Ρ€ΠΎΠ΄Π΅ Π΄ΠΈΠ·Π°ΠΉΠ½Π° исслСдования, качСства ΠΈΠ·ΠΌΠ΅Ρ€Π΅Π½ΠΈΠΉ, Π²Π½Π΅ΡˆΠ½ΠΈΡ… Π΄ΠΎΠΊΠ°Π·Π°Ρ‚Π΅Π»ΡŒΡΡ‚Π² ΠΈΠ·ΡƒΡ‡Π°Π΅ΠΌΠΎΠ³ΠΎ явлСния ΠΈ обоснованности ΠΏΡ€Π΅Π΄ΠΏΠΎΠ»ΠΎΠΆΠ΅Π½ΠΈΠΉ, Π»Π΅ΠΆΠ°Ρ‰ΠΈΡ… Π² основС Π°Π½Π°Π»ΠΈΠ·Π° Π΄Π°Π½Π½Ρ‹Ρ….

ΠΠΎΡ€ΠΌΠ°Π»ΡŒΠ½ΠΎΠ΅ распрСдСлСниС

ΠΠΎΡ€ΠΌΠ°Π»ΡŒΠ½ΠΎΠ΅ распрСдСлСниС Ρ‚Π°ΠΊΠΆΠ΅ извСстно ΠΊΠ°ΠΊ распрСдСлСниС Гаусса, ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠ΅ опрСдСляСтся Π΅Π³ΠΎ срСдним Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅ΠΌ ΠΈ стандартным ΠΎΡ‚ΠΊΠ»ΠΎΠ½Π΅Π½ΠΈΠ΅ΠΌ. Π‘Ρ€Π΅Π΄Π½Π΅Π΅ смСщаСт распрСдСлСниС пространствСнно, Π³Π΄Π΅ стандартноС ΠΎΡ‚ΠΊΠ»ΠΎΠ½Π΅Π½ΠΈΠ΅ управляСт спрСдом. ΠœΡ‹ Π·Π½Π°Π΅ΠΌ срСднСС Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅ Π½Π°Π±ΠΎΡ€Π° Π΄Π°Π½Π½Ρ‹Ρ… ΠΈ разброс Π΄Π°Π½Π½Ρ‹Ρ… с гауссовым распрСдСлСниСм.

РаспрСдСлСниС ΠŸΡƒΠ°ΡΡΠΎΠ½Π° Ρ‚Π°ΠΊΠΎΠ΅ ΠΆΠ΅, ΠΊΠ°ΠΊ ΠΈ Π½ΠΎΡ€ΠΌΠ°Π»ΡŒΠ½ΠΎΠ΅, Π½ΠΎ с Π΄ΠΎΠ±Π°Π²Π»Π΅Π½ΠΈΠ΅ΠΌ асиммСтрии. Оно ΠΈΠΌΠ΅Π΅Ρ‚ ΠΎΡ‚Π½ΠΎΡΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ Ρ€Π°Π²Π½ΠΎΠΌΠ΅Ρ€Π½Ρ‹ΠΉ разброс Π²ΠΎ всСх направлСниях, ΠΊΠ°ΠΊ ΠΈ Π½ΠΎΡ€ΠΌΠ°Π»ΡŒΠ½Ρ‹ΠΉ Π²ΠΎ врСмя ΠΌΠ°Π»ΠΎΠ·Π½Π°Ρ‡ΠΈΠΌΠΎΠΉ асиммСтрии. ΠŸΡ€ΠΈ высоком Π·Π½Π°Ρ‡Π΅Π½ΠΈΠΈ асиммСтрии разброс Π΄Π°Π½Π½Ρ‹Ρ… Π±ΡƒΠ΄Π΅Ρ‚ Ρ€Π°Π·Π»ΠΈΡ‡Π½Ρ‹ΠΌ Π² Ρ€Π°Π·Π½Ρ‹Ρ… направлСниях.

ΠŸΡ€ΠΈΠΌΠ΅Ρ€ Π½ΠΎΡ€ΠΌΠ°Π»ΡŒΠ½ΠΎΠ³ΠΎ распрСдСлСния ΠΎΡ†Π΅Π½ΠΎΠΊ. <a href="https://medium.com/@karthik.k183/normal-distribution-fd601166db0b" target="_blank" rel="noopener noreferrer nofollow">Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ</a>
ΠŸΡ€ΠΈΠΌΠ΅Ρ€ Π½ΠΎΡ€ΠΌΠ°Π»ΡŒΠ½ΠΎΠ³ΠΎ распрСдСлСния ΠΎΡ†Π΅Π½ΠΎΠΊ. Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ

БущСствуСт мноТСство распрСдСлСний, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΏΠΎΠΌΠΎΠ³Π°ΡŽΡ‚ ΠΈΠ½Ρ‚Π΅Ρ€ΠΏΡ€Π΅Ρ‚ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΠΊΠ°Ρ‚Π΅Π³ΠΎΡ€ΠΈΠ°Π»ΡŒΠ½Ρ‹Π΅ Π΄Π°Π½Π½Ρ‹Π΅ с Ρ€Π°Π²Π½ΠΎΠΌΠ΅Ρ€Π½Ρ‹ΠΌ распрСдСлСниСм. РаспрСдСлСния вСроятностСй ΠΏΠΎΠΌΠΎΠ³Π°Π΅Ρ‚ Π²Ρ‹Ρ‡ΠΈΡΠ»ΠΈΡ‚ΡŒ Π΄ΠΎΠ²Π΅Ρ€ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Π΅ ΠΈΠ½Ρ‚Π΅Ρ€Π²Π°Π»Ρ‹ для ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ² ΠΈ критичСскиС области для ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠΈ Π³ΠΈΠΏΠΎΡ‚Π΅Π·. Для ΠΎΠ΄Π½ΠΎΠΌΠ΅Ρ€Π½Ρ‹Ρ… Π΄Π°Π½Π½Ρ‹Ρ… ΠΏΠΎΠ»Π΅Π·Π½ΠΎ ΠΎΠΏΡ€Π΅Π΄Π΅Π»ΠΈΡ‚ΡŒ ΠΏΠΎΠ΄Ρ…ΠΎΠ΄ΡΡ‰ΡƒΡŽ модСль распрСдСлСния Π΄Π°Π½Π½Ρ‹Ρ…. БтатистичСскиС ΠΈΠ½Ρ‚Π΅Ρ€Π²Π°Π»Ρ‹ ΠΈ ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠ° Π³ΠΈΠΏΠΎΡ‚Π΅Π· Ρ‚Π°ΠΊΠΆΠ΅ зависят ΠΎΡ‚ ΠΏΡ€Π΅Π΄ΠΏΠΎΠ»ΠΎΠΆΠ΅Π½ΠΈΠΉ ΠΎ распрСдСлСнии ΠΏΠ΅Ρ€Π΅ΠΌΠ΅Π½Π½Ρ‹Ρ….

ΠœΠ΅Ρ€Ρ‹ Ρ†Π΅Π½Ρ‚Ρ€Π°Π»ΡŒΠ½ΠΎΠΉ Ρ‚Π΅Π½Π΄Π΅Π½Ρ†ΠΈΠΈ

Π¦Π΅Π½Ρ‚Ρ€Π°Π»ΡŒΠ½Π°Ρ тСндСнция – это Ρ†Π΅Π½Ρ‚Ρ€Π°Π»ΡŒΠ½ΠΎΠ΅ (ΠΈΠ»ΠΈ Ρ‚ΠΈΠΏΠΈΡ‡Π½ΠΎΠ΅) Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅ распрСдСлСния вСроятностСй. НаиболСС распространСнными показатСлями Ρ†Π΅Π½Ρ‚Ρ€Π°Π»ΡŒΠ½ΠΎΠΉ Ρ‚Π΅Π½Π΄Π΅Π½Ρ†ΠΈΠΈ ΡΠ²Π»ΡΡŽΡ‚ΡΡ срСднСС, ΠΌΠ΅Π΄ΠΈΠ°Π½Π° ΠΈ ΠΌΠΎΠ΄Π°.

<a href="https://www.researchgate.net/figure/Measures-of-central-tendency-Robinson_fig7_38108766" target="_blank" rel="noopener noreferrer nofollow">Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ</a>
Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ

Π‘Ρ€Π΅Π΄Π½Π΅Π΅ (mean) – это срСднСС Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅ ΠΏΠΎΡΠ»Π΅Π΄ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΠ½Ρ‹Ρ… Π·Π½Π°Ρ‡Π΅Π½ΠΈΠΉ.

МСдиана (median) – это Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅ Π² сСрСдинС, ΠΊΠΎΠ³Π΄Π° значСния ΡΠΎΡ€Ρ‚ΠΈΡ€ΡƒΡŽΡ‚ΡΡ Π² порядкС возрастания ΠΈΠ»ΠΈ убывания.

Мода (mode) – это Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅, ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠ΅ появляСтся Ρ‡Π°Ρ‰Π΅ всСго.

Π‘Π½ΠΈΠΆΠ΅Π½ΠΈΠ΅ размСрности

Π’Π΅Ρ€ΠΌΠΈΠ½ ΡƒΠΌΠ΅Π½ΡŒΡˆΠ΅Π½ΠΈΠ΅ размСрности ΠΈΠ½Ρ‚ΡƒΠΈΡ‚ΠΈΠ²Π½ΠΎ понятСн. Π£ нас Π΅ΡΡ‚ΡŒ Π½Π°Π±ΠΎΡ€ Π΄Π°Π½Π½Ρ‹Ρ…, ΠΈ ΠΌΡ‹ Ρ…ΠΎΡ‚Π΅Π»ΠΈ Π±Ρ‹ ΡƒΠΌΠ΅Π½ΡŒΡˆΠΈΡ‚ΡŒ количСство ΠΈΠ·ΠΌΠ΅Ρ€Π΅Π½ΠΈΠΉ. Π’ Π½Π°ΡƒΠΊΠ΅ ΠΎ Π΄Π°Π½Π½Ρ‹Ρ… это число ΠΏΠ΅Ρ€Π΅ΠΌΠ΅Π½Π½Ρ‹Ρ… ΠΏΡ€ΠΈΠ·Π½Π°ΠΊΠΎΠ².

<a href="https://dimensionless.in/wp-content/uploads/2019/07/pca2.png" target="_blank" rel="noopener noreferrer nofollow">Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ</a>
Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ

НаиболСС распространСнным статистичСским ΠΌΠ΅Ρ‚ΠΎΠ΄ΠΎΠΌ, ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅ΠΌΡ‹ΠΌ для ΡƒΠΌΠ΅Π½ΡŒΡˆΠ΅Π½ΠΈΡ размСрности, являСтся ΠΌΠ΅Ρ‚ΠΎΠ΄ Π³Π»Π°Π²Π½Ρ‹Ρ… ΠΊΠΎΠΌΠΏΠΎΠ½Π΅Π½Ρ‚ (с Π°Π½Π³Π». Principal component analysis, PCA), ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ создаСт Π²Π΅ΠΊΡ‚ΠΎΡ€Π½Ρ‹Π΅ прСдставлСния ΠΎΠ±ΡŠΠ΅ΠΊΡ‚ΠΎΠ², ΠΏΠΎΠΊΠ°Π·Ρ‹Π²Π°ΡŽΡ‰ΠΈΠ΅, насколько ΠΎΠ½ΠΈ Π²Π°ΠΆΠ½Ρ‹ для Π²Ρ‹Π²ΠΎΠ΄Π° (ΠΈΡ… ΠΊΠΎΡ€Ρ€Π΅Π»ΡΡ†ΠΈΡŽ). ΠœΠ΅Ρ‚ΠΎΠ΄ Π³Π»Π°Π²Π½Ρ‹Ρ… ΠΊΠΎΠΌΠΏΠΎΠ½Π΅Π½Ρ‚ ΠΈΠ»ΠΈ PCA ΠΌΠΎΠΆΠ½ΠΎ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ для выполнСния ΡƒΠΌΠ΅Π½ΡŒΡˆΠ΅Π½ΠΈΡ размСрности Π΄Π°Π½Π½Ρ‹Ρ… с наимСньшСй ΠΏΠΎΡ‚Π΅Ρ€Π΅ΠΉ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ.

ДиспСрсия ΠΈ стандартноС ΠΎΡ‚ΠΊΠ»ΠΎΠ½Π΅Π½ΠΈΠ΅

ДиспСрсия – это ΠΌΠ΅Ρ€Π° Π²Π°Ρ€ΠΈΠ°Ρ†ΠΈΠΈ ΠΌΠ΅ΠΆΠ΄Ρƒ значСниями. Она рассчитываСтся ΠΏΡƒΡ‚Π΅ΠΌ слоТСния ΠΊΠ²Π°Π΄Ρ€Π°Ρ‚ΠΎΠ² разностСй ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ значСния ΠΈ срСднСго значСния, Π° Π·Π°Ρ‚Π΅ΠΌ дСлСния суммы Π½Π° количСство Π²Ρ‹Π±ΠΎΡ€ΠΎΠΊ.

ΠŸΡ€ΠΈΠΌΠ΅Ρ€ Π²Ρ‹Π±ΠΎΡ€ΠΎΠΊ ΠΈΠ· Π΄Π²ΡƒΡ… популяций с ΠΎΠ΄ΠΈΠ½Π°ΠΊΠΎΠ²Ρ‹ΠΌ срСдним Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅ΠΌ, Π½ΠΎ Ρ€Π°Π·Π½Ρ‹ΠΌΠΈ диспСрсиями. ΠšΡ€Π°ΡΠ½ΠΎΠ΅ насСлСниС ΠΈΠΌΠ΅Π΅Ρ‚ срСднСС ΠΈ Π΄ΠΈΡΠΏΠ΅Ρ€ΡΠΈΡŽ Ρ€Π°Π²Π½Ρ‹Π΅ 100 (SD=10), Π³ΠΎΠ»ΡƒΠ±ΠΎΠ΅ насСлСниС ΠΈΠΌΠ΅Π΅Ρ‚ срСднСС 100 ΠΈ Π΄ΠΈΡΠΏΠ΅Ρ€ΡΠΈΡŽ Ρ€Π°Π²Π½ΡƒΡŽ 2500 (SD=50). <a href="https://en.wikipedia.org/wiki/Variance" target="_blank" rel="noopener noreferrer nofollow">Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ</a>
ΠŸΡ€ΠΈΠΌΠ΅Ρ€ Π²Ρ‹Π±ΠΎΡ€ΠΎΠΊ ΠΈΠ· Π΄Π²ΡƒΡ… популяций с ΠΎΠ΄ΠΈΠ½Π°ΠΊΠΎΠ²Ρ‹ΠΌ срСдним Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅ΠΌ, Π½ΠΎ Ρ€Π°Π·Π½Ρ‹ΠΌΠΈ диспСрсиями. ΠšΡ€Π°ΡΠ½ΠΎΠ΅ насСлСниС ΠΈΠΌΠ΅Π΅Ρ‚ срСднСС ΠΈ Π΄ΠΈΡΠΏΠ΅Ρ€ΡΠΈΡŽ Ρ€Π°Π²Π½Ρ‹Π΅ 100 (SD=10), Π³ΠΎΠ»ΡƒΠ±ΠΎΠ΅ насСлСниС ΠΈΠΌΠ΅Π΅Ρ‚ срСднСС 100 ΠΈ Π΄ΠΈΡΠΏΠ΅Ρ€ΡΠΈΡŽ Ρ€Π°Π²Π½ΡƒΡŽ 2500 (SD=50). Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ

Π‘Ρ‚Π°Π½Π΄Π°Ρ€Ρ‚Π½ΠΎΠ΅ ΠΎΡ‚ΠΊΠ»ΠΎΠ½Π΅Π½ΠΈΠ΅ (с Π°Π½Π³Π». standard deviation, SD) – это ΠΌΠ΅Ρ€Π° Ρ‚ΠΎΠ³ΠΎ, насколько разбросаны значСния. Если Π±Ρ‹Ρ‚ΡŒ Π±ΠΎΠ»Π΅Π΅ Ρ‚ΠΎΡ‡Π½Ρ‹ΠΌ, это ΠΊΠ²Π°Π΄Ρ€Π°Ρ‚Π½Ρ‹ΠΉ ΠΊΠΎΡ€Π΅Π½ΡŒ ΠΈΠ· диспСрсии.

Π‘Ρ€Π΅Π΄Π½Π΅Π΅, ΠΌΠ΅Π΄ΠΈΠ°Π½Π°, ΠΌΠΎΠ΄Π°, диспСрсия ΠΈ стандартноС ΠΎΡ‚ΠΊΠ»ΠΎΠ½Π΅Π½ΠΈΠ΅ – это основныС статистичСскиС ΠΏΠΎΠΊΠ°Π·Π°Ρ‚Π΅Π»ΠΈ, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚ΡΡ для описания ΠΏΠ΅Ρ€Π΅ΠΌΠ΅Π½Π½Ρ‹Ρ… Π½Π° Π½Π°Ρ‡Π°Π»ΡŒΠ½ΠΎΠΌ этапС Ρ€Π°Π±ΠΎΡ‚Ρ‹ с Π΄Π°Π½Π½Ρ‹ΠΌΠΈ.

ΠšΠΎΠ²Π°Ρ€ΠΈΠ°Ρ†ΠΈΠΈ ΠΈ коррСляции

ΠšΠΎΠ²Π°Ρ€ΠΈΠ°Ρ†ΠΈΡ – это количСствСнная ΠΌΠ΅Ρ€Π°, которая прСдставляСт, насколько Π²Π°Ρ€ΠΈΠ°Ρ†ΠΈΠΈ Π΄Π²ΡƒΡ… ΠΏΠ΅Ρ€Π΅ΠΌΠ΅Π½Π½Ρ‹Ρ… ΡΠΎΠΎΡ‚Π²Π΅Ρ‚ΡΡ‚Π²ΡƒΡŽΡ‚ Π΄Ρ€ΡƒΠ³ Π΄Ρ€ΡƒΠ³Ρƒ. Π§Ρ‚ΠΎΠ±Ρ‹ Π±Ρ‹Ρ‚ΡŒ Π±ΠΎΠ»Π΅Π΅ ΠΊΠΎΠ½ΠΊΡ€Π΅Ρ‚Π½Ρ‹ΠΌ, ковариация сравниваСт Π΄Π²Π΅ ΠΏΠ΅Ρ€Π΅ΠΌΠ΅Π½Π½Ρ‹Π΅ с Ρ‚ΠΎΡ‡ΠΊΠΈ зрСния ΠΎΡ‚ΠΊΠ»ΠΎΠ½Π΅Π½ΠΈΠΉ ΠΎΡ‚ ΠΈΡ… срСднСго (ΠΈΠ»ΠΈ ΠΎΠΆΠΈΠ΄Π°Π΅ΠΌΠΎΠ³ΠΎ) значСния. ΠšΠΎΠ²Π°Ρ€ΠΈΠ°Ρ†ΠΈΡ ΠΏΠ΅Ρ€Π΅ΠΌΠ΅Π½Π½ΠΎΠΉ с самой собой – это диспСрсия ΠΏΠ΅Ρ€Π΅ΠΌΠ΅Π½Π½ΠΎΠΉ.

ΠŸΡ€ΠΈΠΌΠ΅Ρ€ Π²ΠΈΠ·ΡƒΠ°Π»ΠΈΠ·Π°Ρ†ΠΈΠΈ ΠΊΠΎΠ²Π°Ρ€ΠΈΠ°Ρ†ΠΈΠΈ ΠΏΠ΅Ρ€Π΅ΠΌΠ΅Π½Π½Ρ‹Ρ…. <a href="https://medium.com/towards-artificial-intelligence/covariance-matrix-visualization-using-seaborns-heatmap-plot-64332b6c90c5" target="_blank" rel="noopener noreferrer nofollow">Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ</a>
ΠŸΡ€ΠΈΠΌΠ΅Ρ€ Π²ΠΈΠ·ΡƒΠ°Π»ΠΈΠ·Π°Ρ†ΠΈΠΈ ΠΊΠΎΠ²Π°Ρ€ΠΈΠ°Ρ†ΠΈΠΈ ΠΏΠ΅Ρ€Π΅ΠΌΠ΅Π½Π½Ρ‹Ρ…. Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ

ΠšΠΎΡ€Ρ€Π΅Π»ΡΡ†ΠΈΡ – это нормализация ΠΊΠΎΠ²Π°Ρ€ΠΈΠ°Ρ†ΠΈΠΈ Π½Π° стандартноС ΠΎΡ‚ΠΊΠ»ΠΎΠ½Π΅Π½ΠΈΠ΅ ΠΊΠ°ΠΆΠ΄ΠΎΠΉ ΠΏΠ΅Ρ€Π΅ΠΌΠ΅Π½Π½ΠΎΠΉ. Π­Ρ‚Π° нормализация отмСняСт Π΅Π΄ΠΈΠ½ΠΈΡ†Ρ‹ измСрСния, ΠΈ Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅ коррСляции всСгда находится ΠΌΠ΅ΠΆΠ΄Ρƒ 0 ΠΈ 1. ΠžΠ±Ρ€Π°Ρ‚ΠΈΡ‚Π΅ Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅, Ρ‡Ρ‚ΠΎ это Π°Π±ΡΠΎΠ»ΡŽΡ‚Π½ΠΎΠ΅ Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅. Π’ случаС ΠΎΡ‚Ρ€ΠΈΡ†Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎΠΉ коррСляции ΠΌΠ΅ΠΆΠ΄Ρƒ двумя ΠΏΠ΅Ρ€Π΅ΠΌΠ΅Π½Π½Ρ‹ΠΌΠΈ, коррСляция находится ΠΌΠ΅ΠΆΠ΄Ρƒ 0 ΠΈ -1. Если ΠΌΡ‹ сравниваСм ΠΎΡ‚Π½ΠΎΡˆΠ΅Π½ΠΈΡ ΠΌΠ΅ΠΆΠ΄Ρƒ трСмя ΠΈΠ»ΠΈ Π±ΠΎΠ»Π΅Π΅ ΠΏΠ΅Ρ€Π΅ΠΌΠ΅Π½Π½Ρ‹ΠΌΠΈ, Π»ΡƒΡ‡ΡˆΠ΅ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ ΠΊΠΎΡ€Ρ€Π΅Π»ΡΡ†ΠΈΡŽ, ΠΏΠΎΡ‚ΠΎΠΌΡƒ Ρ‡Ρ‚ΠΎ Π΄ΠΈΠ°ΠΏΠ°Π·ΠΎΠ½Ρ‹ Π·Π½Π°Ρ‡Π΅Π½ΠΈΠΉ ΠΈΠ»ΠΈ Π΅Π΄ΠΈΠ½ΠΈΡ†Ρ‹ измСрСния ΠΌΠΎΠ³ΡƒΡ‚ Π²Ρ‹Π·Π²Π°Ρ‚ΡŒ Π»ΠΎΠΆΠ½Ρ‹Π΅ прСдполоТСния.

ΠŸΡ€ΠΈΠΌΠ΅Ρ€ коррСляции Π² исслСдовании Ρ€Π°ΠΊΠ° ΠΊΠΎΠΆΠΈ ΠΈ гСографичСской ΡˆΠΈΡ€ΠΎΡ‚ΠΎΠΉ ΡˆΡ‚Π°Ρ‚ΠΎΠ². <a href="https://lh5.googleusercontent.com/E7NWELGVgtf_shMHfiOMgZTzLkcoCwhHzEPRwTVfVgBpe20JdpKBXvQ_fGlbph8WLl8yT6A1TLPJyAMg6IouquUW1uAmbn0jYtBvnma1Ay1kiQsv4WhLfecVePFs-ScjaYelh0lC" target="_blank" rel="noopener noreferrer nofollow">Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ</a>
ΠŸΡ€ΠΈΠΌΠ΅Ρ€ коррСляции Π² исслСдовании Ρ€Π°ΠΊΠ° ΠΊΠΎΠΆΠΈ ΠΈ гСографичСской ΡˆΠΈΡ€ΠΎΡ‚ΠΎΠΉ ΡˆΡ‚Π°Ρ‚ΠΎΠ². Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ

Π¦Π΅Π½Ρ‚Ρ€Π°Π»ΡŒΠ½Π°Ρ ΠΏΡ€Π΅Π΄Π΅Π»ΡŒΠ½Π°Ρ Ρ‚Π΅ΠΎΡ€Π΅ΠΌΠ°

Π’ΠΎ ΠΌΠ½ΠΎΠ³ΠΈΡ… областях, Π²ΠΊΠ»ΡŽΡ‡Π°Ρ СстСствСнныС ΠΈ ΡΠΎΡ†ΠΈΠ°Π»ΡŒΠ½Ρ‹Π΅ Π½Π°ΡƒΠΊΠΈ, ΠΊΠΎΠ³Π΄Π° распрСдСлСниС случайной Π²Π΅Π»ΠΈΡ‡ΠΈΠ½Ρ‹ нСизвСстно, ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ΡΡ Π½ΠΎΡ€ΠΌΠ°Π»ΡŒΠ½ΠΎΠ΅ распрСдСлСниС. Π¦Π΅Π½Ρ‚Ρ€Π°Π»ΡŒΠ½Π°Ρ ΠΏΡ€Π΅Π΄Π΅Π»ΡŒΠ½Π°Ρ Ρ‚Π΅ΠΎΡ€Π΅ΠΌΠ° (с Π°Π½Π³Π». Central limit theorem, CLT) обосновываСт, ΠΏΠΎΡ‡Π΅ΠΌΡƒ Π² Ρ‚Π°ΠΊΠΈΡ… случаях ΠΌΠΎΠΆΠ½ΠΎ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ Π½ΠΎΡ€ΠΌΠ°Π»ΡŒΠ½ΠΎΠ΅ распрСдСлСниС. Богласно CLT, ΠΏΠΎ ΠΌΠ΅Ρ€Π΅ Ρ‚ΠΎΠ³ΠΎ ΠΊΠ°ΠΊ ΠΌΡ‹ Π±Π΅Ρ€Π΅ΠΌ большС Π²Ρ‹Π±ΠΎΡ€ΠΎΠΊ ΠΈΠ· распрСдСлСния, срСдниС значСния Π²Ρ‹Π±ΠΎΡ€ΠΎΠΊ Π±ΡƒΠ΄ΡƒΡ‚ ΡΡ‚Ρ€Π΅ΠΌΠΈΡ‚ΡŒΡΡ ΠΊ Π½ΠΎΡ€ΠΌΠ°Π»ΡŒΠ½ΠΎΠΌΡƒ Ρ€Π°ΡΠΏΡ€Π΅Π΄Π΅Π»Π΅Π½ΠΈΡŽ нСзависимо ΠΎΡ‚ распрСдСлСния насСлСния.

<a href="https://en.wikipedia.org/wiki/Central_limit_theorem" target="_blank" rel="noopener noreferrer nofollow">Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ</a>
Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ

Π’ΠΎΠ·ΡŒΠΌΠ΅ΠΌ Π²Ρ‹Π±ΠΎΡ€ΠΊΡƒ ΠΈΠ· Π½Π°Π±ΠΎΡ€Π° Π΄Π°Π½Π½Ρ‹Ρ… ΠΈ вычислим срСднСС Π΅Π΅ Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅. ПослС ΠΌΠ½ΠΎΠ³ΠΎΠΊΡ€Π°Ρ‚Π½ΠΎΠ³ΠΎ повторСния Π²Ρ‹ нанСсСтС срСдниС значСния ΠΈ ΠΈΡ… частоты Π½Π° Π³Ρ€Π°Ρ„ΠΈΠΊ ΠΈ ΡƒΠ²ΠΈΠ΄ΠΈΡ‚Π΅, Ρ‡Ρ‚ΠΎ Π±Ρ‹Π»Π° создана колоколообразная кривая, Ρ‚Π°ΠΊΠΆΠ΅ извСстная ΠΊΠ°ΠΊ Π½ΠΎΡ€ΠΌΠ°Π»ΡŒΠ½ΠΎΠ΅ распрСдСлСниС. Π‘Ρ€Π΅Π΄Π½Π΅Π΅ Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅ этого распрСдСлСния Π±ΡƒΠ΄Π΅Ρ‚ ΠΎΡ‡Π΅Π½ΡŒ ΠΏΠΎΡ…ΠΎΠΆΠ΅ Π½Π° исходныС Π΄Π°Π½Π½Ρ‹Π΅. Π’Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ ΠΏΠΎΠ²Ρ‹ΡΠΈΡ‚ΡŒ Ρ‚ΠΎΡ‡Π½ΠΎΡΡ‚ΡŒ срСднСго значСния ΠΈ ΡƒΠΌΠ΅Π½ΡŒΡˆΠΈΡ‚ΡŒ стандартноС ΠΎΡ‚ΠΊΠ»ΠΎΠ½Π΅Π½ΠΈΠ΅, взяв большиС Π²Ρ‹Π±ΠΎΡ€ΠΊΠΈ Π΄Π°Π½Π½Ρ‹Ρ… ΠΈ большС Π²Ρ‹Π±ΠΎΡ€ΠΎΠΊ Π² Ρ†Π΅Π»ΠΎΠΌ.

ЛинСйная ΠΈ логистичСская рСгрСссии

ЛинСйная рСгрСссия являСтся ΠΎΠ΄Π½ΠΈΠΌ ΠΈΠ· Π½Π°ΠΈΠ±ΠΎΠ»Π΅Π΅ Ρ„ΡƒΠ½Π΄Π°ΠΌΠ΅Π½Ρ‚Π°Π»ΡŒΠ½Ρ‹Ρ… Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΠΎΠ², ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅ΠΌΡ‹Ρ… для модСлирования ΠΎΡ‚Π½ΠΎΡˆΠ΅Π½ΠΈΠΉ ΠΌΠ΅ΠΆΠ΄Ρƒ зависимой ΠΏΠ΅Ρ€Π΅ΠΌΠ΅Π½Π½ΠΎΠΉ ΠΈ ΠΎΠ΄Π½ΠΎΠΉ ΠΈΠ»ΠΈ нСсколькими нСзависимыми ΠΏΠ΅Ρ€Π΅ΠΌΠ΅Π½Π½Ρ‹ΠΌΠΈ. Π”Π°Π½Π½Ρ‹ΠΉ Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌ Π²ΠΊΠ»ΡŽΡ‡Π°Π΅Ρ‚ Π² сСбя поиск Π»ΠΈΠ½ΠΈΠΈ Π½Π°ΠΈΠ»ΡƒΡ‡ΡˆΠ΅Π³ΠΎ соотвСтствия, ΠΏΡ€Π΅Π΄ΡΡ‚Π°Π²Π»ΡΡŽΡ‰Π΅ΠΉ Π΄Π²Π΅ ΠΈΠ»ΠΈ Π±ΠΎΠ»Π΅Π΅ ΠΏΠ΅Ρ€Π΅ΠΌΠ΅Π½Π½Ρ‹Ρ….

Линия Π½Π°ΠΈΠ»ΡƒΡ‡ΡˆΠ΅Π³ΠΎ соотвСтствия находится ΠΏΡƒΡ‚Π΅ΠΌ ΠΌΠΈΠ½ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ ΠΊΠ²Π°Π΄Ρ€Π°Ρ‚ΠΎΠ² расстояний ΠΌΠ΅ΠΆΠ΄Ρƒ Ρ‚ΠΎΡ‡ΠΊΠ°ΠΌΠΈ ΠΈ Π»ΠΈΠ½ΠΈΠ΅ΠΉ Π½Π°ΠΈΠ»ΡƒΡ‡ΡˆΠ΅Π³ΠΎ соотвСтствия – это извСстно ΠΊΠ°ΠΊ минимизация суммы ΠΊΠ²Π°Π΄Ρ€Π°Ρ‚ΠΎΠ² остатков. ΠžΡΡ‚Π°Ρ‚ΠΎΠΊ Ρ€Π°Π²Π΅Π½ ΠΏΡ€ΠΎΠ³Π½ΠΎΠ·ΠΈΡ€ΡƒΠ΅ΠΌΠΎΠΌΡƒ Π·Π½Π°Ρ‡Π΅Π½ΠΈΡŽ минус фактичСскоС Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅.

ЛогистичСская рСгрСссия Π°Π½Π°Π»ΠΎΠ³ΠΈΡ‡Π½Π° Π»ΠΈΠ½Π΅ΠΉΠ½ΠΎΠΉ рСгрСссии, Π½ΠΎ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ΡΡ для модСлирования вСроятности дискрСтного числа исходов, ΠΎΠ±Ρ‹Ρ‡Π½ΠΎ Π΄Π²ΡƒΡ….

<a href="https://res.cloudinary.com/practicaldev/image/fetch/s--yt2nSddw--/c_imagga_scale,f_auto,fl_progressive,h_420,q_auto,w_1000/https://dev-to-uploads.s3.amazonaws.com/i/l7xj9gkzufp00gt2txzu.png" target="_blank" rel="noopener noreferrer nofollow">Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ</a>
Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ

Условная Π²Π΅Ρ€ΠΎΡΡ‚Π½ΠΎΡΡ‚ΡŒ

Условная Π²Π΅Ρ€ΠΎΡΡ‚Π½ΠΎΡΡ‚ΡŒ – это Π²Π΅Ρ€ΠΎΡΡ‚Π½ΠΎΡΡ‚ΡŒ Ρ‚ΠΎΠ³ΠΎ, Ρ‡Ρ‚ΠΎ событиС ΠΏΡ€ΠΎΠΈΠ·ΠΎΠΉΠ΄Π΅Ρ‚, ΠΈ всСгда ΠΏΡ€ΠΈΠ½ΠΈΠΌΠ°Π΅Ρ‚ Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅ ΠΎΡ‚ 0 Π΄ΠΎ 1 Π²ΠΊΠ»ΡŽΡ‡ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ. Π’Π΅Ρ€ΠΎΡΡ‚Π½ΠΎΡΡ‚ΡŒ события A обозначаСтся ΠΊΠ°ΠΊ p(A) ΠΈ вычисляСтся ΠΊΠ°ΠΊ число ΠΆΠ΅Π»Π°Π΅ΠΌΠΎΠ³ΠΎ Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Π°, Π΄Π΅Π»Π΅Π½Π½ΠΎΠ΅ Π½Π° число всСх исходов. НапримСр, ΠΊΠΎΠ³Π΄Π° Π²Ρ‹ бросаСтС ΠΊΡƒΠ±ΠΈΠΊ, Π²Π΅Ρ€ΠΎΡΡ‚Π½ΠΎΡΡ‚ΡŒ ΠΏΠΎΠ»ΡƒΡ‡ΠΈΡ‚ΡŒ число мСньшС Ρ‡Π΅Ρ‚Ρ‹Ρ€Π΅Ρ… Ρ€Π°Π²Π½Π° 2/3. Π­Ρ‚ΠΎ Π·Π½Π°Ρ‡ΠΈΡ‚, Ссли Π½Π°ΠΌ извСстно, Ρ‡Ρ‚ΠΎ это Π½Π΅Ρ‡Π΅Ρ‚Π½ΠΎΠ΅ число, Ρ‚ΠΎ Π² Π΄Π²ΡƒΡ… ΠΈΠ· Ρ‚Ρ€Π΅Ρ… случаСв сумма ΠΊΡƒΠ±ΠΈΠΊΠΎΠ² Π±ΡƒΠ΄Π΅Ρ‚ мСньшС Ρ‡Π΅Ρ‚Ρ‹Ρ€Π΅Ρ….

<a href="https://www.youtube.com/watch?v=H02B3aMNKzE" target="_blank" rel="noopener noreferrer nofollow">Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ</a>
Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ

Условная Π²Π΅Ρ€ΠΎΡΡ‚Π½ΠΎΡΡ‚ΡŒ – это Π²Π΅Ρ€ΠΎΡΡ‚Π½ΠΎΡΡ‚ΡŒ Ρ‚ΠΎΠ³ΠΎ, Ρ‡Ρ‚ΠΎ событиС A ΠΏΡ€ΠΎΠΈΠ·ΠΎΠΉΠ΄Π΅Ρ‚ ΠΏΡ€ΠΈ условии, Ρ‡Ρ‚ΠΎ Π΄Ρ€ΡƒΠ³ΠΎΠ΅ событиС, ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠ΅ ΡƒΠΆΠ΅ ΠΏΡ€ΠΎΠΈΠ·ΠΎΡˆΠ»ΠΎ, ΠΈΠΌΠ΅Π΅Ρ‚ ΠΎΡ‚Π½ΠΎΡˆΠ΅Π½ΠΈΠ΅ ΠΊ ΡΠΎΠ±Ρ‹Ρ‚ΠΈΡŽ A.

Π’Π΅ΠΎΡ€Π΅ΠΌΠ° БайСса

Π’Π΅ΠΎΡ€Π΅ΠΌΠ° БайСса – это условноС вСроятностноС ΡƒΡ‚Π²Π΅Ρ€ΠΆΠ΄Π΅Π½ΠΈΠ΅. По сущСству ΠΎΠ½Π° рассматриваСт Π²Π΅Ρ€ΠΎΡΡ‚Π½ΠΎΡΡ‚ΡŒ Ρ‚ΠΎΠ³ΠΎ, Ρ‡Ρ‚ΠΎ ΠΎΠ΄Π½ΠΎ событиС (B) ΠΏΡ€ΠΎΠΈΠ·ΠΎΠΉΠ΄Π΅Ρ‚, учитывая, Ρ‡Ρ‚ΠΎ Π΄Ρ€ΡƒΠ³ΠΎΠ΅ событиС (A) ΡƒΠΆΠ΅ ΠΏΡ€ΠΎΠΈΠ·ΠΎΡˆΠ»ΠΎ.

<a href="https://4.bp.blogspot.com/-bQzmQRYNbYc/TcVH-qxi9rI/AAAAAAAAAHY/ibA70L9i7Mw/s1600/bayes1.png" target="_blank" rel="noopener noreferrer nofollow">Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ</a>
Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ

Π­Ρ‚ΠΎ ΠΎΠ΄ΠΈΠ½ ΠΈΠ· самых популярных Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΠΎΠ² машинного обучСния. Наивный байСсовский классификатор, построСн Π½Π° этих Π΄Π²ΡƒΡ… концСпциях. ΠšΡ€ΠΎΠΌΠ΅ Ρ‚ΠΎΠ³ΠΎ Ссли Π²Ρ‹ заинтСрСсованы Π² области ΠΎΠ½Π»Π°ΠΉΠ½-машинного обучСния, Π²Ρ‹, скорСС всСго, Π±ΡƒΠ΄Π΅Ρ‚Π΅ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ байСсовскиС ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹.

***

ΠŸΠΎΠ΄Ρ€ΠΎΠ±Π½Π΅Π΅ ΠΎΠ± этих ΠΈ Π΄Ρ€ΡƒΠ³ΠΈΡ… концСпциях статистики Π²Ρ‹ смоТСтС ΡƒΠ·Π½Π°Ρ‚ΡŒ ΠΈΠ· нашСй ΠΏΠΎΠ΄Π±ΠΎΡ€ΠΊΠΈ курсов, Π²ΠΈΠ΄Π΅ΠΎΠ»Π΅ΠΊΡ†ΠΈΠΉ ΠΈ ΠΊΠ½ΠΈΠ³.

ΠšΡƒΡ€ΡΡ‹

На русском

На английском

Π’ΠΈΠ΄Π΅ΠΎΠ»Π΅ΠΊΡ†ΠΈΠΈ

Statistics And Probability Tutorial | Statistics And Probability for Data Science by Edureka

Statistics and Probability Full Course || Statistics For Data Science

Statistics – A Full University Course on Data Science Basics

Анализ Π΄Π°Π½Π½Ρ‹Ρ… Π½Π° Python Π² ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π°Ρ… ΠΈ Π·Π°Π΄Π°Ρ‡Π°Ρ…

Книги

Practical Statistics for Data Scientists: 50+ Essential Concepts Using R and Python (Π²Ρ‚ΠΎΡ€ΠΎΠ΅ ΠΈΠ·Π΄Π°Π½ΠΈΠ΅ Π½Π° английском) by Peter C. Bruce, Andrew Bruce, Peter Gedeck

πŸ“Š ΠžΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ Data Science: 11 Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΡ‹Ρ… спСциалисту ΠΏΠΎ Π°Π½Π°Π»ΠΈΠ·Ρƒ Π΄Π°Π½Π½Ρ‹Ρ… ΠΊΠΎΠ½Ρ†Π΅ΠΏΡ†ΠΈΠΉ ΠΈΠ· статистики

An Introduction to Statistical Learning: With Applications in R by Gareth M. James, Daniela Witten, Trevor Hastie, Robert Tibshirani

πŸ“Š ΠžΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ Data Science: 11 Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΡ‹Ρ… спСциалисту ΠΏΠΎ Π°Π½Π°Π»ΠΈΠ·Ρƒ Π΄Π°Π½Π½Ρ‹Ρ… ΠΊΠΎΠ½Ρ†Π΅ΠΏΡ†ΠΈΠΉ ΠΈΠ· статистики

Think Stats by Allen B. Downey

πŸ“Š ΠžΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ Data Science: 11 Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΡ‹Ρ… спСциалисту ΠΏΠΎ Π°Π½Π°Π»ΠΈΠ·Ρƒ Π΄Π°Π½Π½Ρ‹Ρ… ΠΊΠΎΠ½Ρ†Π΅ΠΏΡ†ΠΈΠΉ ΠΈΠ· статистики

ΠŸΡ€Π°ΠΊΡ‚ΠΈΡ‡Π΅ΡΠΊΠ°Ρ статистика для спСциалистов Data Science (ΠΏΠ΅Ρ€Π²ΠΎΠ΅ ΠΈΠ·Π΄Π°Π½ΠΈΠ΅ Π½Π° русском языкС) ΠΎΡ‚ Π‘Ρ€ΡŽΡΠ° Π­Π½Π΄Ρ€ΡŽ ΠΈ Π‘Ρ€ΡŽΡΠ° ΠŸΠΈΡ‚Π΅Ρ€

πŸ“Š ΠžΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ Data Science: 11 Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΡ‹Ρ… спСциалисту ΠΏΠΎ Π°Π½Π°Π»ΠΈΠ·Ρƒ Π΄Π°Π½Π½Ρ‹Ρ… ΠΊΠΎΠ½Ρ†Π΅ΠΏΡ†ΠΈΠΉ ΠΈΠ· статистики

Π˜ΡΠΊΡƒΡΡΡ‚Π²ΠΎ статистики. Как Π½Π°Ρ…ΠΎΠ΄ΠΈΡ‚ΡŒ ΠΎΡ‚Π²Π΅Ρ‚Ρ‹ Π² Π΄Π°Π½Π½Ρ‹Ρ… ΠΎΡ‚ Дэвида Π¨ΠΏΠΈΠ³Π΅Π»ΡŒΡ…Π°Π»Ρ‚Π΅Ρ€

πŸ“Š ΠžΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ Data Science: 11 Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΡ‹Ρ… спСциалисту ΠΏΠΎ Π°Π½Π°Π»ΠΈΠ·Ρƒ Π΄Π°Π½Π½Ρ‹Ρ… ΠΊΠΎΠ½Ρ†Π΅ΠΏΡ†ΠΈΠΉ ΠΈΠ· статистики
***

Π˜ΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡ статистику, ΠΌΡ‹ ΠΌΠΎΠΆΠ΅ΠΌ ΠΏΠΎΠ»ΡƒΡ‡ΠΈΡ‚ΡŒ Π³Π»ΡƒΠ±ΠΎΠΊΠΎΠ΅ прСдставлСниС ΠΎ структурировании Π΄Π°Π½Π½Ρ‹Ρ…. Π­Ρ‚ΠΎ позволяСт ΠΎΠΏΡ‚ΠΈΠΌΠ°Π»ΡŒΠ½ΠΎ ΠΏΡ€ΠΈΠΌΠ΅Π½ΡΡ‚ΡŒ ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹ Data Science, Ρ‡Ρ‚ΠΎΠ±Ρ‹ Π΄ΠΎΠ±Ρ‹Ρ‚ΡŒ Π΅Ρ‰Π΅ большС Ρ†Π΅Π½Π½ΠΎΠΉ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ, Π½Π° ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠΉ Π±ΡƒΠ΄ΡƒΡ‚ основаны наши Ρ€Π΅ΡˆΠ΅Π½ΠΈΡ.

ΠœΠ•Π ΠžΠŸΠ Π˜Π―Π’Π˜Π―

ΠšΠΎΠΌΠΌΠ΅Π½Ρ‚Π°Ρ€ΠΈΠΈ

Π’ΠΠšΠΠΠ‘Π˜Π˜

Π”ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ вакансию

Π›Π£Π§Π¨Π˜Π• БВАВЬИ ПО Π’Π•ΠœΠ•