miiingo riiingo

Chapter 5. 기본 용어와 기호부터 알고 가자 - 모수치와 표본수치 모집단의 평균과 표준편차 평균 : 데이터의 각 수치를 전부 더한 다음에 개수로 나누면 된다 모집단의 평균 = 모평균(μ, 뮤) - 모집단의 데이터에서 구해낸 평균 - μ = ∑X/N ※ ∑(시그마): 더해라(sum)라는 연산 기호 X: 각 데이터 하나하나를 의미 N: 표집수, 데이터 개수 -> 모집단 평균이라는 것은 모집단의 각 데이터를 다 더한 것을 데이터의 총 개수인 N으로 나눈 것이다. 모집단의 표준편차 = 모표준편자(σ, 시그마) - ∑(시그마)와 이름만 같음 모수치 - 모집단의 데이터가 있을 때의 모평균(μ)과 모표준편차(σ) - 즉, μ와 σ - 현실에 없는 데이터 표본의 평균과 표준편차 표본의 평균 = 표본평균(X바, ..

Chapter 13. 데이터 분석 실습 Part3 - 이 데이터, 뭐가 문제일까? 이 데이터는 무엇이 문제인가? - 편향(Bias) 잘못 뽑지 않았는가? 편향되게 뽑지 않았는가? 특정 기준에 치우치지 않았는가? 코드 - 범주형 데이터 - 카테고리 형식으로 되어 있는 데이터 - ex) 남자=1, 여자=2 남녀의 비율? -> 53:46 신장의 평균? -> 162cm 신장에 따라 허리둘레가 영향을 받는데 신장의 평균 값이 남자 수치도, 여자 수치도 아니라면? 요구 목적에 따라서 편향된 데이터일 수도 있고, 아닌 데이터일 수도 있다! 성별에 따른 차이 -> 문제인지 아닌지 판단하고 분석을 진행하자 콜레스테롤, 혈압 -> 연령에 심각하게 영향을 받는 수치 연령대별로 데이터 개수가 다르다면? 목적에 부합하도록 잘 ..

Chapter 12. 데이터 분석 실습 Part2 - 결측치 처리 이 데이터는 무엇이 문제인가? - Null, NaN 칼럼 별로 데이터 개수가 다르다 빈 값 처리를 안하면 평균부터 망한다! 1. 칼럼 별로 빈 개수가 다르다 2. 같은 행의 데이터가 빈 것인지 알 수 없다 개수가 같다고 같은 위치가 비어있는 것은 아니다! 이것을 처리하는 방법? 빈 값이 하나라도 있으면 그 행은 버린다! 정리 1. 필요 없거나 쓸모 없는 칼럼(열) 정리 : 샘플 개수가 너무 적거나 아예 없는 칼럼은 버림 2. 결측치 정리 - 각 칼럼별로 N(개수)이 다르다면 결측치가 존재 - 각 칼럼 중 어느 하나라도 빈 값이 있는 행은 그냥 버림

Chapter 11. 데이터 분석 실습 Part1 - 데이터 확인과 기술 통계 실습 ※ 실습 전 주의사항 - 데이터 분석에는 정답이 없다 - 파이썬 프로그래밍 언어를 사용 실습의 목표 - 데이터에서 무엇이 문제인지 직접 찾아내는 것 - 문제의 해결보다 문제 자체를 정확하게 정의하는 데에 중점 구글 드라이브에 복사본 저장해놓음. 정리 1. 목적 정의 : 분석 목적을 명확하게 정의 2. 데이터 확인 : 정의된 분석 목적을 보면서 더 고려해볼 점은 없는지, 부족한 데이터는 없는지 확인 3. 구글 드라이브의 데이터 불러오기 4. Import Libraries : 분석에 필요한 다양한 기능 불러오기 5. 데이터 구조 파악 : 컬럼명, 각 컬럼의 데이터 타입, 기술통계

Chapter 10. 어디나 문제아는 있다 - 아웃라이어(outlier) 왜 문제아인가? 데이터 분석은 왜 하는가? - 객관적 사실, 경향성 등을 파악 - 분석 결과를 바탕으로 의사결정 아웃라이어 - 객관적 판단의 방해꾼 - 분석 목적을 제대로 달성할 수 없다 - 모든 데이터에 무조건 다 존재한다! - 분석 결과 왜곡 - 자기가 문제아라는 걸 모른다... - 직접 아웃라이어를 색출하라!! 1. 아웃라이어(outlier)는 분석 결과를 심하게 왜곡시키거나 망가뜨리는 문제아 데이터이다. 2. 아웃라이어는 분야를 막론하고 모든 데이터에 다 존재한다. 3. 아웃라이어는 자기자신이 문제아인지 모르므로, 분석하는 내가 판단하고 처리해야 한다. 어디나 반드시 있다, 아웃라이어 아웃라이어가 생기는 이유 - 사람의 실수..

Chapter 9. 데이터에서 맨 처음 봐야 하는 것 Part3 - 분산과 표준편차(2) 분산 1. A 데이터만 일단 보자 - 편차(거리)에 음수가 있어서 더해도 0만 나온다! - -를 +로 바꾸는 법 -> 절대값 OR 제곱 2. 거리제곱의 평균을 구하라 - 제곱된 거리의 평균을 낸다 -> 이렇게 하면 양수만 나오기 때문에! 3. B 데이터도 구해보자 - A의 편차제곱의 평균 = 2 - B의 편차제곱의 평균 = 2.67 => B가 더 벌어져 있다 분산(σ²) - 편차제곱의 평균 - 분산(σ²) = ∑(X-μ)²/N - 데이터의 벌어진 정도를 비교할 수 있다 분산과 분포의 관계 분산이 크다 = 평균에 수렴하지 않는다 넓게 퍼져있는 모양 분산이 작다 = 평균에 수렴한다 뾰족한 모양 데이터 비교에는 문제가 없..

Chapter 8. 데이터에서 맨 처음 봐야 하는 것 Part3 - 분산과 표준편차(1) 아직 한발 남았다 데이터를 분석할 때 가장 먼저 해야되는 것들 - 분포의 모양 - 집중경향치 이 두 개만 알면 데이터의 특성을 다 이해한 걸까? ex) 데이터 A = [1, 2, 3, 4, 5] 데이터 B = [1, 3, 5] - 평균 : 3 - 좌우대칭 분포 - 같은 데이터? X! => 분포와 집중경향치만으로는 데이터의 특성을 다 알 수 없다 편차 A와 B는 데이터가 떨어진 정도가 다름 평균으로부터 각각의 수치들이 떨어진 거리가 다르다! 거리를 수치화하면 'A,B는 다른 데이터'임을 나타낼 수 있다. 1. 평균에서 각 데이터까지의 '거리'를 구한다 - 구해진 각각의 거리 = 편차 2. 거리(편차)의 짱(평균)을 뽑..

Chapter 7. 데이터에서 맨 처음 봐야 하는 것 Part2 - 집중경향치 여기 짱이 누구냐? 데이터의 특성을 전달하는 가장 좋은 방법은? - N=20인 샘플 데이터 -> 하나씩 다 알려준다 - N=100만인 샘플 데이터 -> 모든 숫자들을 대표하는 값을 알려준다 집중경향치 - 데이터의 특성을 나타내는 숫자 딱 한개 평균과 중앙치 수치적으로 가운데 - 모든 수치를 다 더해서 개수로 나눈다 -> 평균(mean) - 모평균(μ, 뮤)은 모집단의 mean - 표본평균(, 엑스바)은 표본의 mean 순서로 가운데 - 크기 순으로 일렬로 세웠을 때 순서가 가운데인 것 -> 중앙치(median) - 중앙치와 평균이 일치하지 않을 수도, 일치할 수도 있다. 최빈치 가장 많이 등장한 수치를 대표로 뽑자! - 최빈치..

Chapter 6. 데이터에서 맨 처음 봐야 하는 것 Part1 - 분포의 모양 분포(distribution) 분포(distribution) - 데이터의 대략적인 형태 - 분포는 '데이터는 대략적으로 어떻게 생겼는가?'를 알려준다! 히스토그램 : 구간별 데이터의 개수를 나타낸 막대그래프 정규분포(normal distribution) 정규분포(normal distribution) (a.k.a. 정상분포) - 좌우대칭 종모양 - 평균을 중심으로 좌우대칭으로 데이터가 골고루 퍼져있는 형태 - 고르게 퍼져있는 데이터의 상태 편포 - 데이터가 한쪽으로 치우쳐져 있을 때의 분포 정규분포임을 확인하는 이유 데이터 모양이 정규분포라고 가정하고 풀어라 이유? #1 전통적 통계분석 방법 - 모집단이 정산분포라고 가정하고 ..

모집단의 평균과 표준편차 평균 : 데이터의 각 수치를 전부 더한 다음에 개수로 나누면 된다 모집단의 평균 = 모평균(μ, 뮤) - 모집단의 데이터에서 구해낸 평균 - μ = ∑X/N ※ ∑(시그마): 더해라(sum)라는 연산 기호 X: 각 데이터 하나하나를 의미 N: 표집수, 데이터 개수 -> 모집단 평균이라는 것은 모집단의 각 데이터를 다 더한 것을 데이터의 총 개수인 N으로 나눈 것이다. 모집단의 표준편차 = 모표준편자(σ, 시그마) - ∑(시그마)와 이름만 같음 모수치 - 모집단의 데이터가 있을 때의 모평균(μ)과 모표준편차(σ) - 즉, μ와 σ - 현실에 없는 데이터 표본의 평균과 표준편차 표본의 평균 = 표본평균(X바, 엑스바) - 다른 알파벳을 사용해도 상관 없음(제일 많이 사용하는 알파벳은..

Chapter 4. 샘플링을 잘못하면 일어나는 대참사 - 편향(bias) 대통령 선거 결과 예측하기 리터러리 다이제스트's 예측 - 모집단 = 1000만 - N = 260만 => 57%로 "랜던"이 우세 조지 갤럽's 예측 - 5만 개의 데잍터를 별도로 샘플링 - N = 5만 => 56%로 "루즈벨트"가 우세 최종 결과 61% 득표로 "루즈벨트"가 WIN 편파된 데이터! - 리터러리 다이제스트는 전화를 통해 260만 명의 사람들에게 설문조사 - 그 당시 전화를 가지고 있던 사람들은 대부분 부유층 - 조지 갤럽은 다양한 사람들 5만 명에게 설문조사 Bias = 편향 - 데이터의 양이 중요한 게 아니라 질이 중요하다! - 불편향 데이터가 중요 - 질 좋은 데이터 5만 개가 26억 개 데이터보다 낫다 편향을 ..

Chapter 3. 데이터는 항상 없다! 그럼 어떻게 모으지? - 모집단과 랜덤샘플링 데이터를 모으자 질 좋은 데이터는 요구 조건에 따라 달라진다 - 어떤 결과를 어떻게 얻고 싶은데? - 데이터에서는 왜 하는지, 무엇을 위해서 할 것인지가 더 중요 - 쓰레기를 넣으면 쓰레기가 나온다 모집단과 표본 ex) 요구 조건: 우리나라 20대 성인은 대체로 신장(키)이 몇 cm인가? - 모든 데이터에 대해 평균 값을 구하면 됨 - 문제는 이러한 데이터가 없다! 모집단(population) : 원래 구하고 싶은 데이터 전체 (상식적으로 구하기 어려움) 표본(sample) : 모집단의 특성을 파악하기 위해서 모집단 중 일부를 선택하여 얻어진 데이터 표집(sampling) : 모집단에서 표본을 뽑아내는 과정 표집수(N)..

Chapter 2. 빅데이터와 머신러닝 시대, 뭘 배워야 하지? - 통계, 수학, 도구 빅데이터와 머신러닝 빅데이터 - 엄청나게 많은(BIG) 데이터 - 대량으로 축적된 데이터 덩어리 - 대량의 데이터를 활용하는 방법론, 알고리즘 머신러닝 - 알고리즘 선택/분석 단계에 속함 - 머신러닝 = 수단 (목적 X) 머신러닝 사용법 1. 목적을 정의한다. 2. 목적에 맞는 데이터가 있어야한다. 3. 어떤 머신러닝 기법을 쓸지 선택한다. 기술의 발전 - 2010년대에 들어와서 제대로 활성화됨 - 저장장치에 대한 기술의 발달로 인해 빅데이터와 머신러닝 기술이 발달 - '이 엄청난 데이터를 분석하면 뭔가 얻을 수 있지 않을까?'에서 시작 데이터 분석 고수의 Skill #1 통계 - 통계의 기초 부분만 알아도 보는 눈이..

Chapter 1. 이 데이터분석, 왜 하는거지? - 목표와 순서 데이터를 분석하는 목표와 순서 데이터 분석의 처음은 목표를 명확히, 구체적으로 정의 ex) 홈페이지 개편 후 고객들의 '만족' 평가 시 - '만족한다'는 의미를 어떻게 정의할 것인가 - 무엇으로 만족도를 측정할 것인다 데이터는 어떻게 생겼는지 파악 - 단순수치, 통계적 특성, 현업용어, 히스토리, 전문용어, 실무자면담 등이 포함 - 모든 데이터는 문제가 있다!!! → 문제점 파악이 필요 - 데이터를 어떻게 다듬느냐에 따라서 분석의 정확도가 달라진다. 전처리 : 기본적인 데이터를 다듬는 과정 그 놈의 그래프 좀 그만 그려라 시각화 : 데이터를 기반으로 그린 그래프 혹은 그것을 그리는 과정 데이터에 대한 기본적인 이해 없이 그래프만 그리는 것..