miiingo riiingo

Chapter 7. 데이터에서 맨 처음 봐야 하는 것 Part2 - 집중경향치 여기 짱이 누구냐? 데이터의 특성을 전달하는 가장 좋은 방법은? - N=20인 샘플 데이터 -> 하나씩 다 알려준다 - N=100만인 샘플 데이터 -> 모든 숫자들을 대표하는 값을 알려준다 집중경향치 - 데이터의 특성을 나타내는 숫자 딱 한개 평균과 중앙치 수치적으로 가운데 - 모든 수치를 다 더해서 개수로 나눈다 -> 평균(mean) - 모평균(μ, 뮤)은 모집단의 mean - 표본평균(, 엑스바)은 표본의 mean 순서로 가운데 - 크기 순으로 일렬로 세웠을 때 순서가 가운데인 것 -> 중앙치(median) - 중앙치와 평균이 일치하지 않을 수도, 일치할 수도 있다. 최빈치 가장 많이 등장한 수치를 대표로 뽑자! - 최빈치..

Chapter 6. 데이터에서 맨 처음 봐야 하는 것 Part1 - 분포의 모양 분포(distribution) 분포(distribution) - 데이터의 대략적인 형태 - 분포는 '데이터는 대략적으로 어떻게 생겼는가?'를 알려준다! 히스토그램 : 구간별 데이터의 개수를 나타낸 막대그래프 정규분포(normal distribution) 정규분포(normal distribution) (a.k.a. 정상분포) - 좌우대칭 종모양 - 평균을 중심으로 좌우대칭으로 데이터가 골고루 퍼져있는 형태 - 고르게 퍼져있는 데이터의 상태 편포 - 데이터가 한쪽으로 치우쳐져 있을 때의 분포 정규분포임을 확인하는 이유 데이터 모양이 정규분포라고 가정하고 풀어라 이유? #1 전통적 통계분석 방법 - 모집단이 정산분포라고 가정하고 ..

모집단의 평균과 표준편차 평균 : 데이터의 각 수치를 전부 더한 다음에 개수로 나누면 된다 모집단의 평균 = 모평균(μ, 뮤) - 모집단의 데이터에서 구해낸 평균 - μ = ∑X/N ※ ∑(시그마): 더해라(sum)라는 연산 기호 X: 각 데이터 하나하나를 의미 N: 표집수, 데이터 개수 -> 모집단 평균이라는 것은 모집단의 각 데이터를 다 더한 것을 데이터의 총 개수인 N으로 나눈 것이다. 모집단의 표준편차 = 모표준편자(σ, 시그마) - ∑(시그마)와 이름만 같음 모수치 - 모집단의 데이터가 있을 때의 모평균(μ)과 모표준편차(σ) - 즉, μ와 σ - 현실에 없는 데이터 표본의 평균과 표준편차 표본의 평균 = 표본평균(X바, 엑스바) - 다른 알파벳을 사용해도 상관 없음(제일 많이 사용하는 알파벳은..

Chapter 4. 샘플링을 잘못하면 일어나는 대참사 - 편향(bias) 대통령 선거 결과 예측하기 리터러리 다이제스트's 예측 - 모집단 = 1000만 - N = 260만 => 57%로 "랜던"이 우세 조지 갤럽's 예측 - 5만 개의 데잍터를 별도로 샘플링 - N = 5만 => 56%로 "루즈벨트"가 우세 최종 결과 61% 득표로 "루즈벨트"가 WIN 편파된 데이터! - 리터러리 다이제스트는 전화를 통해 260만 명의 사람들에게 설문조사 - 그 당시 전화를 가지고 있던 사람들은 대부분 부유층 - 조지 갤럽은 다양한 사람들 5만 명에게 설문조사 Bias = 편향 - 데이터의 양이 중요한 게 아니라 질이 중요하다! - 불편향 데이터가 중요 - 질 좋은 데이터 5만 개가 26억 개 데이터보다 낫다 편향을 ..

Chapter 3. 데이터는 항상 없다! 그럼 어떻게 모으지? - 모집단과 랜덤샘플링 데이터를 모으자 질 좋은 데이터는 요구 조건에 따라 달라진다 - 어떤 결과를 어떻게 얻고 싶은데? - 데이터에서는 왜 하는지, 무엇을 위해서 할 것인지가 더 중요 - 쓰레기를 넣으면 쓰레기가 나온다 모집단과 표본 ex) 요구 조건: 우리나라 20대 성인은 대체로 신장(키)이 몇 cm인가? - 모든 데이터에 대해 평균 값을 구하면 됨 - 문제는 이러한 데이터가 없다! 모집단(population) : 원래 구하고 싶은 데이터 전체 (상식적으로 구하기 어려움) 표본(sample) : 모집단의 특성을 파악하기 위해서 모집단 중 일부를 선택하여 얻어진 데이터 표집(sampling) : 모집단에서 표본을 뽑아내는 과정 표집수(N)..

Chapter 2. 빅데이터와 머신러닝 시대, 뭘 배워야 하지? - 통계, 수학, 도구 빅데이터와 머신러닝 빅데이터 - 엄청나게 많은(BIG) 데이터 - 대량으로 축적된 데이터 덩어리 - 대량의 데이터를 활용하는 방법론, 알고리즘 머신러닝 - 알고리즘 선택/분석 단계에 속함 - 머신러닝 = 수단 (목적 X) 머신러닝 사용법 1. 목적을 정의한다. 2. 목적에 맞는 데이터가 있어야한다. 3. 어떤 머신러닝 기법을 쓸지 선택한다. 기술의 발전 - 2010년대에 들어와서 제대로 활성화됨 - 저장장치에 대한 기술의 발달로 인해 빅데이터와 머신러닝 기술이 발달 - '이 엄청난 데이터를 분석하면 뭔가 얻을 수 있지 않을까?'에서 시작 데이터 분석 고수의 Skill #1 통계 - 통계의 기초 부분만 알아도 보는 눈이..

Chapter 1. 이 데이터분석, 왜 하는거지? - 목표와 순서 데이터를 분석하는 목표와 순서 데이터 분석의 처음은 목표를 명확히, 구체적으로 정의 ex) 홈페이지 개편 후 고객들의 '만족' 평가 시 - '만족한다'는 의미를 어떻게 정의할 것인가 - 무엇으로 만족도를 측정할 것인다 데이터는 어떻게 생겼는지 파악 - 단순수치, 통계적 특성, 현업용어, 히스토리, 전문용어, 실무자면담 등이 포함 - 모든 데이터는 문제가 있다!!! → 문제점 파악이 필요 - 데이터를 어떻게 다듬느냐에 따라서 분석의 정확도가 달라진다. 전처리 : 기본적인 데이터를 다듬는 과정 그 놈의 그래프 좀 그만 그려라 시각화 : 데이터를 기반으로 그린 그래프 혹은 그것을 그리는 과정 데이터에 대한 기본적인 이해 없이 그래프만 그리는 것..