miiingo riiingo

Chapter 8. 데이터에서 맨 처음 봐야 하는 것 Part3 - 분산과 표준편차(1) 아직 한발 남았다 데이터를 분석할 때 가장 먼저 해야되는 것들 - 분포의 모양 - 집중경향치 이 두 개만 알면 데이터의 특성을 다 이해한 걸까? ex) 데이터 A = [1, 2, 3, 4, 5] 데이터 B = [1, 3, 5] - 평균 : 3 - 좌우대칭 분포 - 같은 데이터? X! => 분포와 집중경향치만으로는 데이터의 특성을 다 알 수 없다 편차 A와 B는 데이터가 떨어진 정도가 다름 평균으로부터 각각의 수치들이 떨어진 거리가 다르다! 거리를 수치화하면 'A,B는 다른 데이터'임을 나타낼 수 있다. 1. 평균에서 각 데이터까지의 '거리'를 구한다 - 구해진 각각의 거리 = 편차 2. 거리(편차)의 짱(평균)을 뽑..

Chapter 7. 데이터에서 맨 처음 봐야 하는 것 Part2 - 집중경향치 여기 짱이 누구냐? 데이터의 특성을 전달하는 가장 좋은 방법은? - N=20인 샘플 데이터 -> 하나씩 다 알려준다 - N=100만인 샘플 데이터 -> 모든 숫자들을 대표하는 값을 알려준다 집중경향치 - 데이터의 특성을 나타내는 숫자 딱 한개 평균과 중앙치 수치적으로 가운데 - 모든 수치를 다 더해서 개수로 나눈다 -> 평균(mean) - 모평균(μ, 뮤)은 모집단의 mean - 표본평균(, 엑스바)은 표본의 mean 순서로 가운데 - 크기 순으로 일렬로 세웠을 때 순서가 가운데인 것 -> 중앙치(median) - 중앙치와 평균이 일치하지 않을 수도, 일치할 수도 있다. 최빈치 가장 많이 등장한 수치를 대표로 뽑자! - 최빈치..

Chapter 6. 데이터에서 맨 처음 봐야 하는 것 Part1 - 분포의 모양 분포(distribution) 분포(distribution) - 데이터의 대략적인 형태 - 분포는 '데이터는 대략적으로 어떻게 생겼는가?'를 알려준다! 히스토그램 : 구간별 데이터의 개수를 나타낸 막대그래프 정규분포(normal distribution) 정규분포(normal distribution) (a.k.a. 정상분포) - 좌우대칭 종모양 - 평균을 중심으로 좌우대칭으로 데이터가 골고루 퍼져있는 형태 - 고르게 퍼져있는 데이터의 상태 편포 - 데이터가 한쪽으로 치우쳐져 있을 때의 분포 정규분포임을 확인하는 이유 데이터 모양이 정규분포라고 가정하고 풀어라 이유? #1 전통적 통계분석 방법 - 모집단이 정산분포라고 가정하고 ..

Chapter 4. 샘플링을 잘못하면 일어나는 대참사 - 편향(bias) 대통령 선거 결과 예측하기 리터러리 다이제스트's 예측 - 모집단 = 1000만 - N = 260만 => 57%로 "랜던"이 우세 조지 갤럽's 예측 - 5만 개의 데잍터를 별도로 샘플링 - N = 5만 => 56%로 "루즈벨트"가 우세 최종 결과 61% 득표로 "루즈벨트"가 WIN 편파된 데이터! - 리터러리 다이제스트는 전화를 통해 260만 명의 사람들에게 설문조사 - 그 당시 전화를 가지고 있던 사람들은 대부분 부유층 - 조지 갤럽은 다양한 사람들 5만 명에게 설문조사 Bias = 편향 - 데이터의 양이 중요한 게 아니라 질이 중요하다! - 불편향 데이터가 중요 - 질 좋은 데이터 5만 개가 26억 개 데이터보다 낫다 편향을 ..

Chapter 3. 데이터는 항상 없다! 그럼 어떻게 모으지? - 모집단과 랜덤샘플링 데이터를 모으자 질 좋은 데이터는 요구 조건에 따라 달라진다 - 어떤 결과를 어떻게 얻고 싶은데? - 데이터에서는 왜 하는지, 무엇을 위해서 할 것인지가 더 중요 - 쓰레기를 넣으면 쓰레기가 나온다 모집단과 표본 ex) 요구 조건: 우리나라 20대 성인은 대체로 신장(키)이 몇 cm인가? - 모든 데이터에 대해 평균 값을 구하면 됨 - 문제는 이러한 데이터가 없다! 모집단(population) : 원래 구하고 싶은 데이터 전체 (상식적으로 구하기 어려움) 표본(sample) : 모집단의 특성을 파악하기 위해서 모집단 중 일부를 선택하여 얻어진 데이터 표집(sampling) : 모집단에서 표본을 뽑아내는 과정 표집수(N)..

Chapter 2. 빅데이터와 머신러닝 시대, 뭘 배워야 하지? - 통계, 수학, 도구 빅데이터와 머신러닝 빅데이터 - 엄청나게 많은(BIG) 데이터 - 대량으로 축적된 데이터 덩어리 - 대량의 데이터를 활용하는 방법론, 알고리즘 머신러닝 - 알고리즘 선택/분석 단계에 속함 - 머신러닝 = 수단 (목적 X) 머신러닝 사용법 1. 목적을 정의한다. 2. 목적에 맞는 데이터가 있어야한다. 3. 어떤 머신러닝 기법을 쓸지 선택한다. 기술의 발전 - 2010년대에 들어와서 제대로 활성화됨 - 저장장치에 대한 기술의 발달로 인해 빅데이터와 머신러닝 기술이 발달 - '이 엄청난 데이터를 분석하면 뭔가 얻을 수 있지 않을까?'에서 시작 데이터 분석 고수의 Skill #1 통계 - 통계의 기초 부분만 알아도 보는 눈이..

Chapter 1. 이 데이터분석, 왜 하는거지? - 목표와 순서 데이터를 분석하는 목표와 순서 데이터 분석의 처음은 목표를 명확히, 구체적으로 정의 ex) 홈페이지 개편 후 고객들의 '만족' 평가 시 - '만족한다'는 의미를 어떻게 정의할 것인가 - 무엇으로 만족도를 측정할 것인다 데이터는 어떻게 생겼는지 파악 - 단순수치, 통계적 특성, 현업용어, 히스토리, 전문용어, 실무자면담 등이 포함 - 모든 데이터는 문제가 있다!!! → 문제점 파악이 필요 - 데이터를 어떻게 다듬느냐에 따라서 분석의 정확도가 달라진다. 전처리 : 기본적인 데이터를 다듬는 과정 그 놈의 그래프 좀 그만 그려라 시각화 : 데이터를 기반으로 그린 그래프 혹은 그것을 그리는 과정 데이터에 대한 기본적인 이해 없이 그래프만 그리는 것..

■■■■■■■■■■ FDS의 기본개념 ■■■■■■■■■■ ● FDS란? FDS(Fraud Detection System: 이상감지시스템)이란 말 그대로 이상 감지 시스템, 즉, 사기 금융거래 방지 시스템이다. 2001년 온라인 전자 결제 시스템을 제공하는 미국 기업 페이팔이 해커의 공격으로 피해를 본 뒤 기존과 다른 패턴의 수상한 금융거래를 탐지하는 시스템을 개발해 적용한 것이 시작 한 해커가 페이팔 여러 계정에서 소액을 이체해가는 사건이 발생. FBI가 이 사건을 담당해 범인을 잡고자 했지만 이렇다 할 성과는 거두지 못했다. 이 사건을 계기로 페이팔은 스스로 보안을 구축해나가야겠다는 다짐으로 FDS (Fraud Detection System, 이상금융거래탐지시스템 또는 부정사용방지시스템)를 독자적으로 ..

Hyperledger Fabric 1.1 Deep Dive & 1.2 New Features(삼성SDS 정연호 Senior Consultant) Private Data 데이터의 Hash 값만 전달 허가된 peer에게만 데이터 공개 JIRA Hyperledger Fabric v1.3 Release Planning 확인 가능 Architecture Secure Container : TLS를 적용한 Docker 컨테이너 Secure Registry : DockerHub를 사용하지 않고 Custom 레지스트리로 Docker 이미지 관리 Peer Event Hub를 통해 새로운 블록 생성 시 통신 Orderer kafka : 메세지 전송. 순서 보장. 안정 MSP 개인 키 & 공개 키 cryptogen/CA로 생..

K8s: User Groups 공동 워크샵 II-2 (남정현 - Korea Azure User Group) 남정현 - 한국 Azure 사용자 그룹발표 자료 : https://www.slideshare.net/rkttu/kubernetes-windows-application DEVSISTERS의 사례 리눅스 워크로드와 윈도 워크로드를 하나의 클러스터에서. Kubernetes의 고가용성 전략을 Windows에서 그대로 사용 Windows만의 장점인 고성능 I/O Completion Port 지원 기존의 Legacy Application을 클러스터 환경으로 손쉽게 확장 하이브리드 K8S 클러스터 구축 Windows와 Linux Pod이 공존하며 Cross Communication 전개 쿠키워즈 개발/QA 환경..

K8s: User Groups 공동 워크샵 II-1 (최영락 - OpenStack Korea User Group & Microsoft MVP) 발표 자료 : https://www.slideshare.net/openstack_kr/openinfra-days-korea-2018-k8s-workshop-with-containers-k8s-on-openstack-azure?ref=https://www.slideshare.net/openstack_kr/slideshelf 컨테이너 인프라와 Kubernetes (K8s) 소개컨테이너패키징 및 배포 결과 VM 대안으로 보다 가볍고 효율적인 다양한 사례 등장하나의 가상머신이 될수도 피지컬 하드웨어가 될 수도 있다. 가볍고 효율적이게 등장. 도커는?Linux 컨테이너 서..

실 업무에 사용해보는 Kubernetes (공진기 - IBM)github(jgkong/kubernetes-handson) : https://github.com/jgkong/kubernetes-handsondeveloperWorks에 정리해서 업로드 예정 Build and run Create simple page index.html\ncat index.html\n\n# Dockerfile 작성\ncat > Dockerfile jgkong/kubernetes-handson developerWorks에 정리해서 업로드 예정 # nginx 실행을 위한 기본 html 파일 작성 mkdir web cd web echo "Hello Kubernetes" > index.html cat index.html # Docke..

이 글은 '박승철 블록체인과 하이퍼레저 패브릭' 강의를 듣고 개인적으로 정리한 내용입니다. 동영상 강의 : https://www.youtube.com/watch?v=Sk3d0gGnwKM&t=3s 박승철의 블록체인 강의: 3강 Hyperledger Fabric 거래의 처리하이퍼레저 패브릭 거래거래블록체인에 스마트 계약 프로그램인 체인코드(chaincode)를 설치하고, 기존에 설치된 체인코드를 실행하기 위해 호출하는 동작(operation)전체 네트워크의 피어들에게 전달되어 블록체인에 기록되기 전에 먼저 보증 피어들에 의해 보증보증 피어에 의해 보증된 거래들만 확정(commit)되어 블록체인에 기록 가능거래유형배치 거래(deploy transaction)호출 거래(invoke transaction)배치 거..

이 글은 '박승철블록체인과하이퍼레저패브릭' 강의를 듣고 개인적으로 정리한 내용입니다. 동영상 강의 : https://www.youtube.com/watch?v=rrQp-ncNFm4박승철의 블록체인 강의: 2강 Hyperledger Fabric의 구조 블록체인 구조 하이퍼레저 패브릭의 구조는 이더리움과 상당히 유사. 구성 레저(ledger) + 전체 상태(world state) 계약을 실행하는 프로그램 코드(체인코드)들이 블록에 들어있음 체인코드를 실행한 결과가 전체 상태(world state)에 저장됨 -> 결과에 대한 상태 정보를 저장 전체 상태(world state)에서는 키-값에 대한 버전을 관리함 레저(ledger)에는 거래 정보만 저장 전체 상태(world state) 거래 실행 결과에 따라 변..

이 글은 박승철블록체인과하이퍼레저패브릭 강의를 듣고 개인적으로 정리한 내용입니다. 동영상 강의 : https://www.youtube.com/watch?v=hh9NXQQRtx4박승철의 블록체인 강의: 1강 Hyperledger Fabric 개요하이퍼레저 프로젝트목표기존 블록체인 시스템 : 낮은 성능, 신원 확인 결여, 무한 경쟁에 따른 과다한 자원 소모기존 블록체인 시스템들에 비해 높은 성능, 신뢰성, 자원 효율성, 그리고 참여자 관리 등 비즈니스 응용의 요구사항을 충족시킬 수 있는 블록체인과 분산 원장(distributed ledger)에 개발에 산업계의 협력 촉진수행 기관리눅스 재단(Linux Foundation)프로젝트에는 IBM, 인텔을 포함한 많은 ICT 업체, J.P.Morgan을 포함한 유수..