Recent Updates

4.3 회귀분석의 특징과 제약  

4.2 로지스틱 회귀분석(Logistic Regression Analysis) 목표변수가 이항형 또는 다항형인 경우 사용   4.2.1 로지스틱 단순 회귀모형 y가 이항형일 경우(y=0 또는 1) 단순선형 회귀식 사용의 문제 y= 0.1 + 0.01x 인 경우 x = 1000 이라면, y = 10.1로 범위를 벗어남. y에 대한 확률분포가 이항변수를 가지는 베르누이 분포에 의해 모형화되지 않고, 흔히 정규분포로 모형화 됨. 로짓변환(logit transformation) ln(P(y=1|x)/(1-P(

4.1 선형 회귀분석(Linear Regression Analysis) 일차(선형) 방정식 형태 y =  α + βx 입력변수의 수에 따른 분류 단순 회귀 분석(Simple Regression) : 입력변수(설명변수) 1개 다중 회귀 분석(Multiple Regression) : 입력변수(설명변수) 여러 개   4.1.1 단순 회귀모형(Simple Regression) y = α + βx + ε a, b : 회귀계수(Regression Coeffcient) ε: 기대값 0과 분산 δ

제4장 선형 회귀분석(Linear Regression Analysis) 한 변수(목표변수)가 다른 변수(입력변수)들에 의해서 어떻게 설명(explanation) 또는 예측(prediction)되는지 알아 봄. 자료를 적절한 함수식으로 표현    

3.3 의사결정나무의 특징   3.3.1 의사결정나무분석의 장점 해석의 용이성 나무구조로 표현되기 때문에 쉽게 이해할 수 있다. 중요한 입력변수 쉽게 파악 상호작용 효과의 해석 두 개 이상의 변수가 결합하여 목표변수에 어떻게 영향을 주는지 쉽게 파악 상호작용의 효과 또는 비선형성(nonlinearity)을 자동적으로 찾아냄 비모수적 모형 선형성, 정규성 또는 등분산성의 가정을 필요로 하지 않는 비모수적인 방법 순위(rank)만 분석에 영향을 주므로 이상치(outlier)에 민감하지 않다.  

3.2 의사결정나무의 분리기준 분리기준(split criterion) 자식node들이 형성될 때, 입력 변수의 선택과 범주의 병합이 이루어 질 기준 순수도(purity) 목표변수의 특정 범주에 개체들이 포함되어 있는 정도 자식노드로 갈 수록 순수도가 증가 불순도(impurity) 3.2.1 분류나무: 이산형 목표변수의 경우 빈도(Frequence)에 기초하여 분리 분리기준 카이제곱통계량의 p-값(p-value of Chi-Square statistic): p-값이 가장 작은 예측 변수와 그때의 최적분리에 의해

3.1 의사결정나무의 개념 탐색과 모형화라는 두가지 특성 소유 모수적 모형(판별분석, 회귀분석)을 분석 전에 이상치(outlier)와 분석에 필요한 변수 또는 모형에 포함되어야 할 상호작용의 효과를 검색 그 자체로 분류 또는 예측모형으로 사용 의사결정규칙(decision rule)을 나무구조로 도표화하여 분류(classification)와 예측(prediction) 수행 나무구조에 의한 추론규칙(induction rule)에 의해 표현되므로, 과정을 쉽게 이해하고 설명 가능   3.1.1 의사결정나무의 구성요소

제3장 의사결정나무분석 의사결정나무의 개념 의사결정나무의 구성요소 의사결정나무의 형성과정 의사결정나무의 분리기준 분류나무: 이산형 목표변수의 경우 회귀나무: 연속형 목표변수의 경우 정지규칙과 가지치기 의사결정나무분석의 특징 의사결정나무분석의 장점 의사결정나무분석의 단점 분석사례 - 1 (분류나무): 신용평가 문제 분석흐름도의 작성과 각 노드의 설정 모형의 평가와 결과 보기 의사결정나무의 수정 분석사례 - 2 (회귀나무): 평균임금의 예측 Insight 노드를 이용한 분포의 탐색 Tree 노드의 실행과

 2.9 보고서의 작성: Report 노드 Report 노드를 이용하여 HTML 문서로 요약  

2.8 예측모형에 대한 해석 목적 목표변수를 정확하게 예측   

2.7 결측값의 보간: Replacement 노드 결측값이 존재하는 경우 분석에 사용하거나, 예측 수행 불가 사전에 결측값을 보간(Imputation) Replacement 노드에서 디폴트로 사용하는 방법 Interval 변수에 대해서는 mean Binary, ordinal, nominal 변수에 대해서는 mode 

 2.6 점수화: Score 노드 선정된 모형을 이용하여 새로운 개체에 대한 점수 구하기

2.5 모형의 평가: Assement 노드 분석에 의해서 얻어진 모형을 다양한 방법으로 평가하는 노드 분석용, 검증용, 테스트 데이터에 의해서 모형의 예측력 평가 여러 개의 모형에 대해서 리프트(lift), 민감도(sensitivity), 이익(profit) 등을 통해 모형의 성능 비교 분류(classification)를 위해 적절한 한계(threshold) 확률값을 결정

2.4 모형의 구축: Tree 노드와 Regression 노드 의사결정나무분석(Decision Tree Analysis)과 회귀분석(Regression Analysis) 분석과 해석의 관점에서 많은 장점때문 가장 널리 사용되는 모형화 방법 분석의 목적에 따른 다양한 옵션들 옵션들을 제대로 선택하여 올바른 결과를 얻기 위해서는 충분한 지식 필요      

2.3 데이터의 분할: Data Partition 노드 여러 모형의 타당성을 비교, 평가가 필요한 이유 대규모의 데이터 다양한 방법론에 의한 분석 교차 타당도(cross validation)에 의한 평가 분석용 데이터(Training Data: 연습용 데이터): 데이터를 분석(학습)하여 모형을 만드는데 직접적으로 사용되는 데이터 검증용 데이터(Validation Data: 평가용 데이터): 모형의 성능을 감독하고 개선하기 위하여 간접적으로 사용되는 데이터로서 Tree 노드의 가지치기, Regression 노드의

2.2 분석용 데이터에 대한 설정: Input Data Source 노드  Input Data Source 노드는 일반적으로 분석에 사용할 Dataset, 입력변수와 목표변수, 각 변수에 대한 측도(measure) 등을 지정하는 노드이다.   2.2.1 데이터세트 선택하기   2.2.2 변수의 역할과 측도 지정하기   2.2.3 변수의 분포 살펴보기 

2.1 프로젝트의 생성과 분석흐름도의 작성 프로젝트 : '데이터의 생성 및 추출', '탐색 및 변형', '모형화', '평가' 등으로 이루어지는 일련의 작업 E-Miner 윈도우 : Application workspace 프로젝트 탐색기(Project Navigator) Diagrams, Tools, Reports 분석흐름도 작업영역(Diagram Workspace) 툴바(Tools Bar) 상황판(Massage Panel)   2.1.1 새로운 프로젝트의 생성  E-Miner는 Locati

8.3 군집분석의 특징과 적용상의 문제점   8.3.1 군집분석의 장점 탐색적인 기법 대용량 데이터에 대한 탐색적 기법 내부구조에 대한 사전적인 정보 없이 의미 있는  자료구조를 찾아냄 이후의 여러가지 모형화(회귀분석, 의사결정나무, 신경망분석 등)을 위한 분석에 사용 다양한 형태의 데이터에 적용가능 개체들 간의 거리를 적절히 정의하면 거의 모든 형태의 데이터에 대하여 적용 가능 분석방법의 적용 용이성 사전 정보를 거의 요구하지 않으므로 적용이 쉬움 개체들 사이의 거리만이 분석에

8.2 k-평균 군집방법(k-Means Clustering) 계보적 군집방법 가까운 개체들을 하나씩 묶어감 과정 n개의 개체 중 가장 가까운 두 개의 개체를 하나의 군집으로 묶음(n-1 개 남음) 위에 과정을 반복하여 최종적으로 n개의 개체들을 하나의 군집으로 만듬 장점 덴드로그램(dendrogram)으로 간단히 표현 군집들 간의 구조적 관계를 살펴보는데 유용 단점 일단 다른 군집에 속하면 다시는 같은 군집에 속하지 못함 개체 수가 커지면 거리행렬 계산에 매우 많은 자원 소모 최적분리 군집방법

8.1 군집분석의 개념   유사한 것들을 몇몇 집단으로 그룹화하여, 각 집단의 성격을 파악함으로서 데이터 전체의 구조에 대한 이해를 돕고자 하는 탐색적 데이터 분석 방법 (특히, 대용량 데이터에 개개의 관찰치 보다 군집들을 관찰하여 전체 구조 파악)    군집분석은 사전에 정의된 어떠한 특수한 목적이 없는  데이터분석 기법이다. 따라서 동일 군집의 개체들은 유사한 성격, 서로 다른 군집의 개체들은 서로 다른 성격을 갖도록 군집을 형성   8.1.1 거리(

제2장 Enterprise Miner 맛보기 프로젝트의 생성과 분석흐름도의 작성 새로운 프로젝트의 생성 분석흐름도의 작성 분석용 데이터에 대한 설정: Input Data Source 노드 데이터의 분할: Data Partition 노드 모형의 구축: Tree 노드와 Regression 노드 모형의 평가: Assessment 노드 점수화: Score 노드 결측값의 보간: Replacement 노드 예측모형에 대한 해석 Tree 노드의 결과 살펴보기 Regression 노드의 결과 살펴보기 보고

1.3 데이터마이닝 예측기법 자주 등장하는 데이터마이닝 기법 연관성규칙발견 (Association Rule Discover, Market Basket Analysis) 연결분석 (Link Analysis) 사례기반추론 (Case-Based Reasoning, Memory-Based Reasoning) 군집분석 (Cluster Analysis) 판별분석 (Discrimination Analysis) 의사결정나무(Decision Tree Analysis, Rule Induction) 회귀분석 (Regression Analysis,

제8장 군집분석  군집의 개수나 구조에 대한 특별한 가정없이 개체들 사이의 유사성 또는 거리(비유사성)에 근거하여 자연스러운 군집을 찾고 다음 단계의 분석을 꾀하는 탐색적인 통계분석 기법    k-평균 군집방법(k-means clustering)을 중심으로 군집분석의 주요 개념과 활용사례를 살펴본다.   군집분석의 개념 거리(Distance): 비유사성의 측도 군집의 유형 k-평균 군집방법 (k-Means Clustering) k-평균 군집방법의 절차 초기 군집수의 결정 군집분석의

 

 Virtual Private Network(VPN) VPN 출현 배경 작업환경의 변화 사용자 정보의 공유를 위한 네트워크 확장 작업환경의 이동성/휴대용 PC, 재택 근무용 PC 통제 불가능한 사용자 증가 네트워크 확장 요구 전용회선 사용 증가로 인한 비용 증가 PSTN을 이용한 원격 접속에 따른 비용 증가 독자적인 사설망 구축 및 관리 비용 증가 인터넷 기술 활용 값싼 인터넷 기술 활용 Local ISP를 이용한 가상 사설망 설치의 용이성 강력한 네트워크 보안 요구   V

 Real-World System     Chapter 19. 보안 전자 우편 암호화된 전자우편 메시지 (Outlook express) 암호화 알고리즘과 매개변수를 협상할 수 없음 송신인이 암호화 알고리즘과 매개변수들 중에 하나를 사용해서 단지 하나의 메시지만을 적용해서 보냄 수신인은 손신인이 보내온 알고리즘과 그에 따른 매개변수가 있을 때에만 전자 우편 복호화 가능 (c.f SSL과 IPSec은 암호화 방법과 매개변수를 협상) 보안 메일 암호화    

Chapter 16. 전자 인증서(Digital Certificates)  공개키를 안전하게 전송하기 위한 적절한 방법 Main-in-the-middle attack 해커가 중간에 Dawn의 공개키를 가로채 본인 것을 대체 후 Dawn의 공개키로 위장할 수 있음 Bob은 전송받은 Dawn의 공개키가 Dawn것임을 확인할 수 있어야 함 전자 인증서가 필요 믿을 수 있는 TTP(Trust Third Party) - Alice에 의해 서명되어진 형태로 사용   전자 인증

Chapter 13. 해쉬 : 키없는 Message Digest 알고리즘 메시지 다이제스트(MD) 알고리즘 데이터 무결성을 보장할 수 있는 기본적 메커니즘 원본 데이터에 대한 고정길이의 해쉬값을 생성하는 one-way hash function 원본 데이터의 미세한 변조라도 감지 해쉬값만으로 원본 데이터 알아낼 수 없다 원본데이터를 압축 공개키, 비밀키 시스템보다 계산시간이 적다.   메시지 다이제스트(MD) 알고리즘 종류 MD2 Ron Rivest가 고안 128 비트 해쉬값 생성 MD5와 비

 1.5 맺음말 데이터마이닝 프로젝트를 성공적으로 수행하는데 문제점 장기적이고 구체적인 계획의 부족 데이터에 대한 준비 부족 시간차이 문제 적용상의 문제 부서 및 프로젝트들 간의 비협조체제  

1.4 Enterprise Miner의 소개 SAS Enterprise Miner : 가장 널리 사용 SEMMA 소개   1.4.1 Enterprise Miner의 장점 분석흐름도(PFD, Process Flow Diagram)와 노드(node)를 이용하여 GUI환경에서 쉽게 수행(각 노드는 SEMMA) 다양한 RDBMS에 접근이 용이 자료관리 기능이 우수, 파생 데이터들을 쉽게 생성 강력하고 다양한 분석기법 제공 다양한 형태의 모형 평가 기능을 통해 모형의 유용성과 적합정도 쉽게 파악 전 과

1.2 데이터마이닝 프로젝트의 수행 프로세스 1.2.1 프로젝트 수행계획의 수립 성공적인 데이터마이닝 프로젝트 수행을 위해 필요한 3가지 해당 업무에 대한 충분한 이해 필요한 데이터를 관리 및 추출할 수 있는 정보기술 적절한 데이터 처리와 분석을 수행할 수 있는 통계적 데이터분석 능력 1.2.2 데이터에 대한 이해 데이터마이닝 애플리케이션의 성공 여부 신뢰도 높은 데이터를 저장에 달려 있음 사용 가능한 내부 및 외부 데이터들의 원천 데이터 원천들에 대한 위치와 구조 데이터 테이블의 필드와 코드 데이터들의