tadoli님의 노트

Part 4. 메시지다이제스트

Wed, 07 Jan 2009 10:18:58 +0900

Chapter 13. 해쉬 : 키없는 Message Digest 알고리즘

메시지 다이제스트(MD) 알고리즘

데이터 무결성을 보장할 수 있는 기본적 메커니즘
원본 데이터에 대한 고정길이의 해쉬값을 생성하는 one-way hash function
- 원본 데이터의 미세한 변조라도 감지
- 해쉬값만으로 원본 데이터 알아낼 수 없다
- 원본데이터를 압축
공개키, 비밀키 시스템보다 계산시간이 적다.

메시지 다이제스트(MD) 알고리즘 종류

MD2
- Ron Rivest가 고안
- 128 비트 해쉬값 생성
- MD5와 비슷한 구조지만 안전도가 떨어지고, 속도가 느림
MD5
- Ron Rivest가 고안
- 128 비트 해쉬값 생성
- MD2보다 안전도, 속도 향상
SHA-1
- NIST와 NSA에서 함께 고안
- 160비트 해쉬값 생성
- 특별히 알려진 공격 방법이 없고, 상당히 안전
RIPEMD128/160
- Hans Dobbertin(독일의 암호학자)에 의해 고안
- ISO/IEC 10118-3에 표준
- MD4의 변형. 암호 분석 공격에 대한 저항성
- 128은 128비트 해쉬값, 160은 160비트 해쉬값 생성
HAS160
- 한국의 KISA에서 개발. TTA 표준
- 160비트 해쉬값 생성
SMD
- 한국의 ETRI에서 개발
- 160비트 해쉬값 생성
HAVAL
- 호주의 Yuliang Zheng이 고안
- 가변길이의 해쉬값 생성
- MD5의 수정된 형태
- 3~5라운드의 가변적인 라운드 수
- 해쉬값의 길이는 128, 160, 192, 224, 256 비트 등을 가질 수 있음

Hash 유무에 따른 서명 및 확인

메시지 다이제스트 만들어 전송

서명없이 메시지 다이제스트만 전송

해커가 자신이 만든 뉴스레터와 그에 대한 MD를 생성
해커는 앨리스의 뉴스레터와 MD를 버리고 자신의 것을 붙여 보냄
밥은 위조된 뉴스레터에서 자신이 계산한 MD가 같기 때문에 해커의 소행을 알 수 없다.

MD 문장에 서명하기

Sign하지 않으면 해커에 의해 위조 가능하므로 Sign함.

앨리스는 MD된 뉴스레터에 자신의 개인키로 서명하고, 밥은 앨리시의 공개키로 뉴스레터 복원
- 메시지 무결성, 앨리스에 대한 인증 가능

해커의 공격 차단

앨리스 개인키로 암호화, 앨리스의 공개키로 복호화하면 원래의 MD가 나옴
해커의 개인키로 암호화, 앨리스의 공개키로 복호화하면 원래의 MD가 안 나옴

메시지 다이제스트 정리

앨리스는 평문으로부터 MD 생성
앨리스는 MD 문장을 서명하고, 서명된 MD문장과 평문을 밥에게 보낸다.
밥은 따로 평문으로부터 MD 생성
밥은 앨리스의 공개키로 서명된 MD 문장을 복호화
밥은 자신이 만든 MD와 4번에서 복호화된 MD문장을 비교
5번의 결과가 참이면 앨리스의 것임을 알 수 있다.

Chapter 14. 메시지 다이제스트 알고리즘을 통한 확인

메시지 다이제스트 알고리즘의 두 가지 방법

키 없는 메시지 다이제스트
- MD 문장의 위조를 막기 위해 3가지 보안성(단방향성, 약한 충돌 방지, 강한 충돌 방지) 제공
- 비밀키 없이 생성
- MIC또는 MDC라 불림
- 대부문의 공개키 전자서명에서 사용
- 해쉬 알고리즘
  - 임의의 입력값을 고정 길이의 출력값(160bit)으로 변환
  - 입력값이 1비트만 바뀌어도 출력값 50%이상 바뀜
    - 무결성(Integrity) 검증에 쓰임
  - 종류: MD2, MD5, SHA-1, SHA, HAS160, RIPEMD128, RIPEMD160
    - 해쉬함수에서는 키가 필요없음
키 있는 메시지 다이제스트
- MAC(Message Authentication Code)
  - 메시지 인증 코드
  - 키를 가진 사람만이 메시지에 대한 인증 가능
  - 어떤 알고리즘을 써도 무방
    - 보편적으로 해쉬함수 사용(Hmac
  - 종류: HmacMD2, HmacMD5, HmacSHA-1, HmacSHA, HmacHAS160
- 메시지와 비밀키 결합
- 비밀키를 보내는 사람과 받는 사람이 공유되도록 요구
- 어떤 비밀키 암호 알고리즘과 비밀키를 쓰느냐에 따라 보안성 결정

메시지 다이제스트 압축

단방향성을 가짐
암호학적 압축을 사용하면 원래 메시지로 복원 불가능

다이제스트 속도 비교
- DES가 제일 빠르다
  - 그러나, 안전하지 않다.
- Hashed MAC(HMAC)이 제일 느리다
HMAC
- 1990년대 중반, 암호학자들은 속도 향상을 위해 MAC와 키없는 다이제스트 함수 결합
- HMAC를 표준으로 인정
- HMAC는 비밀키와 키 없는 해쉬 함수 사용
- 설치가 용이, 키 없는 다양한 해쉬 함수를 사용할 수 있게 해준다.

Chapter 15. 비밀키, 공개키, MD 비교

암호화 속도

MD > 비밀키 >>>>>>> 공개키
Message Digest
- 메시지 인증(무결성)만 제공, 기밀성 제공 않함
비밀키 알고리즘
- 실제 전송되는 메시지의 암호화
- 자주 전송이 일어나므로 빠른 비밀키 알고리즘 사용
공개키 알고리즘
- 인증(전자서명)과 비밀키 교환

키 길이

비밀키
- DES - 56bit, AES-128bit
공개키
- RSA - 512 ~ 1024 bit
- ECC 암호 알고리즘
  - 키 크기가 RSA보다 작다
    - RSA보다 빠르다
  - 셀룰러폰에서의 암호화에 이용된다.

키 분배

비밀키 시스템 - 키 교환이 어렵다.
공개키 시스템 - 키 분배가 비밀키보다 좋다.

공개키 시스템과 비밀키 시스템

속성	비밀키	공개/개인키
사용기간	천년 정도	50년 정도
주로 사용되는 이유	일반 데이터 암호화	키 교환, 전자 서명
현재 표준	DES, 3중 DES, AES(Rijndael)	RSA, Diffie-Hellman, DSA
암호화/복호화 표준	빠르다	느리다
키	적어도 두 사람 사이에서 교환 (평소엔 두 사람 사이에서 쓰임)	개인키: 한 사람에 의해서만 관리 공개키: 어디서든지 배포 가능
키 교환	교환하는 것은 어렵고, 위험	개인키: 비밀로 간직 공개키: 전달 용이
키 길이	56비트, 128비트(권장)	1024비트 사용(RSA), 어떤 경우에는 2048비트 (단, ECC는 172비트-휴대단말기에서 이용)
기밀성, 인증, 메시지 무결성	가능	가능
부인 방지	불가능(제 3자 필요)	가능(전자 서명 사용)
공격	있음	있음

3.3 Variable Clustering

Fri, 19 Dec 2008 16:16:28 +0900

3.3 Variable Clustering

중복 입력을 포함하는 것은 다음과 같은 것들로 분석의 질을 떨어뜨릴 수 있다.

모수 추정치를 불안정하게 하는 것
과적합의 위험을 증가시키는 것
해석을 혼란스럽게 하는것
계산 시간 증가
스코어링 노력 증가
데이터 수집 및 증대 비용 증가

중복성은 하나의 unsupervised 개념(목표변수를 수반하지 않음)이다. 반면에, 관계없는 입력들은 상당히 목표와 관련이 있는 것이 아니다. 높은 차원의 데이터셋들에서, 관계없는 입력들을 식별하기는 중복 입력을 식별하기보다 더 어렵다. 좋은 전략은 우선 중복성을 줄이고, 그러면 낮은 차원 공간에서 무관함을 잡는다.

3.2 Categorical Inputs

Fri, 19 Dec 2008 15:25:21 +0900

3.2 Categorical Inputs

로지스틱 회귀 모형은 숫자형(intervally scaled) 입력 변수를 요구한다. 종종 그 변수들은 범주형(명목형 또는 순서형) 변수이다. 모형안에 그런 입력들을 포함하기 위한 가장 간단한 방법은 가변수(Dummy Variables)들, 각 수준(level)에 대한 지시자 변수를 사용하는 것이다. 이 새로운 이진 입력은 숫자로 코딩된다.(대게는 0/1)

선형 의존성 때문에 l-수준(l-level) 범수형 변수에 대하여 모든 가변수가 모두 포함되는 것은 아니다. 오직 l-1 충분치 않은 차원만 있다. 결론적으로 한 수준에 대한 가변수는 참조수준으로서 다뤄지고, 누락된다.

만약 모든 l-1 가변수들이 분석에 포함된다면 참조 수준의 선택은 중요하지 않다. 다른 참조수준들은 개별적인 계수의 다른 해석을 제공하지만, 같은 예측을 제공한다.

가변수가 딸린 변수 선택은 문제를 이끌어 낼수 있다, 특히 변수들이 모델에 점진적으로 추가될 때 그렇다(Cohen 1991). 골치 아픈 것을 줄이는 방법은 한 단위로서 l-1 가변수의 집합을 다루는 것과 항상 전체 집합에 포함시키거나 배제하는 것이다. PROC LOGISTIC에서, 이것은 자동적으로 될 수 없다. PROC DMREG(Enterprise Miner)와 PROC REG(선형회귀를 위한)은 한 단위로서 가변수의 집합을 다루는 능력을 갖는다.

Demonstration 7

TRANSREG 프로시저는 범주형 입력들에 대한 가변수들을 만드는 것으로 사용될 수 있다. DESIGN 옵션은 다른 TRANSREG 분석과는 달리, 그 목적이 오직 가변수들을 만들기 위한 것임을 명세한다. DESIGN이 명세되었을 때, MODEL문 구문은오직 CLASS 확장만 요구한다.ZERO= 옵션은 참조 수준을 명세한다. REST는 3개의 수준을 갖기 때문에, 2개의 가변수(수준 U를 위한 것, 수준 R을 위한 것)가 생성된다. 출력 데이터셋 DUMMIES에서, 가변수의 이름들은 입력 변수의 이름에 입력변수의 수준이 따라올 것이다. 따라서 RESU와 RESR이 생성된다.

proc transreg data=imputed design;
model class (res / zero ='S')
output out = dumies;
run;
proc print data=dumies(obs=20);
run;

PROC TRANSREG는 관측치들의 순서를 바꾸지 않기 때문에, PROC SORT는 IMPUTED와 DUMMIES 데이터 셋들을 합치기 전에 필요하지 않다.

data imputed;
merge imputed dumies(drop=_type_ _name_ intercep res);
run;

PROC TRANSREG는 큰 데이터 셋들과 함께 느려질 수 있다. DATA 스탭과 PROC GLMMOD는 가변수들을 만드는 대체 방법들이다. PROC GLMMOD는 PROC TRANSREG보다 더 빠르지만 가변수 이름과 참조 수준에 대해 같은 컨트롤을 제공하지 않는다.

Demonstration 8

범주형 입력의 수준은 PROC CLUSTER안에 있는 Greenacre's method(1988, 1993)를 사용하여 클러스터될 수 있다. PROC CLUSTER는 일반적인 클러스터링 응용들을 위하여 설계되었지만, 몇 몇 단순한 데이터 전처리와 함께, 범주형 변수들의 수준을 클러스터할 수 있다.

변수 BRANCH는 19 개의 수준을 갖는다. 첫번째 스탭은 목표 사건(INS)의 비율과 각 수준의 사례번호를 담고 있는 데이터 셋을 만드는 것이다. NWAY 옵션은 OUTPUT 데이터 셋이 19개의 관측치와, 19개의 수준의 각각에 대해서 지정하게 한다. OUTPUT 데이터 셋은 또한 목표 사건의 비율에 대해서 변수 PROP를 갖는다. 그것은 자동적으로 변수 _FREQ_를 만든다, 이것은 각 수준의 사례 수를 센 것이다.

proc means data=imputed noprint nway;
class branch;
var ins;
output out=levels mean=prop;
run;
proc print data=levels;
run;

FREQ 문과 PROC CLUSTER안에 있는 METHOD=WARD를 사용하는 것은 똑같은 결과를 Greenacre's method에 제공한다. OUTTREE= 옵션은 트리 다이어그램을 그릴 TREE 프로시저에 의해 사용될 수 있는 output 데이터셋을 생성한다. ID 문은 출력된 cluster history와 OUTTREE= dataset안에서 관측치들을 식별한다.

proc cluster data=levels method=ward
outtree=fortree;
freq _freq_;
var prop;
id branch;
run;

출력에서 R-Squared라고 라벨이 붙은 컬럼은 수준들이 붕괴된 후에 남아있는 19x2 분할표 안에 카이제곱 비율과 같다. 각 스탭에서, 카이스퀘어내에 가장 작은 감소를 제공하는 수준들이 병합된다. 카이스퀘어안에 변화는 Semipartial R-Squered 컬럼에 나열된다. 그 요약에 있는 행들은 나열된 클러스터들이 합쳐진 후에 결과를 표현한다. 클러스터의 수는 18에서 1로 줄여진다. 이전에 붕괴된 수준들이 합쳐질때, 그것들은 접두사 CL과 접미사 클러스터들의 결과 수를 사용하여 표기된다. 예를 들어, 15번째 스탭 CL15는 15개의 클러스터를 만드는 4번째 스탭에서 합병된 B1과 B17을 표현한다.

다음 DATA 스텝은 변수 CUT을 만든다. 그것은 카이스퀘어가 전체의 99% 이하로 떨어지면 1이고, 그렇지 않으면 0이다. 이것은 그 수준들이 5개 클러스터로 붕괴된 후에 발생한다. 결국, threshold가 99%라면, 6개의 클러스터 솔루션은 최적이다. 더 작은 threshold는 더 적은 수의 클러스터들을 줄 것이다. 만약 많은 수준을 가지고 있다면, 관계없는 노이즈의 클러스터들을 형성하는 것이 줄여질 것이기 때문에 더 작은 클러스터들은 아마도 더 좋은 솔루션일 것이다.

data fortree;
set fortree;
cut = (_rsq_>=.99);
run;

PLOT 프로시저는 전체 카이제곱 통계량의 비율을 클러스터의 수만큼 plot한다. 변수 CUT로부터의 값은 VPOS 옵션이 수직축상에 인쇄 위치의 수를 명세하는 동안 그 plot상에 각 점을 표시하는 ploting symbol이다.

proc plot data=fortree;
plot _rsq_*_ncl_ = cut / vpos=20;
quit;

PROC MEANS와 CALL SYMPUT 루틴으로부터의 출력은 클러스터의 자동적으로 최종 개수에 대한 매크로 변수를 만드는데 사용되곤 한다. 이것은 %LET NCL=6이란 문장과 함께 수동적으로 될 수 잇다.

proc means data=fortree noprint;
where cut=1;
var _ncl_;
output out=o min=ncl;
run;
data o;
set o;
call symput('ncl', ncl);
run;

GRAPHICS옵션이 딸린 TREE 프로시저는 그래픽 장치상에 덴드로그램을 생산한다. H= 옵션은 덴드로그램의 높이축으로 사용될 변수를 명세한다. 이 예제에서, 카이스퀘어 통계량의 비율은 수직축이다.

proc tree data=fortree nclusters=&ncl out=clus graphics h=rsq;
id branch;
run;

덴드로그램은 몇몇 가지들이 카이스퀘어안에서 miniscule reduction과 조합될 수 있음을 보여준다. 수평축은 또한 각 클러스터안에 사건들의 평균 비율에 의해 대략적으로 정렬된다. 참조 그룹으로서 트리(즉, B11, B18과 B7)의 중심 근처에 클러스터를 선택하는 것은 만약 당신이 고른 그 변수 선택 방법이 점진적으로 모형에 변수들을 추가한다면 더 나은 모형으로 이끌 것이다. PROC TREE로 부터의 OUT=데이터셋은 BRANCH의 어느 수준이 각 클러스터(제공된 NCLUSTERS= 옵션은 올바르게 명세된다)와 연관이 되었는지를 보여준다.

proc sort data=clus;
by clusname;
run;
proc print data=clus;
by clusname;
id clusname;
run;

한 DATA 스탭은 그 가지들을 가변수로 할당하곤 한다. 5개의 가변수는 참조수준으로서 지명된 두번째 클러스터와 함께 생성된다. 가변수들은 순차적으로 번호가 매겨짐을 기억하라.

data imputed;
set imputed;
brclus1=(branch in('B6', 'B9', 'B19', 'B8', 'B1', 'B17', 'B3', 'B5', 'B13', 'B12', 'B4', 'B10'));
run;

Logistic Regression Modeling

Thu, 18 Dec 2008 17:15:59 +0900

Chapter 1. Predictive Modeling

Chapter 2. Fitting the Model

Chapter 3. Preparing the Input Variables

Chapter 4. Classifier Performance

3.1 Missing Values

Thu, 18 Dec 2008 15:28:30 +0900

3.1 Missing Values

몇몇 다른 매커니즘으로부터 입력변수에 결측값이 발생할 수 있다 (Little 1992).

Demonstration 6

다음 프로그램의 목적은 결측값 지시 변수들을 만들고 결측치를 변수의 평균으로 바꾼다.

proc print data=develop(obs=30);
var ccbal ccpurc income hmown;
run;

입력변수들의 15개는 imputation에 대해서 선택되었다. 2개의 배열이 만들어진다, 하나는 MI라 불리고 결측치 지시자 변수들을 담고 있고, 다른 하나는 X라 불리고 입력변수들을 담고 있다. MI 배열안에 변수들의 순서와 X 배열안에 변수들의 순서가 일치하는 것은 매우 중요하다 *(Asterik)와 함께 차원을 정의하는 것은 자동적으로 세어질 배열의 요소들을 야기시킨다. DO 반복문 안에서, DIM 함수는 배열의 차원을 반환한다. 따라서, DO 반복문은 만약 X의 엔트리가 결측치라면 MI의 엔트리가 1이 되게 하고, 다른 경우에는 0으로 한다.

data develop1(drop=i);
set develop;
/* 결측 지시자 변수 이름 */
array mi{*} miacctag miphone mipos miposamt miinv miinvbal
micc miccbal miccpurc miincome mihmown milores
mihmval miage micrscor;
/* 결측치들과 함께 변수들을 선택 */
array x{*} acctage phone pos posamt inv invbal cc ccbal
ccpurc income hmown lores hmval age crscore;
do i = 1 to dim(mi);
mi{i} = (x{i}=.);
end;
run;

REPLACE 옵션이 딸린 STANDARD 프로시저는 결측치들을 결측치가 아닌 경우들의 평균으로 바꾼다. 그 OUT= 옵션에 의해 만들어진 output 데이터셋은 입력 데이터셋안에 있는 모든 변수들을 담는다. 여기서 VAR 문장안에서 나열된 변수들은 impute 된다. PROC STANDARD 안에서는 오직 연속형 입력 변수들만 사용되어져야 할 것이다.

proc standard data=develop1 replace out=imputed;
var &inputs;
run;
proc print data=imputed(obs=20);
var ccbal miccbal ccpurc miccpurc income miincome hmown mihmown;
run;

Mean-imputation은 변수의 조건없는 평균을 사용한다. 한 매력적인 확장은 나머지 다른 입력들의 평균 조건을 사용하는 것일 것이다. 이것은 회귀 imputation으로서 참고된다. 회귀 imputation은 보통 더 좋은 결측치들의 추정치를 제공한다. 특히, k선형 회귀 모형들은 만들어질 수 있을 것이다. (예언자로서의 나머지 다른 입력들을 사용하는 각 입력 변수에 대한 것) 이것은 아마도 더 나은 imputation들을 제공하고 다른 입력들의 값에 의존하는 결측성질을 조정할 수 있을 것이다. 추가된 복잡한 문제는 다른 입력들이 결측치를 값게 되는것이다. 결론적으로, k imputation 회귀는 결측치들을 조정하는 것이 필요하다.

Cluster-mean imputation은 더욱 실용적으로 대체될 수 있는 것이다:

사례들을 관련 비교적 비슷한 것들끼리 부분 그룹으로 묶는다.
각 그룹별 mean-imputation
다중 결측값이 딸린 새로운 사례들에 대하여, 모든 결측치가 아닌 차원들에서 가장 가까운 그 클러스터 평균을 사용한다.

이 방법은 다른 입력들에 의존하는 결측성질을 조정할 수 있다. 이 방법은 Enterprise Miner에서 구현된다.

단순하지만 덜 효과적인 대안은 priori 세그먼트들(예를 들어, 고소득, 중간소득, 저소득, 알려지지 않은 수입)을 정의하는 것이다. 그러면 각 segment(Exercise 2)안에 mean imputation을 수행한다.

ACM Problems

Thu, 18 Dec 2008 00:24:33 +0900

ACM 문제들을 번역하고 풀이 방법들을 정리하는 곳입니다.

2.2 Adjustments for Oversampling

Wed, 17 Dec 2008 18:32:39 +0900

2.2 Adjustments for Oversampling

결합 표본추출(Joint Sampling)에서 입력-목표 쌍은 결합 분포로부터 임의적으로 선택된다. 분할 표본추출(Separate Sampling)에서는, 각 목표 클래스(target class)안에 분포들로부터 임의적으로 선택된다.

분할 표본추출은 지도 분류(Supervised Classification)에서의 표준적인 방법이다. 목표 사건이 드물 때, 그 희소 사건(Rare Event)을 과추출하는 것이 일반적이다. 즉, 많은 사건 사례에 반비례하게 적용한다. 희소 사건을 과추출하는 것은 일반적으로 더 좋은 예측으로 이끈다고 믿어진다(Scott and Wild 1986). 분할 표본추출은 또한 다음과 같이 알려진다.

사례 제어(case-control) 추출
선택 기반(choice-based) 추출
목표상의 층화 추출(Stratified Sampling on the target), 비례 할당이 필수적이지는 않다.
편의 추출(Biased Sampling)
y 조건 추출(y-conditional sampling)
결과 의존 추출(Outcome-dependent sampling)
과추출(Oversampling)

Prior 들, π0과 π1은 각각 class 0과 1의 모비율을 표현한다. 표본에서의 목표 class들의 비율은 ρ0과 ρ1로 표기된다. 분류 표본추출(비례하지 않는)에서는 π0 ≠ ρ0, π1 ≠ ρ1 이다. 과추출에 대한 조정은 그 prior들이 priori라 알려지게 되는 것을 요구한다.

최우추정량은 yi가 독립 베루누이 분포를 갖는다는 가정하에 유래되었다. 이 가정은 결합 표본추출에 대해서 적합하지만 분할 표본추출에서는 적합하지 않다. 하지만, 이 가정을 위배하는 것의 효과는 쉽게 정정될 수 있다. 로지스틱 회귀에서, 절편의 추정치 β0만은 분할 표본추출 설계로부터 온 자료 상에 베르누이 최우법을 사용함으로서 효과가 있다.(Prentice and Pike 1979). 만약 표준 모형이

logit(p_i) = β0 + β1x1 + ... + βkxk

가 결합 표본추출에 대해 적합하다면, 분할 표본추출에서 모수의 최우추정치는 유사모델(pseudo model)을 적합하는 것에 의해 결정될 수 있다.(Scott and Wild 1986, 1997)

여기서 p*는 편포된 표본(biased sample)에 대응하는 사후 확률이다. 결론적으로, 과추출의 효과는 상수 offset까지 logit을 이동시키는 것이다.

희소 사건이 과추출될 때, π0 > ρ0이고, π1 < ρ1, 그래서 그 offset은 양수이다. 즉, 그 logit은 너무 크다. 이 logit의 수직 이동은 대응 방법(corresponding fashion)안에 사후 확률에 영향을 미친다.

유사 모형(psuedo model)은 Offset을 그 모형으로 통합시키는 것에 의해서 직접 적합될 수 있다. 그 대신에, offset은 표준 모형이 적합된 후에 적용될 수 있다. 예측값으로부터 offset을 빼는 것과 사후확률을 푸는 것은 다음 수식을 제공한다.

Demonstration 4

INS data set을 생성하는데 분할 표본추출이 사용되었다. 모집단에서 목표변수의 비율은 표본에서 나타난 .346이 아닌 .02였다. %LET 문은 class 1(INS =1)에 대한 population prior에 대해서 매크로 변수 PI1을 정의한다.

%let pi1=.02;

PROC MENAS는 class 1에 대한 표본 비율을 계산하는데 사용된다. 0/1 이진변수의 평균은 그것의 비율이다. 그 평균은 OUTPUT data set M에서 rho1라고 명명된 변수에 할당된다.

proc means data=develop noprint;
var ins;
output out=m mean=rho1;
run;

SYMPUT 루틴은 매크로 변수를 만들고 data set 안에 있는 한 변수의 값을 할당한다. 예를 들어, SYMPUT 루틴은 변수 RHO1(2번째 인자)의 값을 RHO1(1번째 인자)로 불리는 매크로 변수에 복사한다. 이 step들은 %LET RHO1=.346 문으로도 이뤄질 수 있다.

data m;
set m;
call symput('rho1', rho1)
run;

DATA Step은 offset으로 사용될 변수를 만든다. 모집단과 표본에서 class 0에 대한 확률들은 "1 - (class1의 확률)"로 계산될 수 있다.

data develop;
set develop;
off = log((( 1 - &pi1) * &rho1) / (&pi1 * (1-&rho1)));
run;

PROC LOGISTIC은 offset 변수와 함께 적합하고, 최종 모수추정치들을 출력한다. MODEL 문 안에 OFFSET= 옵션은 offset 변수명을 준다. offset이 있는 것과 없는 모수추정치들 사이의 유일하게 다른 점은 절편 항(intercept term)이다.

proc logistic data=develop des outest=betas2;
model ins=dda ddabal dep depamt cashbk checks
/ offset=off;
run;

모수 추정치 목록은 변수 OFF에 대한 새로운 엔트리를 담고 있다. 그것은 고정된 값을 갖는다. 이 모형으로부터 계산된 확률들은 하향 조정되어 왔다. 왜냐하면 모집단 확률은 표본의 확률보다 훨씬 작기 때문이다.(.02 VS .346).

PROC SCORE는 새로운 데이터에 점수를 주기 위한 offset 변수와 함께한 로지스틱 모형으로부터의 최종 모수추정치를 사용한다.

proc score data=read.new out=scored score=betas2 type=parms;
var dda ddabal dep depamt cashbk checks;
run;
data scored;
set scored;
p = 1 / (1+exp(-estimate));
run;
proc print data=scored(obs=20);
var p estimate dda ddabal dep depamt cashbk checks;
run;

OFFSET=옵션은 조정되지 않은 모형을 적합하는 것 보다 덜 효과적이다. OFFSET=옵션이 사용될때, PROC LOGISTIC은 두개의 로지스틱 회귀와 대충 비슷한 CPU 시간을 사용한다. 그 offset에 대한 사후확률을 조정하는 더욱 효과적인 방법은 offset없이 적합하고 적합된 사후 확률을 DATA Step안에서 조정하는 것이다. 그 두가지 접근은 통계적으로 똑같다.

proc logistic data=develop des outest=betas3;
model ins=dda ddabal dep depamt cashbk checks;
run;
proc score data=read.new out=scored score=betas3 type=parms;
var dda ddabal dep depamt cashbk checks;
run;
data scored;
set scored;
off = log(((1-&pi1) * &rho1) / (&pi1*(1-&row1)));
p = 1 / (1+exp(-(estimate-off)));
run;
proc print data=scored(obs=20);
var p estimate dda ddabal dep depamt chashbk checks;
run;

Sampling Weights

과추출을 조정하는 또 다른 방법은 표본추출 가중치를 통합하는 것이다. 가중치 추출은 데이터 조정한다. 왜냐하면 실제 모집단을 더 잘 표현하기 때문이다. 희소 목표 사건이 과추출되어왔을 때, class 0은 표본안에서 실제보다 적게 표현된다. 결과적으로, class-0의 경우는 class-1보다 분석에서 더 많이 세어야 한다. 예측된 값은 선택 확률(각 class에 대해서, (표본 내 사례수)/(모집단 내 사례수))에 반비례하는 가중치에 의해 적당히 교정될 것이다. 정규화 표본 가중치를 사용하는 것은 편리하다. 왜냐하면 원래의 표본수를 합하기 때문이다.

가중치는 nπ0 와 nπ1(각각 class0과 1)이 될 표본안에 사례 수를 조정한다. 그 사례들은 조정된 표본안에 비율은 그것이 모집단 안에 있는 것과 같은 비율이다. 정규화는 표준오류와 P 값들의 왜곡을 감소시킨다. 통계적 추론이 분석의 목적이 아니지만, P값은 변수 선택 알고리즘에서 조정된 모수로서 사용된다.

Offset 방법과 가중치 방법은 통계적으로 같지 않다. 그 모수추정치는 정확하게 같지 않지만 그것들은 큰 표본 통계적인 속성을 갖는다. 선형 로지스틱 모형이 올바르게 명세될 때, 그 offset 방법(가중치가 매겨지지 않은) 분석이 우선적으로 고려된다. 하지만, 로지스틱 모형이 단순히 몇몇 비선형모형으로 근사될 때, 가중치 분석이 장점을 갖는다.(Scott and Wild, 1986)

Demonstration 5

DATA Step은 표본추출 가중치를 데이터셋 DEVELOP에 더한다. 가중치는 class 1에 대해서 .058(.02/.346)이고, class 0에 대해서 1.5(.98/.654)이다. 그것들은 매크로 변수를 참조해야만 하는 것 없이 수동으로 할당될 수 있다. 할당문안에 있는 논리 표현식(INS=1)과 (INS=0)는 true일 때 1, false일 때 0이다. 결론적으로 이 문법은 조건식 표현보다 더 간단한 방법이다.

/* 변수 INS는 목표변수이다. */
data develop;
set develop;
sampwt = ((1-&pi1) / (1-&rho1))*(ins=0) + (&pi1/&rho1)*(ins=1)
run;

PROC LOGISTIC안에 WEIGHT문은 WEIGHT 변수의 값에 의해 지정된 입력 변수안에 각 관측치에 가중치를 매긴다.

PROC logistic data=develop des outest=betas4;
weight sampwt;
model ins = dda ddabal dep depamt cashbk checks;
run;

그 결과는 응답 프로필 테이블이 Total Weight이라 불리는 새로운 컬럼을 갖는다는 것을 보여준다. 컬럼안에 있는 모습은 모비율로 조정된 표본의 수를 표현한다. 가중치들의 합(Sum of the Weights)은 표본수와 같다.

모수추정치는 비슷하지만, 유사 모형으로부터의 그것들과 같지 않다. 가중치 분석은 또한 적합도, 표준화된 추정치, 그리고 순위 상관계수를 변화시켰다.

proc score data=read.new out=scored score=betas4 type=parms;

var dda ddabal dep depamt cashbk checks;

run;
data scored;
set scored;
p = 1 / (1 + exp(-estimate));
run;
proc print data=scored(obs=20);
var p estimate dda ddabal dep depamt cashbk checks;
run;

가중치 분석으로부터의 확률들은 비슷하지만 offset 방법(유사 모형)에 의해 추정된 확률과 같지 않다.

Chapter 2. Fitting the Model

Wed, 17 Dec 2008 15:05:07 +0900

Chapter 2. Fitting the Model

2.1 The Model

Wed, 17 Dec 2008 14:59:30 +0900

2.1 The Model

Demonstration 2

LOGISTIC 프로시저는 이진 로지스틱 회귀 모형을 적합한다. 그 모델안에 포함된 6개의 입력 변수들은 임의로 선택되었다.

반응변수 INS의 레벨을 내림차순으로 보여주기 위해 DES(Descending의 약자) 사용.

Model문 안에 ITPRINT 옵션은 최우모형적합(Maximum-likelihood model fitting)의 반복적인 이력을 출력한다.

UNITS 문은 한 변수에서 특정한 변화에 대한 Odds비를 얻을 수 있다. 이 예제에서는, DDABAL과 DEPAMT에서 1000-단위씩 변화함에 따른 odds에서의 변화를 추정할 수 있다.

proc logistic data=develop des
model ins = dda ddabal dep depamt cashbk checks / itprint;
units ddabal=1000 depamt=1000;
run;

결 과는 많은 표들로 구성된다. Response Profile 표는 목표변수 값이 그것의 ordered value들에 따라 나열된 것을 보여준다. 기본적으로, 목표 변수 값들은 알파벳 순서이고, PROC LOGISTIC 은 항상 ordered value 1의 확률을 모형으로 만든다. DES 옵션은 INS=1인 것의 확률을 모형으로 만들이 위해 주었다.

Demonstration 3

LOGISTIC 프로시저는 최종 모수추정치를 OUTEST= 옵션을 사용하여 데이터 셋으로 출력한다.

proc logistic data=develop des outest=beta1;
model ins=dda ddabal dep depamt cashbk checks;
run;
proc print data=betas1;
run;

출력된 Dataset은 각 모수추정치에 대한 하나의 관측치와 변수를 담고 있다. 그 추정치는 그것들의 입력변수에 대응하여 명명된다.

SCORE 프로시저는 2개의 SAS Data set(하나는 계수들을 담고 있는 것(SCORE=)과 다른 하나는 점수가 매겨질 데이터를 담고 있는 것(DATA=))으로부터의 값들을 곱한다. 점수가 매겨질 데이터셋은 전형적으로 목표 변수를 가지지 않을 것이다. OUT= 옵션은 PROC SCORE에 의해 만들어진 점수화된 데이터셋의 이름을 명세한다. TYPE=PARMS 옵션은 회귀 모형(Scoring regression model)들에 점수를 매기는 것이 요구된다.

proc score data=read.new out=scored score=betas1 type=parms;
var dda ddaba1 dep depamt cashbk checks;
run;

PROC SCORE(변수 ESTIMATE)에 의해 생산되는 선형 조합은 그 logit(사후 확률이 아님)을 추정한다. 로지스틱 함수(logit의 역수)는 사후 확률을 계산하기 위해 적용될 필요가 있다.

data scored;
set scored;
p = 1 / (1+exp(-estimate))
run;
proc print data=scored(obs=20);
var p estimate dda ddabal dep depamt cashbk checks;
run;

Data 는 OUTPUT 문을 사용해서 PROC LOGISTIC 안에서 직접 점수를 매겨질 수도 있다. 이는 PROC SCORE를 사용하는 것에 비해 몇가지 단점을 갖는다. 그것은 큰 데이터셋들에서 크기가 잘 조정되지 않고, 목표 변수(또는 몇가지 대신할 것)가 요구되고, 2.2에서 논의될 과표본추출에 대한 조정(Adjustments for oversampling)이 자동적으로 적용되지 않는다.

1.1 Introduction

Mon, 08 Dec 2008 13:38:05 +0900

1.1 Introduction

Supervised Classification
- 예측적 모형(Predictive model)
  - 사례들(cases, observations, examples)로 구성
  - 입력변수(input variable) → 예측모형(Predictive model) → 목표변수(target variable)
- 지도 분류(Supervised classification)
  - Supervised : 각 case에 대해서 class label(target)이 알려졌을 때 사용
일반화(Generalization)
- 입력 변수(알려짐), 목표 변수(안 알려짐)
- 예측적 모형의 근본적인 목적
- 의미 : 새로운 사례에서 결과를 예측하기 위한 능력
- 추론(Inference) 도구 (전통적 통계 분석의 근본적 목적)
  - 신뢰구간
  - 가설 검정
  - P Value
- 확률변수들 사이의 관계를 이해하는 것은 예측적 모델링에서 중요
  - 많은 방법들은 ad hoc → informal, exploratory, inscrutable, empirical
  - 모델이 잘 일반화되면, 그 방법은 통계적 속성과 관계없이 유용
예측적 모델링의 응용
- Target Marketing
- Attrition Prediction
- Credit Scoring
- Fraud Detection

Demonstration 1

32,264 cases (은행 고객)
47 입력 변수
INS - 고객이 보험 상품을 가지고 있는지 아닌지 나타내는 이진 목표 변수

libname read 'SAS-data-library';
* 원본 데이터(read.ins)에 덮어 쓰는 것을 방지하기 위해 develop 데이터셋 만듬;
data develop;
set read.ins;
run;

%let 문은 매크로 변수인 inputs에 모든 숫자형 입력 변수의 이름들을 문자열 형태로 할당한다.

%let inputs=acctage dda ddabal dep depamt cashbk checks
dirdep nsf nsfamt phone teller atm atmamt pos posamt cd
cdbal ira irabal loc locbal inv invbal ils ilsbal mm
mmbal mmcred mtg mtgbal sav savbal cc ccbal ccpurc sdb
income hmown lores hmval age crscore moved inarea;

MEANS 프로시저는 숫자형 변수들에 대한 기술 통계량들을 생성한다.

* n(관측치의 수), nmiss(결측치의 수), mean(평균), min(최소값), max(최대값);
proc means data=develop n nmiss mean min max;
var &inputs;
run;
* ins, branch, res의 빈도;
proc freq data=develop;
tables ins branch res;
run;

PROC MEANS의 결과는 몇개의 변수들이 결측치를 갖고, 몇개의 변수들은 이진값을 갖는 것을 보여준다.

PROC FREQ의 결과는 관측치의 34.6%가 보험 상품(Insurance Product)를 알고 있었다는 것을 보여준다. BRANCH는 19개의 수준(Level)이 있고, RES(R=rural, S=suburb, U=urban)는 3개의 수준(Level)이 있다.

tadoli님의 노트

Part 4. 메시지다이제스트

Chapter 13. 해쉬 : 키없는 Message Digest 알고리즘

메시지 다이제스트(MD) 알고리즘

메시지 다이제스트(MD) 알고리즘 종류

Hash 유무에 따른 서명 및 확인

메시지 다이제스트 만들어 전송

서명없이 메시지 다이제스트만 전송

MD 문장에 서명하기

해커의 공격 차단

메시지 다이제스트 정리

Chapter 14. 메시지 다이제스트 알고리즘을 통한 확인

메시지 다이제스트 알고리즘의 두 가지 방법

메시지 다이제스트 압축

Chapter 15. 비밀키, 공개키, MD 비교

암호화 속도

키 길이

키 분배

공개키 시스템과 비밀키 시스템

3.3 Variable Clustering

3.3 Variable Clustering

3.2 Categorical Inputs

3.2 Categorical Inputs

Demonstration 7

Demonstration 8

Logistic Regression Modeling

3.1 Missing Values

3.1 Missing Values

Demonstration 6

ACM Problems

2.2 Adjustments for Oversampling

2.2 Adjustments for Oversampling

Demonstration 4

Sampling Weights

Demonstration 5

Chapter 2. Fitting the Model

Chapter 2. Fitting the Model

2.1 The Model

2.1 The Model

Demonstration 2

Demonstration 3

1.1 Introduction

1.1 Introduction

Demonstration 1

Chapter 4. Classifier Performance

Chapter 4. Classifier Performance

4.1 Honest Assessment

4.2 Misclassification

4.3 Allocation Rules

4.4 Overall Predictive Power