본문 바로가기

데이터20

DW, BI를 하다보면 듣게 되는 용어들 짤막한 이야기 DW시스템은 여러 소스시스템으로부터 대량의 데이터를 가져와 분석하기 위해 변경, 보관, 공유한다. 이를 이용해 다양한 분석을 위해 사용한다. DW시스템 관련 업무를 하다보면 ETL, OLAP툴들에 대해 이야기를 먼저 하겠지만 이런 정보들은 쉽게 찾아볼 수 있다. ETL 및 OLAP 관련 여러 제품들이 존재한다. 사이트에 나갔을때 접하게되는 데이터를 분석하다보면 실적 데이터, 계획 데이터란 말도 자주 듣게 된다. 경력자들은 잘아는 용어일것이다. 실적데이터란 무엇일까 쉽게 이야기하면 과거 데이터이다. 현시점 전까지의 데이터이다. 기준이 당주가 되건 당일이 되건 이전까지이다. 회사에 따라 다르겠지만 실적 데이터는 적어도 3년치, 2년치 정도를 가지고 있다. 계획데이터는 당일 이후의 데이터 미래 데이터라고도 하.. 2023. 12. 12.
SSAS 큐브생성시 파티션 자동화 파티션 자동화시 필요한 생성유무 스크립트 SELECT TOP 1 RIGHT(OBJECT_ID,8) AS MIN_DATE FROM $System.DISCOVER_OBJECT_ACTIVITY WHERE OBJECT_PARENT_PATH = 'CUBECONNECT.Databases.IFS_XXX_ZZZZ_01.Measure Groups.IFS_XXX_ZZZZ_01.Partitions' ORDER BY OBJECT_ID 해당결과를 변수에 담아 구분한다. 조건편집기로 구분 2023. 3. 16.
차원 모델링 뭘 고려해야할까 차원 모델링  뭘 고려해야할까 1) 차원 주제의 선택부터 하자 회사 조직의 부서 단위나 업무 영역별로 그리고 다양한 의사 결정 계층별로 다양한 분석요구를  수집 및 주제별 요구사항이 정리되어야 한다. 정리된 요구사항들은  주제별로 그룹화하여 분랴한다. 주제 중심으로 확장하여 차원주제들을 선택한다 2) 차원 특성의 도출 차원 주제와 관련한 다양한 분석 수준을 고려하여 차원 특성들을 도출한다. 차원 특성들이 수준별 분석이 가능하게 그룹화하고 특성 간의 개념 계층을 결정한다 3) 팩트 그룹의 결정 분석하려는 조직의 다양한 수치 등을  의미있게 그룹화함으로써 팩트그룹을 도출한다 측정값의 기본단위와 요약수준을 결정한다 4) 데이터 입도 결정 고려 분석 데이터의 구체화 정도를 의미하는 데이터 입도는  핵심  고려사.. 2022. 10. 29.
서브쿼리 주의하기 서브쿼리 주의하기 서브쿼리는 SQL 내부에서 생성되는 일시적인 테이블이다. 서브쿼리는 유연성 때문에 SQL작성시에 빈번하게 사용되며 실무에서도 없어서는 안될 존재이다. 우선 서브쿼리는 단점들을 보면 1. 연산비용이 추가한다는 거 테이블과 달리 실체적인 데이터를 저장하지 않는다는 것은 서브쿼리 접근시마다 SELECT 구문을 실행해서 데이터를 생성한다는 의미이다. 따라서 SELECT 실행시 발생하는 비용이 추가된다. 2. 데이터 I/O 비용 연산결과를 어딘가에 보관해두어야 한다 메모리 용량이 충분하다면 부담이 적지만 그렇지 않을 경우 DBMS가 저장소에 있는 파일에 결과를 쓸 때도 있다. 3. 최적화문제 구조적으로 테이블과 별다른 차이가 없다 하지만 제약이나 인덱스가 있는 테이블과는 다르게 서브쿼리에는 그런.. 2022. 10. 28.