이번 테크 블로그는 AI빅데이터 시리즈 4부, AWS 빅데이터 서비스 – 시각화입니다.
지난 1부에서는 AWS 빅데이터 서비스의 포트폴리오와 수집에 대해, 2부는 저장에 대해 진행되었습니다.
베스핀글로벌에서는 AWS 빅데이터 서비스 포트폴리오를 수집-저장-분석-시각화로 분류했는데요.
각 서비스 항목에 매칭되는 AWS의 제품과 오퍼링을 구분하여 고객사에서 빅데이터를 효율적으로 구축할 수 있는 방법에 대해 소개했습니다.
AWS 총 서비스 항목 약 124종 중 빅데이터 관련 서비스는 약 34종에 달합니다. 이 중에서도 필수 13종과 선택할 수 있는 부분을 나눠 어렵지 않게 다가가실 수 있도록 했습니다.
빅데이터 서비스를 도입하고자 하시는 분들께 매우 유용한 내용이 될 것입니다.
3부에서는 빅데이터를 제대로 활용 하기 위해 중요한 분석 시, AWS의 어떤 제품이 적합한지 살펴보았습니다.
뉴스레터 가입
클라우드 관련 최신 소식을 업데이트 받으실 수 있습니다.
영역별 서비스 – 시각화
시각화 – Amazon QuickSight
- 영역
- 시각화
- 지역 (Region)
- 미주, 유럽, APAC(싱가폴, 시드니) 등 6개 지역
- 서비스 명
- Amazon QuickSight
- 가격 정책
- 사용자 및 서비스 기준 연간 구독
설명
데이터를 사용하여 시각적 객체를 구축하고, Ad-hoc 분석을 수행하고, 사업과 관련된 통찰을 빠르게 얻을 수 있는 신속한 비즈니스 분석 서비스로 강력한 인 메모리 엔진(SPICE : Super-fast, Parallel, In-memory Calculation Engine)을 사용하여 우수한 성능을 보임
제공 기능
▶︎ 데이터 작업
- AWS 데이터 원본, Salesforce, 일반적인 형식의 파일과 널리 사용되는 데이터베이스 엔진을 비롯한 다양한 데이터 사용
- 계산된 필드 추가, 필터 추가, 필드 이름 바꾸기 등의 작업으로 데이터 세트 생성
▶︎ 분석 작업
- 데이터 세트를 이용하여 시각적 객체(그래프, 표 등)를 만들기 위한 환경 구성
- 한 가지 분석에 최대 20개의 데이터 세트를 지원하고 한 가지 분석에 최대 20개의 시각적 객체를 지원
▶︎ 시각적 객체 작업
- 데이터를 그래프로 표현하는 작업
- AutoGraph 기능을 통해서, 그래프의 유형을 지정하지 않아도, 선택된 필드의 숫자 및 데이터 형식에 따라 가장 적절한 시각적 객체 유형 사용 가능
▶︎ 스토리 작업
- 분석의 여러 시각적 객체를 순차적으로 재생하여 분석 데이터에 대해 서술하는 기능
▶︎ 대시보드 작업
- 읽기 전용의 분석 스냅샷으로, 보고를 위해 다른 Amazon QuickSight 사용자들과 공유 가능
서비스 지원 정보
- 데이터 유형
- 정형
- 데이터 크기
- 소
- 실시간 / 배치
- 배치
입력
S3 (Analytics) / Athena / RDS / Redshift / Aurora
File Upload / Salesforce / MySQL / PostgreSQL / SQL Server / MariaDB / Presto / Spark / Teradata / Snowflake
서비스의 특 / 장점
▶︎ SPICE (Super-fast, Parallel, In-memory Calculation Engine)
- 최적화된 인 메모리 계산과 신속한 Ad-hoc 데이터 시각화를 위해 특별히 AWS에서 설계한 데이터 처리 엔진
- In-memory, Columnar storage 등의 기술을 이용하여 빠른 쿼리 수행이 가능
- 각각의 Amazon QuickSight 계정에는 유료 사용자 1인당 10GB의 SPICE 용량이 제공
- Amazon QuickSight 계정마다 SPICE 용량 1GB의 무료 사용자 1인이 제공
- SPICE 용량은 Amazon QuickSight 계정의 사용자 간에 공유하여 사용할 수 있음
- 예를 들어 사용자가 4명(유료 3명, 무료 1명)이라면 사용 가능한 SPICE 용량이 31GB이고 계정의 어떤 사용자든 이를 사용할 수 있음
출력
Dashboard / CSV File
운영 시 고려사항
▶︎ SPICE 상의 사용하지 않는 데이터 세트는 삭제하여 SPICE 용량을 확보
가격 정책 상세
*2017년 12월 가격 기준
라이선스 Edition
▶︎ Standard Edition
- Upload CSV/Flat Files/Excel Files, Connect to supported AWS data sources, Connect to third-party data sources, Connect to on-premises or hosted databases, Data preparation tools, Build visualizations and share dashboards, Access all chart types, Filter data, Scale to thousands of users, In-memory calculation with SPICE, Enable Audit Logs with AWS CloudTrail, Federated Single Sign On with SAML
▶︎ Enterprise Edition
- Standard Edition의 모든 기능 + Active Directory Integration, Encryption at REST
구독 정보 (연간)
Standard Edition | Enterprise Edition | |
---|---|---|
첫번째 사용자 ($/사용자/월) | Free (1GB SPICE 포함) | Free (1GB SPICE 포함) |
추가 사용자 ($/사용자/월) | $9 (10GB SPICE 포함) | $18 (10GB SPICE 포함) |
추가 SPICE (GB/월) | $0.25 | 빠$0.38 |
* 모바일에서는 좌 / 우로 스크롤해서 보세요.
구독 정보 (월간)
▶︎ Standard Edition
- $12/사용자/월
▶︎ Enterprise Edition
- $24/사용자/월
비고
▶︎ 연간 구독을 신청하는 경우, 자동으로 갱신(renewal)이 지정됨 (default)
▶︎ 자동 갱신 옵션을 해제하고자 하는 경우, ‘Manage QuickSight’ 메뉴에서 지정해야 함
▶︎ 연간 구독은 중도의 취소 불가
Q&A
구분 | 요청사항 | 처리사항 | 처리결과 |
---|---|---|---|
공통 | 각 영역별(수집, 저장, 분석) 페이지 첫 장에 서비스 개요 추가 요청 | ||
공통 | 서비스 포트폴리오 페이지(p.1.)에서 우리가 쓰는 서비스에 대한 별도 표시 요청 | 총 34개 Big Data 서비스 중 필수 13종 선정 장표 추가 | 완료 |
공통 | 서비스 별 가격 정보 및 가격에 영향을 미치는 요소 표시 요청 | 가격정보 추가 완료, 영향 요소는 개요에 추가 예정 | 완료 |
공통 | IT용어, 축약 용어에 대한 설명을 페이지 내에 표기 혹은 쉬운 표현으로 변형 표기 요청 | 영문 약어에 대한 Full name 추가 | 완료 |
공통 | 서울 리전 – 해외 리전 간 서비스별 연결제한 여부 확인 요청 | 리전간 서비스별 연결 의존성이 부분적으로 있으며, 직접 확인 작업이 필요 (예 : Glue 서비스 이용 시 같은 리전의 저장소와 연계가능) | 추후 |
수집 | AWS MQ, DMS(Database Migration Service) 에 대한 서비스 페이지 추가 요청 | Database Migration Service 추가 (MQ는 LSG에서 작성) | 완료 |
수집 | [IOT] QoS (Quality Of Service Levels) 에 대한 내용 추가 요청 | 운영 시 주의사항에 추가 | |
수집 | [Kinesis Stream] MQTT 프로토콜이 지원 여부 확인 요청 | 지원 (http://docs.aws.amazon.com/ko_kr/iot/latest/developerguide/kinesis-rule.html) | 완료 |
수집 | [Kinesis Stream] IOT 와 어떤 차이 있는 확인 요청 | 서비스 개요 페이지에서 비교 가능 | 완료 |
수집 | [Kinesis Firehose] 입력 모듈의 디테일화 요청 | ||
수집 | [Glue] Glue 서비스를 수집 영역에 배치 요청 | 수정 | 완료 |
저장 | [Redshift] Redshift 백업 데이터 Glacier로 저장 가능 여부 | ||
저장 | [Glacier] 압축을 해서 저장한다면, S3에 있는 데이터의 압축은 어떻게 하면 효율적인가? |
* 모바일에서는 좌 / 우로 스크롤해서 보세요.
Know-How
구분 | Know-How |
---|---|
공통 | AWS 서비스 패치 및 업데이트에 대비하기 위한 내부 체계 필요(ex. 제품별 버전을 명시적으로 정해서 사용하는 방법 고려) 하다. 현재는 계정 담당자에게 알림이 온다. |
공통 | Amazon 으로 시작하는 서비스명 : 자체적으로 서비스 가능 (예 : Amazon S3) AWS 로 시작하는 서비스명 : 자체적 서비스 불가, 타 서비스와 연계해야만 하는 서비스 (예 : AWS IOT ) |
요금 | 데이터 전송에 대한 과금은 일반적으로 들어오는(In-Bound) 데이터는 과금이 되지 않고, 데이터를 내보낼 때(Out-Bound) 과금이 된다. |
수집 | [Glue] ETL 작업 중 변환 작업이 필요한 경우 Python 을 사용해 추가적인 작업을 해야 한다. |
수집 | [Glue] 크롤러 기능은 스키마를 추출할 때의 기능이며, 일부 데이터만 추출하여 스키마를 정한다. |
저장 | [S3] 모든 리전에서 사용가능 하지만 S3와 연계 사용시에 리전간 의존성이 존재하며, 데이터 이동시 비용이 부과된다. |
저장 | [S3] S3 를 MS Azure Data Lake와 같은 개념이며, 여러 서비스에 적용되는 측면에서 유연성이 좋으며, 가격적으로 저렴하다는 이점이 있다. |
저장 | [S3] S3의 데이터를 직접 쿼리할 수 있는 서비스로는 Redshift spectrum, Athena, S3 Select(preview)가 있다. |
저장 | [Redshift] 대용량 데이터을 저장 분석하기 위해 Redshift를 쓰며, 비용이 많이 부과된다. 현재 LS그룹의 상황에서는 후순위 대상 서비스일 가능성이 높다. |
저장 | [Glacier] 계열사 데이터를 수집하여 보관 용도가 필요한 경우 Glacier 서비스가 유용한다. LS 그룹의 데이터 백업 정책이 있는가? 없다면 사업화 전략도 고려해볼 수 있다. |
저장 | [DynamoDB] 유사한 NoSQL 제품은 Cassandra, Mongo DB 가 있으며, 커밋, 롤백이 중요한 경우 RDB를 사용하실 것을 권장한다. |
저장 | [RDS] On-Premise 에 있는 데이터를 대량으로 이동할 때는 Database migration service 를 이용할 수 있다. |
저장 | [Aurora] RDB 계열 중 가장 비싸며, 전용 VPC 를 사용할 수 있다. |
분석 | [ElasticSearch] 보안로그 분석을 통한 보안관제 서비스 또는 이상징후 탐색 서비스로 활용 가능하다. |
분석 | [Machine Learning] 알고리즘은 종류 선택은 불가하며, 입력 데이터 저장소가 같은 리전에 있어야한다. |
분석 | [EMR] Work(Task) Node 의 경우 Replication 이 지원되므로 Spot Instance 를 사용하여 요금 절감을 할 수 있다. |
분석 | [EMR] Hortonworks, Cloudera 플랫폼을 사용하려면 IaaS 형태로 사용해야 하지만, IaaS 형태로 Hadoop Cluster 를 구성할 경우 성능이 상대적으로 낮게 나올 가능성이 높다. |
분석 | [EMR] MS HDInsight의 경우 Hortonworks 플랫폼 그대로 쓰기 때문에 하둡 에코시스템을 그대로 사용하지만, Amazon EMR의 경우 에코시스템 일부만 선택 가능하다. |
* 모바일에서는 좌 / 우로 스크롤해서 보세요.
AWS 빅데이터에 대해 더 알아보고 싶다면, 지금 찾아가는 세미나 신청하세요
베스핀글로벌이 직접 찾아가 자세히 알려드립니다.
클라우드에 대해 무엇이든 묻고! 덤으로 버거킹도! 베스핀글로벌의 찾아가는 세미나
사이트를 클릭하시고, 30초도 안걸리는 신청하기 버튼 누르면 끝!
세미나 신청하기: www.bespincloudops.com/guestbook
연관 콘텐츠
- AI/빅데이터 시리즈 [1부] AWS 빅데이터 서비스 포트폴리오, 수집
- AI/빅데이터 시리즈 [2부] AWS 빅데이터 – 저장
- [Step by Step] Amazon RDS 가용성 및 확장성 (Multi AZ 및 Read Replica)
- Amazon Relational Database Service Monitoring
- [Step by Step] Relational Database Service(RDS)
- Amazon Relational Database Service (RDS, Amazon 관계형 데이터베이스)
- [Bespin’s Pick vol.11] AWS RDS vs EC2 차이점, 간단히 파악하기
AWS에 대해 더 알고 싶으세요?
베스핀글로벌의 AWS 전문 엔지니어가 답해드립니다.