(Cloud) AWS > AWS 기반 데이터 분석 환경 - "Amazon Redshift" review

Amazon Redshift

AWS 의 가장 빠르고 가장 널리 사용되는 "클라우드 데이터 웨어하우스에서 모든 데이터 분석" 을 주제로, 잠시 시간이 되어 AWS 기반 데이터 분석에 대한 강의를 들을 기회가 있었습니다.


AWS 는 자신들의 여러 비지니스 모델 중 하나로, 각 기업의 온프레미스 데이터 웨어하우스를 Amazon Redshift 로 마이그레이션 하는 것을 목표로 하는 것으로 보입니다.


문득, 개인 적으로 드는 생각은 어느 정도의 범위 또는 수준 까지 가능 할지 가 궁금해집니다.

각 기업들이 보유한 데이터 중 데이터 분석 효과가 크고 중요한 즉 보안 유지가 필요한 데이터를 "Cloud 데이터 웨어하우스" 로 구축 하고 일상화 하는데 얼마 만큼의 시간이 걸릴게 될지..  (아마도 의사 결정을 누군가는 내려야겠지만.. 누가? risk 를 감내할 만큼 효과가 있을 까요? 쉽지 않은 결정이라 생각 합니다.)


이러한 의구심을 뒤로 하고, 혹시 모를 미래를 준비하기 위해 강의 내용을 정리 해 보고자 합니다.


  • 목 표 : AWS 기반 데이터 분석     
  • 목 차
    • 분석 Trend
    • 예시
    • 어려움
    • 완전 관리 형
    • 서버 리스 형
    • 분석 용 데이터 저장
    • 초기 분석 아키텍처 
  • 내 용 (주요 사항)
    • 분석 Trend
      • 증가하는 데이터 량
      • 복잡해진 데이터 요구 사항
      • 발전하는 데이터 분석 기술의 발전
        • Hadoop, Elasticsearch, Presto, Spark
        • 최근에는 ML 관련 플랫폼도 많이 이용되는 추세

    • 데이터 분석 예시
      • insight 도출 , business 의사 결정  : 신규 사업 분석, 보안 분석 등

    • 어려움
      • 제약 사항 : 인원, 시간, 비용, 배움의 어려움
      • 학습,설치, Poc, 운영 모두가 비용
      • 적절한 서비스 선택과 아키텍처
      • 데이터를 하나로 모으는 게 어려움
      • 제약 사항을 극복하기 위해: 비용 효율, 더 빠르게, 핵심 비지니스에 접근, 낮은 위험에서 더 자주 실험 

    • 완전 관리 형 서비스 (AWS Managed Service)
      • 설치 구축 운영 성능 튜닝은 기본으로 제공
      • 직접 서버에 설치해서 운영하지 않아도 되는 완전 관리 형 분석 서비스 들
        • Amazon EMR : AWS 에서 Spark ,Hadoop, Hive, Presto, HBase 및 기타 빅 데이터 앱을 쉽게 실행
        • Amazon Redshift : 최초이자 가장 인기 있는 클라우드 데이터 웨어 하우스
          • 데이터 레이트 & AWS 통합
          • 무제하나 동시 액세스를 충족하기 위해 온-디맨드 무제한 컴퓨팅 용량 초과
        • Apache Kafka :안전한 완전 관리 형 고가용성  서비스
          • 실시간 스트리밍 처리
        • 운영 분석
          • 안전한 완전 관리 형 고가용성  Elasticsearch 서비스

    • 서버 리스 형
      • 관리 자동화를 넘어 SQL 이나 분석 스크립트만 돌림
      • 빠르게 가성비 최고의 분석 솔루션 구축 가능, 작게 시작
      • 인프라 구축 및 운영이 필요 없음
      • 기본 구성
        • Glue 
          • 다양한 방식으로 동일 데이터 분석
          • 크롤러를 사용하여 데이터 스키마를 분석
          • 식별자를 통하여 테이블 정의를 glue 데이터 카탈로그에 작성
          • 실제 데이터 저장소에 연결
          • 스키마 추론
          • 로딩 작업 생성
          • 작업을 실행 변환/전송 처리
          • 모니터링
        • S3 : 확장 가능한 저장소
        • Kinesis : 실시간 데이터 및 비디오 스크림을 쉽게 수집, 
        • Anthena : 서버 운영 없이 데이터 카탈로그 기반으로 기본 SQL과 같은 경험
          • DDL을 사용한 Create External Table
        • Amazon QuickSight

    • 분석 용 데이터 저장
      • 쉽게 저장되고 안전하며 통합 되어 관리 되기 위해 S3에 모을 필요가 있다.
        • 무한 확장 가능, 오브젝트 기반 소트로지, 전송중/암호화 지원
      • 예로, 각각의 매출, 장바구니 사용자 별로 데이터를 모아 분석하는 방식에서 한 곳으로 모아 놓은 후 분석
      • 일반적인 데이터 레이크 아키텍처
        • 확장 가능한 데이터 레이ㅣ크
        • 목적에 맞게 구축 된 데이터 서비스
        • 원활한 데이터 이동
        • 통합 거버넌스
        • 성능과 비용 효율성 



    • 초기 분석 아키텍처 
      • AUQA - Advanced Query Accelerator 
        • S3 기반의 새로운 분산형 하드웨어 가속 처리 Layer , 여러 노드에서 병렬로 데이터 처리 가능
      • Redshift Data Sharing
        • 실시간으로 일관된 데이터를 공유하는 간단하고 직접적인 방법
        • 개별 클러스터 구성을 설정 하여 성능, 비용을 최적화
      • Redshift Machine Learning (ML)
      • EMR on Amazon EKS
        • EKS 에서 Apache spark job 실행



ref : 














Comments

Post a Comment

Popular posts from this blog

[MaritimeCyberTrend] Relationship and prospects between U.S. Chinese maritime operations and maritime cybersecurity

Image
U.S. Sanctions on Chinese Ships & Cybersecurity Compliance The U.S. Trade Representative (USTR)’s sanctions on Chinese shipping and shipbuilding are expected to heighten the importance of cybersecurity regulations in vessel operations. In particular, as the U.S. increasingly frames Chinese-built ships and shipping companies as cybersecurity risks, compliance with maritime cybersecurity standards will become a critical issue for global shipping stakeholders. The United States is increasingly likely to classify Chinese-built vessels as national security and cybersecurity threats, using this as a basis for additional regulations and sanctions. In particular, drawing from past sanctions on Huawei and ZTE, the U.S. may argue that ships built in Chinese shipyards and equipped with Chinese IT systems (navigation, communication, and monitoring equipment) pose risks to the digital maritime infrastructure of the U.S. and its allies. As a result, the U.S. Coast Guard (USCG) is expected to s...
Read more

인공지능 서비스 - 챗봇, 사전에 충분한 지식을 전달하고 함께 학습 하기!

Image
우리는 앞선 글을 통해 성공적으로  AI 서비스를  개발하거나 도입하는 것을 목적으로  프로젝트의 공식 착수 이전에  목표로 하는 AI 서비스에 대하여, 소속된 조직 내부는 물론 기업내 협력이 요구되는 조직들  각자가 서로 다른 정의와 기대 효과 그리고 활용 방안을 가지고 있던 상황을 해결할 필요가 있는것을  잘 알고 있습니다. 이를 위해 가장 먼저, 이해 관계자들이 그 추진 방향과 목표를 공감 할 수 있도록 잘  알려진 선행 사례와 수치를 활용하여 필요성 측면에서 사전 논쟁을 유도 하였으며  앞으로의 프로젝트 진행 단계 별 추진 방향에 대한 의사 결정의 매 순간  마다 이해 관계자들에게 정확한  정보를 전달 할 것임을 암시적으로 표현 하기도 하였습니다. 이제 남은 것은 관련 분야에 경험이나 지식이 없는 상황에서 잘못된 의사 결정이나 행동을 미연에 방지하기 위해   "사전에  충분한 지식을 전달하고 함께 학습 " 하는  것이라 생각 합니다. (나던 남이던 알면 얼마나 더 알겠는가.. 인터넷 검색만 해도 다 나오는 한 줌도 되지 않는 지식으로 자존심 세우려 하지 말고, 함께 학습 하며 결과물의 완성도를 높이는 대 힘쓰자~! 그것이 상생이다. 꼰대가 되지 말자~!) 이는 본인의 경험을 바탕으로 작성된 글임을 다시 한번 밝히며, 이러한 사항이 AI 업계에 종사 하시는 분들에게도 도움이 되기를 바라는 마음에  그 사례를 소개 하고자 합니다. (관련 전문 용어나 이미지 등은 하단의 reference 들을 참조 하여 작성 하였습니다.) 챗봇의 작동 원리 그리고 최적 성능 확보를 위한 노력   역은이: In-Sung Lee 모든 챗봇이 인간의 언어를 완벽히 이해하고 자연스럽게 대화하는 것을 목표로 가져야 할까요 ? 아마도 사람처럼 말하고 답변 하지 않는 단순 챗봇이라 하더라도 고객의 문제를 해결해 줄 수 있다면 그 자체로 의미가 있...
Read more

[Curriculum] Sungkyunkwan University - Department of Information Security - Course Sequence by Areas of Interest

Image
The order in which subjects are approached may vary depending on the student's major, interests, and learning goals. However, generally, taking courses in the following sequence allows for efficient learning. (Source: Sungkyunkwan University GSIC ) 1. Basic Courses First, it is essential to understand fundamental theories and basic concepts. The following courses help build foundational knowledge: Introduction to Digital Forensics (FSI5056) : Establishes the basics of digital forensics and teaches various methods for collecting and analyzing digital evidence. Korea University Graduate School of Information Security Introduction to Cryptography (GSIS001) : Covers the fundamental principles and applications of encryption technologies for data protection. Life Coding Database (GSID003) : Introduces key concepts and practical skills for data storage and management. Operating Systems (GSID021) : Helps understand the structure and functions of operating systems, which are the core of com...
Read more