백엔드/프론트엔드에서 사용하는 DB는 웹 서비스를 운영하기 위함이 목적이라면, 데이터 직군에서는 큰 데이터를 처리해서 작은 데이터로 요약하고 다양한 종류의 데이터 분석을 하는게 목적
주어진 문제를 답하기 위해 데이터 분석을 하는데, 이때 사용하는게 SQL(Structured Query Language)
빅데이터 세상에서 구조화된 데이터를 다루는데 SQL만큼 쉽고 검증된 다른 언어가 없다
2. 배움에 관하여
배움에는 시간과 노력이 걸린다
정체기는 자연스럽다
새로운 것을 배울 때 좋은 자세 (1)
아는 것과 모르는 것. 분명히 이해하자
마음을 편하게 먹자. 질문을 자기검열하지 않고 질문하자
나보다 잘하는 사람들은 그만큼 시간을 쏟았다는 것을 인정하자
새로운 것을 배울 때 좋은 자세 (2)
배움의 발전은 tipping point를 거치면서 폭발한다
"The secret is to build the resolve and spirit to enjoy the plateaus the times when it doesn't feel like you're imporving and you question why you are doing this. If you're patient, the plateaus will become springboards" (Quote from Steve Nash)
발전이 더딘 이 기간을 즐기는 자세가 필요하다
3. 관계형 데이터베이스
관계형 데이터베이스는 구조화된 데이터를 저장하고 질의할 수 있도록 해주는 스토리지
엑셀 스프레드시트 형태의 테이블(column&record)로, 데이터를 정의하고 저장함
관계형 데이터베이스를 조작하는 프로그래밍 언어가 SQL(Structured Query Language)
테이블 정의를 위한 DDL(Data Definition Language) - CREATE, DROP ...
테이블 데이터 조작/질의를 위한 DML(Data Manipulation Language) - SELECT, UPDATE, DELETE, ...
대표적인 관계형 데이터베이스
프로덕션 데이터베이스(Production Database)
MySQL, PostrgreSQL, Oracle, ...
OLTP(Online Transaction Processing)
빠른 응답 속도. 서비스에 필요한 정보를 저장함
웹 서비스에 필요한 데이터들. 웹 서비스가 느리면 나쁜 경험으로 이어져 사용하지 않게 될 것
데이터 웨어하우스(Data warehouse)
Redshift, Snowflake, BigQuery, Hive ...
OLAP(Online Analytical Processing)
처리 데이터 크기에 집중. 데이터 분석 혹은 모델 빌딩 등을 위한 데이터 저장
보통 프로덕션 데이터베이스를 복사해 데이터 웨어하우스에 저장함
데이터베이스 구조테이블 구조
관계형 데이터베이스의 구조
2단계로 구성
가장 밑단에 테이블들이 존재(테이블 = 엑셀의 시트)
테이블들은 데이터베이스(혹은 스키마)라는 폴더 밑에 구성됨(엑셀에서는 파일)
테이블의 구조(or 테이블 스키마)
레코드(행)로 구성
레코드는 하나 이상의 필드(컬럼)로 구성
필드(컬럼)는 이름, 타입, 속성(Primary key)으로 구성됨
Primary key는 유일하며, 각 레코드의 값이 유일할 수 있게 해줌
만약, 내가 가는 회사에 프로덕션 데이터베이스만 있다면?
이런 경우, 내가 필요한 데이터가 프로덕션 데이터베이스만 있기 때문에 두 가지 단점이 있음
꼭 프로덕션 데이터베이스에 접근해야 데이터를 가져올 수 있음
큰 쿼리를 날리게 되면 결국 데이터베이스 속도에 영향을 끼치고 웹서비스에도 영향을 미침
백엔드 개발자들이 시러하겠쥐... 불화 발생...
사고로도 이어질수두...
따라서 별도의 데이터베이스가 필요함! 데이터 웨어하우스 필요!
4. SQL(Structured Query Language)
1970년대 초반에 IBM이 개발
관계형 데이터베이스에 있는 데이터(테이블)를 질의하거나 조작하는 언어
두 종류의 언어로 구성됨
DDL(Data Definition Language)
테이블의 구조를 정의하는 언어
DML(Data Manipulation Language)
테이블에서 원하는 레코드(행)들을 읽어 오는 질의 언어
테이블에 레코드를 추가/삭제/갱신해주는데 사용하는 언어
빅데이터 세상에서도 중요한 SQL
Spark, Hadoop이 나오면서 SQL은 작은 데이터에나 쓰는거다, 한물 갔다라고 생각한 때가 있었음
하지만 데이터가 크건 작건 데이터를 구조화할 수 있다면, SQL은 이 데이터를 질의하고 조작하는데 아무런 장애물이 없다는 것을 깨닫게됨
이로써 모든 대용량 데이터 웨어하우스가 SQL을 기반으로 동작할 수 있게 만듬
Redshift, Snowflake, BigQuery, Hive ...
SQL의 단점
구조화된 데이터만을 다룰 수 있음
정규표현식을 통해 비구조화된 데이터를 어느 정도 다루는 것은 가능하지만 제약이 심함
많은 관계형 데이터베이스들은 플랫한 구조만을 지원(no nested like JSON)
구글의 BigQuery는 nested structure을 지원함
비구조화된 데이터를 다루는데 Spark, Hadoop과 같은 분산 컴퓨팅 환경이 필요해짐
SQL만으로는 비구조화 데이터를 처리하지 못함
관계형 데이터베이스마다 SQL 문법이 조금씩 상이함
사투리같이...
star schema / denormalized schema
데이터 모델링(=데이터를 어떻게 표현하고 저장할거니?)
Star schema
Production DB용 관계형 데이터베이스에서는, 보통 Star schema를 사용해 데이터를 저장함
