하둡 생태계 데이터 수집/저장/처리/적재 데이터 수집 - Kafka - 실시간 분산환경에서 메시지를 송수신하는 메시지 전달 솔루션 분산 데이터 저장 - HDFS - 데이터를 클러스터 환경에 분산 저장하는 솔루션으로 Namenode(리더노드)와 Datanode(컴퓨팅노드)로 관리 분산 클러스터 관리 - YARN - 분산 클러스터의 리소스 관리 솔루션으로 Resourse Manager가 Node Manager를 관리 분산 데이터 배치처리 - Hadoop MapReduce - Map과 Reduce의 2상로 데이터를 처리하는 하둡 기반의 배치 작업 플랫폼 인메모리 데이터 처리 - Apache Spark - 인메모리 상에서의 데이터 처리 플랫폼으로 배치처리, 실시간 스트리밍, SQL 질의와 Graph 처리, 머신..

FRED 데이터를 가져오기 위해서 파이썬 라이브러리인 fredapi를 설치해야한다. 그런데 아나콘다 가상환경 모듈에서 위와 같은 오류가 발생해서 확인해보니 Python 3.9 이상에서는 fredapi에 저런 함수는 사용하지 않는다고 한다. 즉 파이썬 버전과 fredapi 라이브러리의 충돌이다. 그래서 fredapi를 재설치를 해줘야했다. 그래서 먼저 아나콘다에 설치되어 있는 패키지를 삭제해줬다. conda uninstall fredapi 문제는 conda install fredapi를 하면 PackagesNotFoundError를 발생시켜서 설치가 안된다. 그래서 pip을 사용해서 설치해줬더니,,, 이번엔 pandas에서 오류가 나서 pandas도 재설치해줬다. pip install fredapi 다시 ..

🌈 TO_CHAR ( "날짜", "포맷" ) 🌈 포맷 종류는 총 3가지가 존재한다. - day, dy, d select to_char(sysdate, 'day') from dual --결과 : 화요일 select to_char(sysdate, 'dy') from dual --결과 : 화 select to_char(sysdate, 'd') from dual --결과 : 3 (1:일, 2:월, 3:화, 4:수, 5:목, 6:금, 7:토) ⚡ INTERVAL - 날짜 빼고 더하기 ⚡ SYSDATE + (INTERVAL '1' YEAR) --1년 더하기 SYSDATE + (INTERVAL '1' MONTH) --1개월 더하기 SYSDATE + (INTERVAL '1' DAY) --1일 더하기 SYSDATE + ..

1️⃣ order by 은 SQL문의 가장 마지막에 온다. 예외) 상위 n개 출력시 - limit n 을 가장 마지막에 사용함 SELECT name from ANIMAL_INS order by DATETIME limit 1; 열의 숫자를 이용하여 정렬도 가능, 여러 열을 기준으로 사용 가능 SELECT ANIMAL_ID, NAME, DATETIME from ANIMAL_INS order by name asc, datetime desc; 2️⃣ count(distinct(name)) - count 전에 distinct 사용 가능 3️⃣ IFNULL(True, False) SELECT ANIMAL_TYPE, IFNULL(NAME, 'No name'), SEX_UPON_INTAKE from ANIMAL_INS..

제43회 SQL 개발자 시험을 보았고 76점으로 합격했다. 책은 많이 알려져 있는 노랭이로 시작하였다. 저 책은 문제만 나와있기에 요악집과 개념책으로 공부하였다. 전공자이면 2주면 충분히 합격할 수 있을 것 같다. 1과목은 요악집 1 회독 -> 노랭이 풀기 -> 개념 정리 -> 오답 2과목은 개념 정리 -> 노랭이 풀기 -> 요약집 1 회독 -> 오답 마지막에 오답과 요약본을 다시 봤다. 시험 난이도는 노랭이보다 쉽다. 요약집과 개념서를 파일로 올려놓겠다. 공부하면서 모르는 문제와 개념들은 카페에서 질문을 하였고 가체점도 여기서 하였다. 그리고 카페에 기출문제집이 있는데 이를 꼭 풀어보고 가는 것을 추천한다. 이와 비슷하게 문제들이 출제되었다. https://cafe.naver.com/sqlpd 데이터 ..

우선 2021년 필기 1회 차와 2021년 실기 1회 차를 보았다. [필기] 한달을 잡고 공부했지만, 전공자라면 2주면 가능할 거 같다. 책은 수제비를 이용해서 공부하였다. 3 회독을 하였는데 2 회독을 하였어도 충분했을 거 같다. 수제비 카페도 있어서 이를 이용해서 헷갈리는 내용을 물어보고 하였다. https://cafe.naver.com/soojebi 수제비- IT 커뮤니티 (정보처리기사... : 네이버 카페 수제비-수험생 입장에서 제대로 쓴 비법서(정보처리기사, 정보처리기능사, 빅데이터 분석기사 등 시리즈) cafe.naver.com [실기] 실기는 한달을 잡고 공부하였는데 실기는 3주~ 4주 잡는 것이 좋을 거 같다. 예상 문제집이 수제비 카페에 있어서 5회분 풀고 들어갔던 기억이 있다. 크게 도..