이모저모 정리

요구사항 특정 시간 Column에서 누락이 발생할 경우 해당 시간대에 얼마나 누락이 발생되었는지 확인 필요 시작 시간과 끝 시간이 누락될 경우 해당 시간에서 얼마나 누락이 발생하였는지 확인 필요 전체가 누락될 경우 누락된 전체 시간 확인 필요 해당 데이터는 List 형태로 제공 기능 정리 연속적이지 않은 시간대와 해당 시간에 얼마나 누락이 발생하였는지 확인 필요 연속적인 기준은 초/분/시간이며 해당 로직 구성 필요 시작 시간이 List 첫번째 인덱스에 없을 경우, 마지막 시간이 List 마지막 인덱스에 없을 경우 추가 해당 시간에 얼마나 누락이 발생하였는지 확인 필요 기능 구현 선택한 방법은 전체를 순환하며 n 값과 n+1의 값을 비교 (n == (n+1) + 특정 시간(1초, 1분 ...)) 시간 복잡..

만약 stage 와 remote 에서 차이가 있을 경우 complit 나지 않도록 아래 명령어 수행 git stash git pull git stash pop git add {File Or Directory} git commit # or git commit -m "{message}" remote 영역에서 File/Direcotry delete git rm -r --cached {File Or Directory} stage 영역 File/Directory delte git rm {File or Directory} coomit 정리 git rebase

Jupyter 환경에서 conda env package 설치 시 아래 오류 발생 WARNING conda.core.envs_manager:register_env(50): Unable to register environment. Path not writable or missing. 해당 오류 뿐만 아니라, jupyter 가상 환경에서 커널 설정 및 패키지 import 에러 발생 OS : Mac Monterey 12.1 Anaconda : 4.11.0 Python : 3.9.7 pip: 21.3.1 Anaconda, python 은 homebrew 통하여 설치 # anaconda, python 설치 brew install anaconda brew install python # anaconda 가상환경에서 패..

OS: macOS Monterey( version: 12.1) Anaconda : 4.11.0 (hoebrew install anaconda) 1. 가상환경 세팅 ######################################################## ## terminal 환경에서 진행 # anaconda env create $ conda env create --name pipeline # anaconda kernel install $ conda actiavate pipeline $ conda install -c conda-forge ipykernel $ python -m pip install ipykernel --name pipeline #############################..

1. Key Value Database(Store) 키-값 형태로 저장되는 Database 키와 값 쌍으로만 저장 가능 Key-Value: 하나의 묶음(Unique) 키를 통하여 검색 가능 조회(Access)는 좋으나, 전체 조회(Scan)에는 좋지 않다. 키로 범위 쿼리와, order by 가능 Document, Wide column DB로 변환이 가능하다. 관련 soluction: Redis Amazon DynamoDB Microsoft Azure Cosmos DB Memcached etcd 2. Document Database(Store) 문서 지향 DB 이며, 스키마가 없는 것이 특징 트리형 구조의 데이터를 저장, 검색하는데 효과적인 DB 스키마가 없다는 것은 record가 균일한 구조를 가질 필..

OS CentOS 7 Airflow 2.1.4 1. airflow OS 설정 진행 yum install python3 python3-devel wget gcc gcc-c++ make wget https://www.sqlite.org/2021/sqlite-autoconf-3340100.tar.gz tar xvf sqlite-autoconf-3340100.tar.gz cd sqlite-autoconf-3340100 ./configure make make install ls /usr/local/lib $ vi /etc/environment # 에 아래 줄 추가 export LD_LIBRARY_PATH=/usr/local/lib:$LD_LIBRARY_PATH $ source /etc/environment gro..

문제: airflow db init 시 아래 오류 발생 AirflowConfigException: error: sqlite C library version too old ( $HOME/.bashrc -> $HOME/.bash_profile 와같은 것들 문제 해결: sqlite 를 소스 설치: wget https://www.sqlite.org/2021/sqlite-autoconf-3340100.tar.gz tar xvf sqlite-autoconf-3340100.tar.gz cd sqlite-autoconf-3340100 ./configure make sudo make install ls /usr/local/lib $ vi /etc/environment # 에 아래 줄 추가 export LD_LIBRARY..

Import Package : json-simple DOCS: https://code.google.com/archive/p/json-simple/ Download: https://code.google.com/archive/p/json-simple/downloads public static void main(String[] args) { // Object Array List (For DB Data) DAO dao = DAO.sharedInstance(); ArrayList list; try { //dao.select() return is ArrayList list = dao.select(); //Json Array JSONObject jsonObject = new JSONObject(); JSONArray..

Download: https://mvnrepository.com/artifact/com.fasterxml.jackson.core/jackson-databind/2.13.0 Guide: https://mkyong.com/java/how-to-convert-java-object-to-from-json-jackson/ How to convert Java object to / from JSON (Jackson) - Mkyong.com - How to convert Java object to / from JSON (Jackson) mkyong.com Github: https://github.com/FasterXML/jackson

member_id : if member_id % 2 != 0 then this else 'null' end url : if member_id == 'null' then 'null' else url end if id % 2 != 0 then 'y' else 'n' end https://www.mockaroo.com/ Mockaroo - Random Data Generator and API Mocking Tool | JSON / CSV / SQL / Excel Mock your back-end API and start coding your UI today. It's hard to put together a meaningful UI prototype without making real requests to a..