IT8 [Docker-compose] yaml 파일 구조 설명 Docker-compose하나의 설정파일로 여러개의 컨테이너 관리하는 도구docker run 명령어를 여러개 모아놓은 것docker-compose를 사용하지 않는다면 컨테이너를 하나씩 생성 후 각각 테스트 해야하는 번거로움 발생.매번 CLI로 컨테이너 생성하는 것 보다 여러개의 컨테이너를 하나의 묶음으로 관리하는 것이 더 편리함각 컨테이너의 의존성, 네트워크, 볼륨 등을 함께 정의시스템 구축에 필요한 설정 YAML 포맷으로 기재 Docker-compose 대상LLM 모델: Llama3VectorDB: Pgvector검색 엔진: Elasticsearch로그 수집: Logstash시각화: KibanaRAG 실행 python 프로그램 Docker-compose 파일구조.└── docker-elk ├── .. 2024. 7. 16. Git commit 시작하기 / Authentication failed for 오류 해결 목적코드를 git에 commit 하기 한동안 너무 안 쓰다 보니 나중에 다시 서치 하기 번거로워서 이번 기회에 commit 방법을 기록해두고자 한다. 사용 방법* homebrew를 사용하여 진행하였다. 1. 터미널 창에서 git을 다운로드한다.brew install git 2. 사용자의 git 정보를 입력한다.git config --global user.name "git이름" git config --global user.email 이메일주소 3. (git commit 폴더로 이동해야 한다) git 초기화를 진행한다.git init 4. git commit 할 repository와 연결한다.git remote add origin 깃주소 5. git 커밋할 대상을 추가 및 커밋메시지를 작성한다.git add.. 2024. 4. 5. [Hadoop] MapReduce, Apache Spark MapReduce 맵리듀스 과정은 다음과 같다. 1. 문자열 데이터를 라인별 나눈다 2. 라입렬로 문자열 입력 (key, value) 3. 같은 key를 가지는 데이터끼리 분류 4. key별로 빈도수를 합산해서 출력 5. 저장 이러한 맵리듀스의 단점이 있었다. MapReduce 단점 맵리듀스는 데이터를 분산하여 연산하고 다시 합치는 기술이기에 여러번의 디스크 입출력이 발생되며 성능이 저하된다. DBMS와 비교하면 낮은 성능과 불편한 스키마 질의가 단점이다. 이러한 단점을 보완해서 나온 Apache Spark도 있다. Apache Spark 맵리듀스의 입출력 방식을 인메모리로 바꾸고 맵리듀스 보다는 빠른 속도를 가진다. 머신러닝(MLlib)도 지원하고 있다. 하지만 스파크 같은 경우는 분산파일 시스템을 가.. 2021. 12. 15. [Hadoop] 데이터 저장 및 분석 처리 시스템 하둡(Hadoop) -분산처리 가능한 시스템 HDFS와 분산되어 저장된 데이터를 병렬로 처리 가능하게 하는 맴리듀스와 결합한 단어 이 두개로 시작되었지만 확장, 발전 되고 있음 -자바 기반의 오픈 소스 프레임워크 -하둡에서 데이터를 분석 유지 저장관리할 때 필요한 모든 것을 에코시스템이라고 함 -맵리듀스, HDFS말고도 많은 구성요소 포함 -하둡 코어 프로젝트 : HDFS, 맵리듀스 하둡 서브 프로젝트 : 코어를 제외한 나머지 (데이터 마이닝, 수집,분석 등) -에코시스템 버전은 다른 프로그램들이 결합한 것으로 각각 버전이 업그레이드가 다름. 통합관리 되어있는 배포한 사용 -------------------------------------- 작업 흐름도 HDFS → MapReduce → Hbase → P.. 2021. 12. 14. [npm, nvm, yarn, react, Node.js] 개념 알아보기 1. npm npm 서비스를 통하여 Node.js로 개발된 프로그램을 편리하게 설차, 업데이트 및 삭제 node.js를 설치하면 npm도 같이 설치됨 Node.js로 개발된 프로그램(npm 패키지)를 편리하게 설치, 업데이트 및 삭제 해주는 프로그램 Node.js가 설치된 상태에서 npm 명령어를 통해 npm 서비스에 등록된 Node.js로 작성된 패키지 관리 패키지를 설치할 때 자동으로 코드와 의존성을 실행할 수 있도록 허용. 편리하지만 안정성 위협 처음 사용할 경우 npm을 다뤄보고 yarn의 필요성을 알 수 있음 2. nvm node.js의 버전 관리자. node.js의 각 버전을 유지하면서 시스템을 구성해야 하는 경우를 위해 사용 node.js를 설치하기 위한 툴 nvm 설치후 원하는 버전으로 -.. 2021. 12. 6. [git] git bash 실행 안되는 경우 git bash를 써서 작업을 하던 도중 강제종료를 누르게 되었다. 그 후 git bash를 실행시켜도 강제 종료가 되면서 아무것도 실행되지 않았다. git을 다시 설치해도 그 전과 같은 오류였고 이러한 상황에서는 git config ,history 등 관련 파일을 삭제하니 정상작동이 되었다. 1. 삭제파일은 C드라이브 > 사용자 > (본인 폴더) 경로로 들어가서 확인 하면된다. 2. .bash_history, .bashvc, config 파일들을 삭제한다. 2021. 12. 5. [Elasticsearch] 오픈소스 검색엔진 엘라스틱서치 엘라스틱서치 설치 및 사용법 아래 링크를 통해서 확인하시면 됩니다. [ELK] 엘라스틱서치 다운로드 및 사용법 (1) 안녕하세요. 엘라스틱 검색엔진을 다운로드 및 사용 방법에 대해 설명해드리려고 합니다. ELK란? Elasticsearch + Logstash + Kibana의 앞글자를 따서 ELK라고 부릅니다 . 각각의 기능을 크게 말씀드리자면 a-thinker.tistory.com 1. 오픈소스란? 누구나 자유롭게 코드나 그 코드를 통해 구현된 프로그램을 이용할 수 있음 ex) selenium, beautifulSoup 2. 검색엔진이란? 웹에서 정보를 수집해 검색 결과를 제공하는 프로그램. 결과로 제공되는 데이터 특성에 따라 구현 형태가 달라짐 데이터베이서에서 불가능한 비정형 데이터를 색인하고 검색할.. 2021. 12. 2. [자연어처리] 한글 형태소 비교 1. 한글 형태소 속도비교 (konlpy 사이트 기준) ① 로딩시간 : Mecab > Hannanum > Okt > Komoran > Kkma ② 실행시간 : Mecab > Okt > Hannanum > Komoran > Kkma 1-2. 한글 형태소 속도비교2 (khaiii 추가) 1) 로딩속도 분석기 로딩 시간 (초) Khaiii 0.0016 한나눔 0.0001 꼬꼬마 0.0002 KOMORAN 0.9542 Open Korean Text (이하 OKT) 0.0001 Mecab 0.0004 출처 https://iostream.tistory.com/144 → Okt = 한나눔 > 꼬꼬마 > Mecab > Khaiii > KOMORAN 2) 10만 건 실행속도 (꼬꼬마 제외) → Mecab > khaiii.. 2021. 11. 30. 이전 1 다음
