본문 바로가기

분류 전체보기18

[Elasticsearch] 인덱스 생성, 엘라스틱서치 벡터 검색, 하이브리드 검색 검색엔진 알고리즘BM25 (Best match 25)TF-IDF (용어 빈도-역문서 빈도) 접근 방식의 확장키워드 검색희소 백터 생성 의미검색검색의 이면의 맥락과 의미를 이해하여 검색 결과의 정확성과 관련성을 높이는 것을 목표로 하는 검색 방식  Elasticsearch 검색 API검색결과took: 검색에 걸린 시간time_out: 검색 시간이 초과되었는지 여부shards: 검색된 파편의 수와 성공 / 실패한 파편의 수를 알림 (정상이면 안뜸)hits: 검색결과hits.total: 검색조건과 일치하는 총 문서 수hits.hits: 검색결과의 실제 배열POST /drama_hnsw/_search{ "query": { "match": { "Synopsis": "medical" } },.. 2024. 7. 19.
[ELK] 개념 및 구조 ArchitectureElasticsearch + Logstash + KibanaLogstash로 데이터를 수집Elasticsearch는 수집된 데이터의 db역할. 인덱싱Kibana를 통해 그래프 형태로 표현   Elastic searchApache Lucene 기반의 오픈소스 실시간 분산 검색 엔진검색엔진: 사용자가 특정 키워드나 검색어를 입력하면 데이터 소스에서 정보를 검색할 수 있도록 설계된 서비스검색엔진 종류: elasticsearch, solr, amazon cloudsearch, microsoft azure searchRDBMS 처럼 테이블을 만들고 각 필드를 정의하지않고 자동으로 document 분석 후 스키마 동적으로 생성RESTfule API를 지원하며 URI를 사용한 동작이 가능JSON.. 2024. 7. 17.
[Docker-compose] yaml 파일 구조 설명 Docker-compose하나의 설정파일로 여러개의 컨테이너 관리하는 도구docker run 명령어를 여러개 모아놓은 것docker-compose를 사용하지 않는다면 컨테이너를 하나씩 생성 후 각각 테스트 해야하는 번거로움 발생.매번 CLI로 컨테이너 생성하는 것 보다 여러개의 컨테이너를 하나의 묶음으로 관리하는 것이 더 편리함각 컨테이너의 의존성, 네트워크, 볼륨 등을 함께 정의시스템 구축에 필요한 설정 YAML 포맷으로 기재 Docker-compose 대상LLM 모델: Llama3VectorDB: Pgvector검색 엔진: Elasticsearch로그 수집: Logstash시각화: KibanaRAG 실행 python 프로그램 Docker-compose 파일구조.└── docker-elk ├── .. 2024. 7. 16.
[Databricks] 개념 및 사용 방법 Databricks스파크를 만든 엔지니어들이 설립한회사아파치 스파크 실행환경 제공해주는 클라우드 기반 플랫폼스파크 소스를 테스트 할 수 있는 웹 UI 환경 제공. 설치작업 없이 테스트 가능Spark, Dleta Lake, MLFlow, Koalas까지 데이터 환경 오픈소스 만듦Lakehouse Platform 서비스 제공 주요기능데이터 처리 예약 및 관리, 특히 ETL대시보드 및 시각화 생성보안, 거버넌스, 고가용성 및 재해 복구 관리데이터 검색, 주석 및 탐색ML(기계 학습) 모델링, 추적 및 모델 서비스생성 AI 솔루션요금Databricks Unit(DBU): 사용되는 처리 능력의 정규 단위 (시간당 처리 단위. 초당 사용량 증가분에 따라 청구됨)전기요금 지불처럼 소비한 에너지 양에 대한 비용 지불S.. 2024. 7. 15.
[Mac] Detectron2 예제 실습하기 - Face detection 목적face detection 사이드 프로젝트 모델로 detectron2를 사용하게 되었다. detectron2에 대한 예제를 가지고 모델링, 작업 도중에 발생했던 오류 및 진행과정을 상세히 설명하고자 한다.  레퍼런스https://github.com/curiousily/Getting-Things-Done-with-Pytorch/blob/master/02.face-detection-with-detectron2.ipynb  Mac 사용시 주의 사항detectron2는 Cuda로 구현한 모델.  하지만 m1, m2는 Nvidia GPU를 제공하지 않기 때문에 로컬에서 Cuda를 사용할 수 없다.   해결방법으로는   ①device를 mps로 변경 (했지만 아래 내용으로 오류 발생)  ②device를 cpu로.. 2024. 4. 22.
[Mac] Detectron2 - AssertionError: Torch not compiled with CUDA enabled 목적 detectron2 데이터셋 설정 작업 중 torch 관련 오류가 났다. 해당 오류를 해결하기 위한 삽질 내용과 해결 방법을 포스팅하고자 한다. 오류 내용 AssertionError: Torch not compiled with CUDA enabled 오류 발생 사유 M2 Mac에는 Nvidia GPU 기능인 Cuda가 없어서 사용할 수 없었다. 삽질 Mac의 오류인 것을 인지하지 못하고 torch 재설치를 해보기도 했다. torch 버전 확인 python import torch print(torch.__version__) torch & torchvision 삭제하기 pip uninstall torch torchvision torch, torchivision, torchaudio 호환되는 버전으로 재.. 2024. 4. 16.
Eventbridge 개념 및 사용 방법 사용 목적s3에 파일이 적재되었을 경우, 해당 이벤트를 감지한 뒤 진행되야 할 업무 자동화 프로세스를 만들게되었다.이벤트 감지에 대한 서비스 AWS EventBridge 이용하려면 어떻게 사용해야 하는지 알아보고자 한다  EventBridge란EDA (Event Driven Architecture)를 구성하는데 도움을 주는 서버리스 서비스다양한 소스 데이터와 앱을 연결하는데 사용AWS 서비스에 대한 이벤트 감지 후 라우팅예로 들어 EC2 생성되었거나 EC2 인스턴스가 삭제되었다면 해당 이벤트 감지 후 특정 이벤트 발생이벤트기반 아키텍처는 민첩성을 높이고 안정적이고 확장 가능한 애플리케이션을 구축하는데 도움을 줌 EventBridge 흐름모든 이벤트는 이벤트버스와 연결이벤트 버스란 이벤트를 수신하는 파이프.. 2024. 4. 15.
AWSLambda 개념 및 사용 방법 사용 목적 S3에 데이터가 적재되었을 경우, 해당 이벤트를 자동으로 감지 후 Lambda 함수 실행시키고자 한다. S3 파일 적재 --(Lambda 이벤트감지)--> 파일 읽기 -> 파일 데이터 추가 -> S3 파일 업데이트 Lambda란 서버리스 컴퓨팅 서비스로 서버를 프로비저닝 할 필요 없이 특정 이벤트에 대한 응답으로 코드실행 가능 이벤트가 트리거되면 코드 실행 상태 비저장 코드 실행 완전 관리형 컴퓨팅 서비스 사용한 만큼만 요금부과 Lambda 사용이 필요한 경우 코드를 특정한 시기에만 실행시켜야 하는 경우 트리거가 실행될때만 실행시켜야 하는 경우 Lambda 사용방법 1. Lambda 함수 선택 -> 함수 생성 선택 2. 블루프린트사용하면 기본 코드를 작성에 도움 받을 수 있다. 블루 프린트 사.. 2024. 4. 15.
Dataturks AccessDenied 목적 detectron2 실습을 하는 중간에 Dataturks에서 제공하는 Datasetaccess가 비활성화되어 접근을 할 수 없었다. 이에 비슷한 Dataset인 CelebFaces를 활용하여 내가 원하는 Format에 맞게 가공하여 작업하였다. Dataturks를 dataset을 대신 진행한 방법에 대해 설명하고자 한다. 오류 내용 Data AccessDenied CelebFaces 사용 방법 1. 파일 다운 받기 https://mmlab.ie.cuhk.edu.hk/projects/CelebA.html 1. 위의 주소로 접속 후 원본 데이터와 bbox 데이터를 다운받는다. CelebA Dataset Details CelebFaces Attributes Dataset (CelebA) is a lar.. 2024. 4. 9.
Deep face 프레임 워크 목적 얼굴 유사도를 판별하는 모델을 만들기 위해 얼굴 인식 모델에 대해 조사하게 되었다. 얼굴 인식 과정 얼굴 검출 (Face Detection) - 얼굴 영역 찾아 추출 얼굴 정렬 (Face Alignment) - 포인트 (눈, 코, 입, 윤곽 등) 추출 얼굴 정규화 (Face Normalization) - 얼굴 영역 회전 및 매칭 가능한 상태 변경. 모델 1~3 모델 : opencv, ssd, dlib, mtcnn, retinaface, mediapipe, yolov8, yunet, fastmtcnn 얼굴 표현 (Face Representation) - 임베딩 과정을 거쳐 N차원 특징 벡터로 표현 모델 : VGG-Face, Facenet, Facenet512, OpenFace, DeepFace, De.. 2024. 4. 8.

티스토리툴바