본문 바로가기

ML & DL7

[Elasticsearch] 인덱스 생성, 엘라스틱서치 벡터 검색, 하이브리드 검색 검색엔진 알고리즘BM25 (Best match 25)TF-IDF (용어 빈도-역문서 빈도) 접근 방식의 확장키워드 검색희소 백터 생성 의미검색검색의 이면의 맥락과 의미를 이해하여 검색 결과의 정확성과 관련성을 높이는 것을 목표로 하는 검색 방식  Elasticsearch 검색 API검색결과took: 검색에 걸린 시간time_out: 검색 시간이 초과되었는지 여부shards: 검색된 파편의 수와 성공 / 실패한 파편의 수를 알림 (정상이면 안뜸)hits: 검색결과hits.total: 검색조건과 일치하는 총 문서 수hits.hits: 검색결과의 실제 배열POST /drama_hnsw/_search{ "query": { "match": { "Synopsis": "medical" } },.. 2024. 7. 19.
[ELK] 개념 및 구조 ArchitectureElasticsearch + Logstash + KibanaLogstash로 데이터를 수집Elasticsearch는 수집된 데이터의 db역할. 인덱싱Kibana를 통해 그래프 형태로 표현   Elastic searchApache Lucene 기반의 오픈소스 실시간 분산 검색 엔진검색엔진: 사용자가 특정 키워드나 검색어를 입력하면 데이터 소스에서 정보를 검색할 수 있도록 설계된 서비스검색엔진 종류: elasticsearch, solr, amazon cloudsearch, microsoft azure searchRDBMS 처럼 테이블을 만들고 각 필드를 정의하지않고 자동으로 document 분석 후 스키마 동적으로 생성RESTfule API를 지원하며 URI를 사용한 동작이 가능JSON.. 2024. 7. 17.
[Mac] Detectron2 예제 실습하기 - Face detection 목적face detection 사이드 프로젝트 모델로 detectron2를 사용하게 되었다. detectron2에 대한 예제를 가지고 모델링, 작업 도중에 발생했던 오류 및 진행과정을 상세히 설명하고자 한다.  레퍼런스https://github.com/curiousily/Getting-Things-Done-with-Pytorch/blob/master/02.face-detection-with-detectron2.ipynb  Mac 사용시 주의 사항detectron2는 Cuda로 구현한 모델.  하지만 m1, m2는 Nvidia GPU를 제공하지 않기 때문에 로컬에서 Cuda를 사용할 수 없다.   해결방법으로는   ①device를 mps로 변경 (했지만 아래 내용으로 오류 발생)  ②device를 cpu로.. 2024. 4. 22.
[Mac] Detectron2 - AssertionError: Torch not compiled with CUDA enabled 목적 detectron2 데이터셋 설정 작업 중 torch 관련 오류가 났다. 해당 오류를 해결하기 위한 삽질 내용과 해결 방법을 포스팅하고자 한다. 오류 내용 AssertionError: Torch not compiled with CUDA enabled 오류 발생 사유 M2 Mac에는 Nvidia GPU 기능인 Cuda가 없어서 사용할 수 없었다. 삽질 Mac의 오류인 것을 인지하지 못하고 torch 재설치를 해보기도 했다. torch 버전 확인 python import torch print(torch.__version__) torch & torchvision 삭제하기 pip uninstall torch torchvision torch, torchivision, torchaudio 호환되는 버전으로 재.. 2024. 4. 16.
Dataturks AccessDenied 목적 detectron2 실습을 하는 중간에 Dataturks에서 제공하는 Datasetaccess가 비활성화되어 접근을 할 수 없었다. 이에 비슷한 Dataset인 CelebFaces를 활용하여 내가 원하는 Format에 맞게 가공하여 작업하였다. Dataturks를 dataset을 대신 진행한 방법에 대해 설명하고자 한다. 오류 내용 Data AccessDenied CelebFaces 사용 방법 1. 파일 다운 받기 https://mmlab.ie.cuhk.edu.hk/projects/CelebA.html 1. 위의 주소로 접속 후 원본 데이터와 bbox 데이터를 다운받는다. CelebA Dataset Details CelebFaces Attributes Dataset (CelebA) is a lar.. 2024. 4. 9.
Deep face 프레임 워크 목적 얼굴 유사도를 판별하는 모델을 만들기 위해 얼굴 인식 모델에 대해 조사하게 되었다. 얼굴 인식 과정 얼굴 검출 (Face Detection) - 얼굴 영역 찾아 추출 얼굴 정렬 (Face Alignment) - 포인트 (눈, 코, 입, 윤곽 등) 추출 얼굴 정규화 (Face Normalization) - 얼굴 영역 회전 및 매칭 가능한 상태 변경. 모델 1~3 모델 : opencv, ssd, dlib, mtcnn, retinaface, mediapipe, yolov8, yunet, fastmtcnn 얼굴 표현 (Face Representation) - 임베딩 과정을 거쳐 N차원 특징 벡터로 표현 모델 : VGG-Face, Facenet, Facenet512, OpenFace, DeepFace, De.. 2024. 4. 8.
딥러닝 기본 구조 파악하기 목적 딥러닝을 공부하기 시작했다. 기본적인 신경망 구조를 파악한 뒤 세부적인 개념들을 공부하고자 포스팅을 하게 되었다. 딥러닝 신경망 구조 딥러닝 신경망의 기본 구조는 위와 같다. 입력을 받으면 -> 중요도를 다르게 하기 위해 가중치를 곱한다 -> 활성화함수로 보내기 위한 가중합 계산 -> 일정한 기준에 따라 출력값 변환(활성함수) -> 출력 입력 데이터를 입력 받는 층 가중치 입력층 값이 다음 노드로 넘어갈 때 모두 같은 값이면 결과도 같음. 데이터를 각기 다른 비중으로 전달시키기 위해 중요도를 다르게 하는 역할(연산 결과를 조정하는 역할) 가중합(또는 전달함수) 각 노드의 가중합이 계산되면 이 가중합을 활성화 함수로 보냄 활성화 함수 개념 입력 신호의 총합을 출력할 때 일정한 기준에 따라 출력 값을 .. 2024. 4. 6.

티스토리툴바