Vector DataBase?

 

 

벡터 데이터베이스의 기본 원리

벡터 데이터베이스는 고차원 벡터 공간에서 데이터를 처리합니다. 기존의 관계형 데이터베이스가 행과 열로 데이터를 저장하는 데 반해, 벡터 데이터베이스는 데이터 포인트를 벡터로 변환하여 고차원 공간에 저장합니다. 이는 특히 복잡한 패턴 인식, 기계 학습, 이미지 및 오디오 분석 등에 유용합니다.

 

벡터 데이터베이스의 장점

벡터 데이터베이스의 가장 큰 장점 중 하나는 바로 속도입니다. 고차원의 데이터 검색을 빠르게 수행할 수 있으며, 이는 대규모 데이터 세트에서 유사성 검색과 같은 작업에 탁월한 성능을 나타냅니다. 또한, 스케일 아웃이 용이하여 대용량 데이터를 다루는 데 적합합니다.

 

유사성 검색 (Similarity Search)

유사성 검색은 벡터 데이터베이스가 매우 빠른 속도로 처리할 수 있는 작업입니다. 이를 통해 사용자는 복잡한 쿼리를 실행하여 유사한 패턴을 가진 데이터를 쉽게 찾을 수 있습니다. 제일 쉽고 빠르게 쓸 수 있는 예로는 코사인 유사도가 있습니다.

 

Langchain with Vector DB

- VectorStroe : 직접 호출 사용, 리트리버로 변환해서 사용을 한다.(크로마, 파인콘)

- ipython , markdown file 지원

- 문서를 나누거나, 변환하는  Text Spliter 지원 - DocumentTransformers

- 'Doctran' 패키지