【ann_benchmark测试海量数据库向量性能】

docker启动centos8

docker run -d   --privileged   --name centos8_ann_benchmark   -v /sys/fs/cgroup:/sys/fs/cgroup:ro   docker.1ms.run/centos:8   /usr/sbin/init

docker exec -it centos8_ann_benchmark bash

centos8 配置yum源

cd /etc/yum.repos.d/
mkdir bak
mv *.repo bak
wget http://mirrors.aliyun.com/repo/Centos-8.repo
yum clean all
yum makecache

centos8 源码安装python3.10

yum install -y python3-devel openssl-devel epel-release gcc gcc-c++ cmake3 cmake

wget https://www.python.org/ftp/python/3.10.0/Python-3.10.0.tgz
tar -xzvf Python-3.10.0.tgz
cd Python-3.10.0
./configure --with-openssl-rpath=auto --prefix=/opt/python3.10
make -j$(nproc) && make install

centos8 下载ann_benchmark

https://gitee.com/SmartDigit/ann-benchmark/tree/psu2/

# 下载psu2版本

centos8 部署ann_benchmark

unzip ann-benchmark-psu2.zip
cd ann-benchmark-psu2
/opt/python3.10/bin/pip3 install  -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt

海量数据库创建测试用户和库

create user test password 'Admin@123' sysadmin;
create database test ;

下载测试数据

登录ann-benchmarks官网

https://github.com/erikbern/ann-benchmarks
ann-benchmarks官网

找到对应的数据集下载

使用ann_benchmark测试

修改数据库链接地址

vi ann-benchmark-psu2/algorithms/vexdb/module.py

# 修改第8行数据库信息
conn = psycopg2.connect(host="127.0.0.1", user="test", password="Admin@123", dbname="test", port=5432)

执行测试脚本

cd ann-benchmark-psu2/
/opt/python3.10/bin/python3 runner.py --dataset sift-128-euclidean --count 10 --runs 3  --algorithm vexdb-graph_index --reads 1 --results_dir  result_hnsw

将结果输出为图片，建议多执行几种场景再输出为图片

cd ann-benchmark-psu2/
/opt/python3.10/bin/python3 plot.py  --dataset sift-128-euclidean --count 10 --results_dir result_hnsw