使用阿里云试用Elasticsearch学习：sentence-transformers 包使用

ops/2024/12/1 8:53:14/

环境：centos8，windows坑太多。

一、检查linux环境openssl哪个版本（如果是OpenSSL 1.1.1k+ 直接跳过）

[root@hecs-334217 python39]# openssl version
OpenSSL 1.0.2k-fips  26 Jan 2017

原因后续会出麻烦，遇到这种情况最好换一个系统，不然浪费时间：

# Ensure that Python is compiled with OpenSSL 1.1.1+
# If the 'ssl' module isn't available at all that's
# fine, we only care if the module is available.
try:import ssl
except ImportError:pass
else:if not ssl.OPENSSL_VERSION.startswith("OpenSSL "):  # Defensive:warnings.warn("urllib3 v2 only supports OpenSSL 1.1.1+, currently "f"the 'ssl' module is compiled with {ssl.OPENSSL_VERSION!r}. ""See: https://github.com/urllib3/urllib3/issues/3020",exceptions.NotOpenSSLWarning,)elif ssl.OPENSSL_VERSION_INFO < (1, 1, 1):  # Defensive:raise ImportError("urllib3 v2 only supports OpenSSL 1.1.1+, currently "f"the 'ssl' module is compiled with {ssl.OPENSSL_VERSION!r}. ""See: https://github.com/urllib3/urllib3/issues/2168")

安装openssl11

sudo yum install openssl11

备份并删除原openssl

sudo mv /usr/bin/openssl /usr/bin/openssl_backup
sudo rm /usr/bin/openssl

软链

sudo ln -sf /usr/bin/openssl11 /usr/bin/openssl
sudo ln -sf /usr/lib64/libcrypto.so.1.1k /usr/lib64/libcrypto.so
sudo ln -sf /usr/lib64/libssl.so.1.1k /usr/lib/libssl.so

二、python3.9.9 安装

下载地址
linux选这个：Gzipped source tarball
安装包
将下载好的安装包放到指定服务器

# 不建议速度太慢
wget https://www.python.org/ftp/python/3.9.9/Python-3.9.9.tgz

下面这个依赖一定要安装，不然后面会出现乱七八糟缺少以来的问题，比如：_ctypes 模块不存在

sudo yum install gcc openssl-devel bzip2-devel libffi-devel zlib-devel

解压缩源代码
将下载的压缩包解压缩到你希望安装 Python 的目录。你可以选择在 /usr/local 目录下创建一个新目录，例如 python39，并将源代码解压缩到该目录中。

sudo tar -zxvf Python-3.9.9.tgz
sudo mv Python-3.9.9 /usr/local/python39/

配置和编译：进入解压后的 Python 源代码目录，并执行以下命令来配置 Python 的编译选项和编译源代码：

cd /usr/local/python39
./configure --enable-optimizations
make -j$(nproc)

–enable-optimizations 参数会在编译时应用一些优化，这可能会增加编译时间。

安装：编译完成后，执行以下命令来安装 Python：

sudo make altinstall

使用 altinstall 而不是 install 选项可以防止覆盖系统默认的 Python 版本。

验证安装：安装完成后，你可以使用以下命令来验证 Python 的安装：

python3.9 --version

三、验证

下载对应的包

pip-tools
flask
python-dotenv
elasticsearch
sentence-transformers

启动python3：

from sentence_transformers import SentenceTransformer
model = SentenceTransformer('all-MiniLM-L6-v2')
embedding = model.encode('The quick brown fox jumps over the lazy dog')
print(embedding )