跳到主要内容

向量化与重排

基本介绍​

向量化与重排是自然语言处理和信息检索领域的重要技术。它们通过将文本转换为向量表示，帮助计算机理解和处理语言数据。这些技术在搜索引擎、推荐系统和语义分析等应用中发挥着关键作用。

福利提醒

模力方舟上已部署的向量化和重排模型 全部免费，全部免费，全部免费！！！

模型列表​

以下是模力方舟上已部署的向量化和重排模型列表：

加载 Serverless API 服务列表...

向量化模型​

向量化模型将文本数据转换为高维向量表示，使得相似的文本在向量空间中距离较近。这些模型通常使用深度学习技术，如 Transformer 架构，来捕捉文本的语义信息。

向量模型的最关键参数是维度，维度越高，模型的表达能力越强，但计算和存储成本也会增加，模力方舟上的向量化模型覆盖从 512 维到 4096 维，请根据实际需要选择。

示例代码：

python
from openai import OpenAI

client = OpenAI(
	base_url="https://ai.gitee.com/v1",
	api_key="XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX", # 替换为您的令牌
	default_headers={"X-Failover-Enabled":"true"},
)

response = client.embeddings.create(
	input="你好，我是模力方舟。",
	model="Qwen3-Embedding-4B",
)

多模态向量化​

模力方舟支持多模态向量化模型，可以处理文本、图片等多种输入类型。这些模型能够将不同模态的数据转换为统一的向量表示，便于进行跨模态检索和分析。

目前已部署的多模态向量化模型包括：

示例代码：

python
from openai import OpenAI

client = OpenAI(
	base_url="https://ai.gitee.com/v1",
	api_key="XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX", # 替换为您的令牌
)

response = client.embeddings.create(
	input=[
		{ "text": "a blue cat" },
		{ "text": "a dog" },
		{ "image": "https://example.com/image.jpg"}
	],
	model="jina-embeddings-v4",
)

更多示例代码您可参考 模力方舟示例代码仓库 。

重排模型​

重排模型通过对搜索结果进行再排序，提高信息检索的准确性和相关性。这些模型通常基于用户的历史行为和偏好，结合向量化技术，来优化搜索结果的展示顺序。

示例代码：

python
import requests

API_URL = "https://ai.gitee.com/v1/rerank"
API_TOKEN = "XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX" # 替换为您的令牌
headers = {
	"X-Failover-Enabled": "true",
	"Authorization": f"Bearer {API_TOKEN}"
}

def query(payload):
	response = requests.post(API_URL, headers=headers, json=payload)
	return response.json()

output = query({
	"query": "How to read a CSV file in Python?",
	"documents": [
		"Use pandas: `import pandas as pd; df = pd.read_csv('data.csv')`",
		"You can read CSV files with numpy.loadtxt()",
		"To write JSON files, use json.dump() in Python",
		"CSV means Comma Separated Values. Python files can be opened using read() method."
	],
	"model": "Qwen3-Reranker-4B"
})
print(output)

应用场景​

  • 信息检索：通过向量化技术提高搜索引擎的检索效率和准确性。
  • 推荐系统：利用向量化和重排技术为用户提供个性化的内容推荐。
  • 语义分析：通过向量化文本数据，帮助理解文本的语义关系和上下文信息。
  • 自然语言处理：在机器翻译、情感分析等任务中，向量化技术用于表示和处理语言数据。