AI Agentä¸Žå‘é‡æ•°æ®åº“ï¼šæ‰“é€ è¯­ä¹‰æœç´¢å¼•æ“Žåœ¨ä¿¡æ¯çˆ†ç‚¸çš„æ—¶ä»£ï¼Œä¼ ç»Ÿçš„å ³é”®è¯æœç´¢å·²éš¾ä»¥æ»¡è¶³ç”¨æˆ·å¯¹ç²¾å‡†ã€è¯­ä¹‰åŒ–ä¿¡æ¯æ£€ç´¢çš„éœ€æ±‚ã€‚AI Agentç»“åˆå‘é‡æ•°æ®åº“æŠ€æœ¯ï¼Œæ­£åœ¨é‡å¡‘æœç´¢ä½“éªŒçš„è¾¹ç•Œã€‚æœ¬æ–‡å°†æ·±å ¥æŽ¢è®¨å‘é‡æ•°æ®åº“çš„æ ¸å¿ƒåŽŸç†ã€Embedding模型的作用、相似度搜索机制，以及如何将这一切集成到AI Agentä¸­ï¼Œæ‰“é€ ä¼ä¸šçº§çš„è¯­ä¹‰æœç´¢å¼•æ“Žã€‚ä¸€ã€ä¸ºä»€ä¹ˆéœ€è¦å‘é‡æ•°æ®åº“ä¼ ç»Ÿçš„å ³ç³»åž‹æ•°æ®åº“æ“ é•¿å¤„ç†ç»“æž„åŒ–æ•°æ®çš„ç²¾ç¡®åŒ¹é æŸ¥è¯¢ï¼Œä¾‹å¦‚WHERE name å¼ ä¸‰ã€‚ä½†åœ¨é¢å¯¹è¯­ä¹‰ç›¸ä¼¼è¿™æ ·çš„æ¨¡ç³Šéœ€æ±‚æ—¶ï¼Œå®ƒä»¬æ˜¾å¾—åŠ›ä¸ä»Žå¿ƒã€‚æ¯”å¦‚ç”¨æˆ·æœç´¢å¦‚ä½•å­¦ä¹ æœºå™¨å­¦ä¹ ï¼Œä¼ ç»Ÿæœç´¢åªèƒ½åŒ¹é åŒ å«è¿™äº›å ³é”®è¯çš„æ–‡æ¡£ï¼Œè€Œæ— æ³•ç†è§£å ¥é—¨æ•™ç¨‹ã€MLæŒ‡å—ã€æ·±åº¦å­¦ä¹ åŸºç¡€ç­‰è¯­ä¹‰ç›¸å ³çš„è¡¨è¾¾ã€‚å‘é‡æ•°æ®åº“çš„æ ¸å¿ƒæ€æƒ³æ˜¯å°†æ–‡æœ¬ã€å›¾åƒã€éŸ³é¢‘ç­‰éžç»“æž„åŒ–æ•°æ®ï¼Œé€šè¿‡Embeddingæ¨¡åž‹è½¬æ¢ä¸ºé«˜ç»´å‘é‡ï¼ˆé€šå¸¸æ˜¯æ•°ç™¾åˆ°æ•°åƒç»´çš„æµ®ç‚¹æ•°ç»„ï¼‰ï¼Œç„¶åŽåœ¨å‘é‡ç©ºé—´ä¸­å­˜å‚¨å’Œæ£€ç´¢ã€‚è¯­ä¹‰ç›¸è¿‘çš„å† å®¹ï¼Œå ¶å‘é‡åœ¨ç©ºé—´ä¸­è·ç¦»ä¹Ÿæ›´è¿‘ã€‚è¿™ç§ä»¥æ„æœæ„çš„èƒ½åŠ›ï¼Œæ­£æ˜¯è¯­ä¹‰æœç´¢çš„åŸºçŸ³ã€‚å¸¸è§çš„å‘é‡æ•°æ®åº“åŒ æ‹¬ï¼šMilvus：开源、高性能，支持十亿级向量检索，适合大规模企业级部署Pineconeï¼šå ¨æ‰˜ç®¡äº‘æœåŠ¡ï¼Œä¸Šæ‰‹ç®€å•ï¼Œé€‚åˆå¿«é€ŸåŽŸåž‹éªŒè¯Chroma：轻量级本地向量库，适合开发测试和小型应用FAISS：Facebook开源的高效相似度搜索库，性能卓越二、Embedding模型：语义转化的桥梁Embeddingæ¨¡åž‹æ˜¯å°†æ–‡æœ¬æ˜ å°„åˆ°å‘é‡ç©ºé—´çš„å ³é”®ã€‚å®ƒé€šè¿‡æ·±åº¦å­¦ä¹ ï¼ˆé€šå¸¸æ˜¯Transformer架构）捕获文本的语义信息，生成固定长度的密集向量表示。2.1 主流Embedding模型OpenAI text-embedding-ada-002：1536维向量，通用性强，效果稳定BGE (BAAI General Embedding)ï¼šä¸­æ–‡è¯­ä¹‰ç†è§£ä¼˜ç§€ï¼Œå¼€æºå è´¹Sentence-BERTï¼šåŸºäºŽåŒå¡”ç»“æž„çš„å¥å­ç¼–ç æ¨¡åž‹ï¼Œé€‚åˆè¯­ä¹‰ç›¸ä¼¼åº¦ä»»åŠ¡E5 (Embeddings from bidirectional Encoder)：微软开源，支持多语言2.2 向量表示的本质一段文本经过Embeddingæ¨¡åž‹ç¼–ç åŽï¼Œå¾—åˆ°ç±»ä¼¼è¿™æ ·çš„å‘é‡ï¼š[0.023, -0.156, 0.789, ..., -0.034] # 1536ç»´æµ®ç‚¹æ•°ç»„å‘é‡ç©ºé—´ä¸­ï¼Œä½™å¼¦ç›¸ä¼¼åº¦æˆ–æ¬§æ°è·ç¦»å¯ä»¥è¡¡é‡ä¸¤ä¸ªæ–‡æœ¬çš„è¯­ä¹‰å ³è”ç¨‹åº¦ã€‚ä¾‹å¦‚ï¼Œè‹¹æžœæ˜¯ç”œçš„å’Œæ°´æžœå‘³é“å¾ˆå¥½çš„å‘é‡è·ç¦»ï¼Œä¼šæ¯”è‹¹æžœæ˜¯ç”œçš„å’Œè‹¹æžœå ¬å¸å‘å¸ƒäº†æ–°iPhone更近。三、相似度搜索原理3.1 è·ç¦»åº¦é‡æ–¹æ³•æœ€å¸¸ç”¨çš„ä¸¤ç§ç›¸ä¼¼åº¦åº¦é‡æ–¹å¼ï¼šä½™å¼¦ç›¸ä¼¼åº¦ï¼šè¡¡é‡ä¸¤ä¸ªå‘é‡å¤¹è§’çš„ä½™å¼¦å€¼ï¼Œå ³æ³¨æ–¹å‘è€Œéžé•¿åº¦ã€‚import numpy as np def cosine_similarity(a, b): return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b)) vec1 np.array([0.1, 0.2, 0.3]) vec2 np.array([0.15, 0.25, 0.35]) print(cosine_similarity(vec1, vec2)) # 输出接近1的数值，表示语义相似欧氏距离：衡量向量空间中的直线距离，越小表示越相似。3.2 近似最近邻搜索（ANNï¼‰å½“å‘é‡æ•°é‡è¾¾åˆ°ç™¾ä¸‡ç”šè‡³åäº¿çº§åˆ«æ—¶ï¼Œæš´åŠ›è®¡ç®—å ¨é‡å‘é‡çš„ç›¸ä¼¼åº¦å·²ä¸å¯è¡Œã€‚è¿‘ä¼¼æœ€è¿‘é‚»ç®—æ³•é€šè¿‡ç‰ºç‰²æžå°çš„ç²¾åº¦æ¥æ¢å–æ•°é‡çº§çš„æ€§èƒ½æå‡ï¼šHNSW（Hierarchical Navigable Small World）：图索引算法，构建多层导航图，搜索效率高IVF（Inverted File Indexï¼‰ï¼šå°†å‘é‡ç©ºé—´åˆ’åˆ†ä¸ºå¤šä¸ªèšç±»ä¸­å¿ƒï¼Œå ˆå®šä½å€™é€‰åŒºåŸŸå†ç²¾ç¡®æœç´¢PQ（Product Quantizationï¼‰ï¼šå°†é«˜ç»´å‘é‡åŽ‹ç¼©ä¸ºä½Žç»´è¡¨ç¤ºï¼Œå¤§å¹ å‡å°‘å† å­˜å ç”¨FAISS库提供了这些算法的成熟实现，是工业界的首选方案。四、AI Agent集成向量数据库AI Agenté€šè¿‡é›†æˆå‘é‡æ•°æ®åº“ï¼Œå¯ä»¥æž„å»ºå ·å¤‡é•¿æœŸè®°å¿†å’ŒçŸ¥è¯†æ£€ç´¢èƒ½åŠ›çš„æ™ºèƒ½ç³»ç»Ÿã€‚ä»¥ä¸‹æ˜¯ä¸€ä¸ªå®Œæ•´çš„é›†æˆç¤ºä¾‹ï¼Œä½¿ç”¨FAISS作为向量存储引擎。4.1 环境准备pip install faiss-cpu sentence-transformers numpy4.2 æ ¸å¿ƒå®žçŽ°ä»£ç import faiss import numpy as np from sentence_transformers import SentenceTransformer class SemanticSearchAgent: def __init__(self, embedding_modelBAAI/bge-large-zh-v1.5): # åŠ è½½Embedding模型 self.encoder SentenceTransformer(embedding_model) self.dim self.encoder.get_sentence_embedding_dimension() # 初始化FAIS