AI开发中常用的Python库
AI开发中常用的Python库
Python之所以成为AI开发的主流语言，并不是因为它本身运行速度快，而是因为它构建了一套极其完整的AI计算、机器学习、深度学习、数据处理、模型推理、RAG、Agent和MLOps生态。
真正进入AI工程开发之后，开发者面对的并不是“会不会Python语法”，而是一个更加复杂的问题：
什么时候使用 NumPy？什么时候使用 PyTorch？什么时候使用 Transformers？RAG应该选择什么框架？Agent又应该如何组织？
本文从AI应用架构的角度，对目前AI开发中最常用的Python库进行系统梳理。
一、AI开发为什么离不开Python？
传统后端开发经常以Java、Go、C++为核心，而AI开发则大量采用Python。
核心原因并不是Python语言本身，而是：
Python
│
├── 数值计算
│ └── NumPy
│
├── 数据分析
│ ├── Pandas
│ └── Polars
│
├── 机器学习
│ ├── Scikit-learn
│ ├── XGBoost
│ └── LightGBM
│
├── 深度学习
│ ├── PyTorch
│ └── TensorFlow
│
├── LLM
│ ├── Transformers
│ ├── Accelerate
│ ├── PEFT
│ └── TRL
│
├── Embedding / RAG
│ ├── Sentence Transformers
│ ├── FAISS
│ ├── Chroma
│ ├── Milvus
│ └── Qdrant
│
├── Agent
│ ├── LangChain
│ ├── LangGraph
│ ├── LlamaIndex
│ └── AutoGen
│
└── AI服务化
├── FastAPI
├── Pydantic
├── Uvicorn
└── Celery
因此可以把AI Python生态理解成：
Python不是一个AI库，而是一整个AI软件工程平台。
二、NumPy：AI计算的基础设施
2.1 NumPy是什么？
NumPy，全称 Numerical Python，是Python科学计算生态最基础的库之一。
核心对象是：
numpy.ndarray
它提供了高效的多维数组以及大量数学运算。
例如：
import numpy as np
x = np.array([1, 2, 3, 4])
print(x * 2)
输出：
[2 4 6 8]
但是NumPy真正重要的地方不是简单的数组运算，而是：
Tensor和Vector思想的基础。
三、NumPy为什么对AI如此重要？
假设一个Embedding：
[0.123, -0.532, 0.832, ...]
本质上就是一个向量。
一个Batch：
[
[0.1, 0.2, 0.3],
[0.4, 0.5, 0.6],
[0.7, 0.8, 0.9]
]
就是一个二维矩阵。
深度学习模型进一步扩展：
Scalar
↓
Vector
↓
Matrix
↓
Tensor
因此NumPy是理解：
- Embedding
- Matrix
- Tensor
- Cosine Similarity
- Dot Product
- Attention
的重要基础。
四、Pandas：AI数据处理的瑞士军刀
Pandas主要解决：
结构化数据处理问题。
例如：
import pandas as pd
df = pd.read_csv("users.csv")
print(df.head())
print(df.describe())
典型能力包括：
- CSV读取
- Excel处理
- 数据清洗
- 缺失值处理
- 数据过滤
- GroupBy
- Join
- 聚合
- 数据转换
例如：
df[df["age"] > 30]
五、Pandas在LLM时代仍然重要
很多人认为：
“现在都是LLM了，Pandas是不是没用了？”
实际上恰恰相反。
AI应用中经常需要处理：
数据库
↓
CSV / JSON
↓
数据清洗
↓
Chunk
↓
Embedding
↓
Vector Database
因此Pandas依然大量出现在：
- 数据预处理
- AI训练数据处理
- Evaluation Dataset
- RAG数据清洗
- Fine-tuning Dataset
- 日志分析
中。
六、Polars：Pandas的高性能替代方案
Polars是近年来越来越受到关注的数据处理库。
相比传统Pandas，它强调：
- Rust实现
- 并行计算
- Lazy Execution
- 更高性能
- 更低内存开销
例如：
import polars as pl
df = pl.read_csv("data.csv")
result = (
df
.filter(pl.col("age") > 30)
.group_by("department")
.agg(pl.col("salary").mean())
)
对于大规模AI数据处理，Polars非常值得掌握。
可以简单理解：
Pandas
↓
通用数据分析
Polars
↓
高性能数据工程
七、Scikit-learn：传统机器学习核心框架
Scikit-learn是Python机器学习领域最经典的库之一。
它主要覆盖：
- 分类
- 回归
- 聚类
- 降维
- 特征工程
- 模型评估
- 数据预处理
例如：
from sklearn.linear_model import LogisticRegression
model = LogisticRegression()
model.fit(X_train, y_train)
prediction = model.predict(X_test)
八、Scikit-learn与LLM是什么关系？
Scikit-learn并没有因为LLM出现而失去价值。
在真实AI系统中，经常出现：
LLM
+
传统机器学习
+
规则引擎
例如：
一个金融风控系统可能：
用户请求
↓
LLM提取用户意图
↓
Feature Engineering
↓
XGBoost
↓
Risk Score
↓
LLM生成解释
所以：
AI Engineering并不等于LLM Engineering。
九、XGBoost：工业界非常重要的机器学习库
XGBoost是一种Gradient Boosting算法实现。
特别适合：
- 风控
- 推荐
- CTR预测
- 用户画像
- 表格数据
- 分类
- 回归
例如：
from xgboost import XGBClassifier
model = XGBClassifier()
model.fit(X_train, y_train)
对于结构化数据：
年龄
收入
地区
历史行为
交易次数
信用记录
XGBoost往往仍然是非常强的解决方案。
十、LightGBM：大规模结构化数据机器学习
LightGBM也是Gradient Boosting家族的重要成员。
特点：
- 高性能
- 低内存
- 支持大规模数据
- 训练速度快
典型应用：
推荐系统
广告系统
风控
搜索排序
用户预测
十一、PyTorch：现代AI开发的核心
如果说NumPy是科学计算基础设施，那么：
PyTorch就是现代深度学习开发的核心框架之一。
PyTorch核心对象：
torch.Tensor
例如：
import torch
x = torch.tensor([1, 2, 3])
print(x * 2)
十二、PyTorch为什么如此重要？
PyTorch提供：
Tensor
+
GPU
+
Autograd
+
Neural Network
+
Distributed Training
例如：
import torch
x = torch.tensor([2.0], requires_grad=True)
y = x ** 2
y.backward()
print(x.grad)
PyTorch会自动计算：
dy/dx = 2x
这就是：
Automatic Differentiation
即自动微分。
十三、PyTorch是理解LLM的基础
现代Transformer模型最终仍然建立在：
Tensor
↓
Matrix Multiplication
↓
Attention
↓
Neural Network
↓
Gradient
之上。
例如Transformer中的核心计算：
Attention(Q,K,V)
=
softmax(QKᵀ / √d)V
本质上就是大量Tensor运算。
因此：
想真正理解LLM底层原理，PyTorch是非常值得掌握的。
十四、TensorFlow：另一套深度学习生态
TensorFlow曾经长期占据深度学习主流位置。
典型组件：
TensorFlow
├── Keras
├── TensorBoard
└── TensorFlow Serving
Keras可以快速构建模型：
from tensorflow import keras
model = keras.Sequential([
keras.layers.Dense(128, activation="relu"),
keras.layers.Dense(10)
])
不过对于今天的新一代LLM研究和开源模型生态而言，PyTorch的存在感通常更强。
十五、Hugging Face Transformers：LLM开发核心库
进入大模型开发以后，最重要的Python库之一就是：
transformers
它提供大量预训练模型和统一接口。
例如：
from transformers import pipeline
generator = pipeline(
"text-generation",
model="..."
)
result = generator("AI is")
十六、Transformers解决了什么问题？
如果没有Transformers，开发者需要自己处理：
模型结构
Tokenizer
权重加载
Attention
Position Embedding
Model Configuration
GPU
Inference
Transformers将这些统一起来。
常见模型类型包括：
BERT
GPT
T5
Llama
Qwen
Mistral
Gemma
Whisper
CLIP
因此可以把Transformers理解为：
开源LLM模型的软件接口层。
十七、Tokenizer：LLM的输入层
LLM并不是直接理解字符串。
例如：
Hello AI
会经过：
Text
↓
Tokenizer
↓
Token IDs
↓
Embedding
↓
Transformer
Transformers提供统一Tokenizer接口：
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("...")
tokens = tokenizer("Hello AI")
print(tokens)
十八、Accelerate：让模型运行在不同硬件上
Hugging Face Accelerate解决：
- CPU
- GPU
- Multi-GPU
- Distributed Training
- Mixed Precision
等问题。
例如：
from accelerate import Accelerator
accelerator = Accelerator()
它可以减少大量设备管理代码。
在模型训练和推理工程中非常有价值。
十九、PEFT：参数高效微调
PEFT：
Parameter-Efficient Fine-Tuning
核心思想：
不修改整个模型，而只训练少量参数。
典型技术：
LoRA
QLoRA
Adapter
Prefix Tuning
Prompt Tuning
例如LoRA：
原始LLM
│
├── Frozen Parameters
│
└── LoRA Parameters
↓
Fine-tuning
优势：
训练参数 ↓
显存 ↓
训练成本 ↓
部署成本 ↓
二十、TRL：LLM训练与对齐
TRL：
Transformer Reinforcement Learning
主要用于：
- SFT
- Reward Modeling
- RLHF
- Preference Optimization
可以理解为：
Transformers
+
训练算法
↓
LLM Alignment
二十一、Sentence Transformers：Embedding核心工具
RAG系统最重要的组件之一就是Embedding。
Sentence Transformers专门用于：
将文本转换成向量。
例如：
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("...")
embedding = model.encode(
"What is artificial intelligence?"
)
得到：
[0.123,
-0.234,
0.456,
...
]
二十二、Embedding为什么是RAG的核心？
假设知识库：
文档A：Java是一种面向对象编程语言
文档B：Redis是一种内存数据库
文档C：Kafka是一种分布式消息系统
用户问：
Java是什么？
系统不是简单搜索关键词，而是：
Query
↓
Embedding
↓
Vector Search
↓
找到相似文档
↓
LLM
↓
Answer
这就是：
Semantic Search
二十三、FAISS：向量检索基础设施
FAISS：
Facebook AI Similarity Search
主要解决：
高维向量的相似度搜索。
例如：
import faiss
index = faiss.IndexFlatL2(768)
index.add(vectors)
D, I = index.search(query, 5)
可以理解：
Embedding
↓
FAISS
↓
Top-K Similar Vectors
FAISS非常适合：
- 本地RAG
- 实验
- 原型系统
- 大规模向量检索研究
二十四、Chroma：轻量级Vector Database
Chroma主要面向AI应用开发者。
它提供：
- Embedding存储
- Vector Search
- Metadata
- Collection
非常适合：
RAG Demo
↓
Prototype
↓
POC
例如：
import chromadb
client = chromadb.Client()
collection = client.create_collection(
name="documents"
)
二十五、Milvus：企业级向量数据库
如果RAG系统规模扩大：
百万级
千万级
亿级Vector
就需要更加专业的Vector Database。
Milvus支持：
- Vector Search
- Hybrid Search
- Metadata Filter
- Distributed Architecture
- Large-scale Retrieval
典型架构：
LLM Application
↓
Embedding
↓
Milvus
↓
Vector Search
↓
Top-K Documents
二十六、Qdrant：现代Vector Database
Qdrant也是目前非常流行的向量数据库。
特点包括：
- Vector Search
- Metadata Filtering
- Payload
- REST API
- 高性能检索
适合构建：
RAG
Semantic Search
Recommendation
Agent Memory
二十七、LangChain：LLM应用编排框架
LangChain是AI应用开发中非常知名的框架。
它试图解决：
LLM
+
Prompt
+
Tool
+
Memory
+
Retriever
+
Agent
之间的组合问题。
例如：
User
↓
Prompt
↓
LLM
↓
Tool
↓
Database
↓
LLM
↓
Answer
二十八、LangChain最重要的概念
理解LangChain，建议掌握：
Model
Prompt
Output Parser
Retriever
Tool
Agent
Memory
Chain
Runnable
例如：
chain = prompt | model | parser
这种Pipeline思想非常重要。
二十九、LangGraph：Agent开发的重要框架
如果说LangChain偏向：
LLM Application Framework
那么LangGraph更加关注：
Agent Workflow / Stateful Agent
Agent并不是简单：
Prompt → LLM → Answer
而是：
┌──────────────┐
│ Agent │
└──────┬───────┘
↓
Analyze Task
↓
┌──────┴──────┐
↓ ↓
Tool A Tool B
↓ ↓
└──────┬──────┘
↓
Observation
↓
Re-plan
↓
...
这就是Graph思想。
三十、LlamaIndex：RAG领域的重要框架
LlamaIndex主要关注：
LLM + External Data
特别适合：
- Document ingestion
- Index
- Retrieval
- RAG
- Data Connector
典型流程：
PDF
↓
Document
↓
Node
↓
Embedding
↓
Index
↓
Retriever
↓
LLM
三十一、AutoGen：多Agent协作
AutoGen主要关注：
Multi-Agent Collaboration
例如：
User
↓
Orchestrator
/ | \
/ | \
Research Coder Reviewer
\ | /
\ | /
Final Agent
多个Agent分别承担：
Research Agent
Coding Agent
Testing Agent
Review Agent
Planning Agent
然后通过Agent Communication完成协作。
这和传统：
Microservice
在架构思想上有一定相似性。
三十二、OpenAI SDK：调用LLM的基础客户端
如果应用直接调用模型API，那么通常需要官方SDK。
基本形式：
from openai import OpenAI
client = OpenAI()
response = client.responses.create(
model="...",
input="Explain AI"
)
它主要解决：
API Authentication
Request
Response
Streaming
Tool Calling
Structured Output
三十三、Pydantic：AI工程里被严重低估的库
Pydantic不是AI专用库，但是现代AI开发非常重要。
核心能力：
数据验证 + 类型定义 + Schema生成
例如：
from pydantic import BaseModel
class User(BaseModel):
name: str
age: int
三十四、为什么LLM特别需要Pydantic？
LLM输出：
{
"name": "Vincent",
"age": 30
}
我们希望它符合：
class User(BaseModel):
name: str
age: int
于是可以实现：
LLM
↓
Structured Output
↓
Pydantic
↓
Validation
↓
Business Logic
这对于：
- Agent
- Tool Calling
- Structured Output
- API
- Workflow
都非常重要。
三十五、FastAPI：AI服务化的核心框架
AI模型最终通常需要变成API。
例如：
Frontend
↓
HTTP
↓
FastAPI
↓
LLM
↓
Response
代码：
from fastapi import FastAPI
app = FastAPI()
@app.post("/chat")
def chat(message: str):
return {
"answer": "Hello AI"
}
FastAPI非常适合：
- LLM API
- RAG API
- Agent API
- Model Service
- AI Gateway
三十六、Uvicorn：运行FastAPI
FastAPI本身不是完整Web Server。
通常使用：
FastAPI
↓
Uvicorn
↓
ASGI
启动：
uvicorn main:app --host 0.0.0.0 --port 8000
生产环境还可以配合：
Nginx
Docker
Kubernetes
三十七、HTTPX：AI服务中的HTTP客户端
AI系统往往需要调用很多外部服务：
LLM API
Embedding API
Vector DB
Internal Service
External API
HTTPX提供现代Python HTTP客户端：
import httpx
response = httpx.get(
"https://example.com"
)
还支持：
- Async
- Connection Pool
- HTTP/2
对于异步AI应用非常重要。
三十八、AsyncIO：AI应用必须理解的异步模型
LLM应用大量时间实际上花在：
等待网络
等待模型
等待数据库
等待Vector Search
例如：
Request
↓
LLM API
↓
等待
↓
Vector DB
↓
等待
↓
Tool API
↓
等待
因此Python AsyncIO非常重要。
例如：
import asyncio
async def call_model():
await asyncio.sleep(1)
return "result"
三十九、PyMuPDF：RAG文档解析
企业RAG经常需要处理：
PDF
DOCX
PPTX
TXT
HTML
PyMuPDF非常适合PDF文本提取。
例如：
import fitz
doc = fitz.open("document.pdf")
for page in doc:
text = page.get_text()
典型流程：
PDF
↓
PyMuPDF
↓
Text
↓
Chunk
↓
Embedding
↓
Vector DB
四十、BeautifulSoup：网页数据提取
如果AI系统需要读取网页：
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, "html.parser")
text = soup.get_text()
适合：
- HTML解析
- 网页内容提取
- 数据采集
- RAG数据源
四十一、Playwright：浏览器自动化
BeautifulSoup只能处理HTML。
如果网页需要：
JavaScript
Login
Dynamic Rendering
Click
Scroll
Form
可以使用Playwright。
例如：
from playwright.async_api import async_playwright
这对于Browser Agent非常重要。
架构可以是：
Agent
↓
Browser Tool
↓
Playwright
↓
Browser
↓
Website
四十二、OCR库：让AI理解图片和扫描文档
企业AI应用经常遇到：
扫描PDF
发票
身份证
合同
截图
表格
常见OCR技术栈包括：
PaddleOCR
Tesseract
EasyOCR
其中PaddleOCR在中文场景非常常见。
典型流程：
Image
↓
OCR
↓
Text
↓
LLM
四十三、OpenCV：计算机视觉基础设施
OpenCV主要解决：
- 图像处理
- 视频处理
- OCR前处理
- 图像识别
- Computer Vision
例如：
import cv2
image = cv2.imread("image.jpg")
gray = cv2.cvtColor(
image,
cv2.COLOR_BGR2GRAY
)
如果开发：
Vision AI
OCR
Video AI
Image Processing
OpenCV依然重要。
四十四、Pillow：Python图像处理基础库
Pillow适合：
- 图片读取
- Resize
- Crop
- Format转换
- 压缩
- 基础图像处理
例如：
from PIL import Image
image = Image.open("image.jpg")
image = image.resize((512, 512))
四十五、ONNX Runtime：模型推理
训练模型和运行模型是两件不同的事情。
训练：
PyTorch
生产推理：
ONNX Runtime
可以将模型：
PyTorch
↓
ONNX
↓
ONNX Runtime
从而在不同环境中进行高性能推理。
四十六、vLLM：LLM推理服务器
如果自己部署大模型，vLLM非常值得掌握。
它主要解决：
如何高效运行LLM。
核心技术包括：
PagedAttention
Continuous Batching
KV Cache
GPU Optimization
典型架构：
Client
↓
FastAPI / Gateway
↓
vLLM
↓
GPU
↓
LLM
如果目标是：
LLM Infrastructure Engineer
那么vLLM属于重点技术。
四十七、TGI：Text Generation Inference
TGI也是用于部署Transformer/LLM的推理服务器。
主要关注：
Model Serving
Batching
Streaming
GPU Inference
它与vLLM属于类似领域。
四十八、Ray：AI分布式计算平台
Ray解决的是：
如何把Python计算任务扩展到多机器。
可以用于：
Distributed Training
Distributed Inference
Hyperparameter Tuning
RL
Data Processing
Agent
架构：
Ray Cluster
┌────────┼────────┐
↓ ↓ ↓
Node1 Node2 Node3
↓ ↓ ↓
GPU GPU GPU
四十九、Dask：Python分布式数据计算
Dask主要用于：
Large Dataset
Parallel Computing
Distributed Data Processing
如果Pandas处理不了数据规模，可以考虑：
Pandas
↓
Dask / Polars
五十、MLflow：机器学习生命周期管理
AI项目不仅仅是训练模型。
还需要：
Experiment
↓
Training
↓
Model
↓
Version
↓
Deployment
↓
Monitoring
MLflow可以管理：
- Experiment
- Metrics
- Parameters
- Model Registry
- Model Version
例如：
Experiment #123
learning_rate = 0.001
batch_size = 32
accuracy = 0.94
五十一、Weights & Biases：AI实验管理
W&B主要用于：
Experiment Tracking
Model Training
Metrics Visualization
Dataset
Model Version
特别适合深度学习训练。
例如：
Epoch 1
Loss = 2.31
Epoch 10
Loss = 0.42
Epoch 50
Loss = 0.08
可以实时可视化。
五十二、Prometheus：AI系统监控
AI应用上线后，需要监控：
Request Count
Latency
Error Rate
Token Usage
GPU Utilization
Model Latency
RAG Latency
Prometheus非常适合指标监控。
典型AI监控：
AI System
│
┌─────────────┼─────────────┐
↓ ↓ ↓
API Metrics Model Metrics GPU Metrics
│ │ │
└─────────────┼─────────────┘
↓
Prometheus
↓
Grafana
五十三、Loguru：更方便的Python日志库
Python标准库：
logging
已经足够强大。
但Loguru提供更加简单的日志体验：
from loguru import logger
logger.info("AI request started")
logger.error("Model failed")
适合AI应用开发阶段快速构建日志体系。
五十四、Tenacity：AI系统中的重试机制
LLM应用非常容易遇到：
Timeout
Rate Limit
503
Network Error
Temporary Failure
Tenacity可以实现：
Retry
Backoff
Stop Condition
例如：
from tenacity import retry
@retry
def call_llm():
...
生产AI系统中：
Retry不是锦上添花，而是可靠性设计的一部分。
五十五、Redis：AI应用中的基础设施
Redis虽然不是Python AI库，但AI应用经常通过Python客户端使用Redis。
典型用途：
Session
Cache
Rate Limit
Agent State
Task Queue
Semantic Cache
例如：
User
↓
API
↓
Redis
↓
Conversation State
↓
LLM
五十六、Celery：AI异步任务
有些AI任务非常耗时：
PDF解析
OCR
Embedding
Batch Inference
Document Index
Fine-tuning
不应该阻塞HTTP请求。
可以设计：
FastAPI
↓
Celery
↓
Redis / RabbitMQ
↓
Worker
↓
AI Task
这和传统企业级Java异步任务架构非常类似。
五十七、一个完整AI项目到底需要哪些Python库？
可以把AI开发技术栈分成七层。
Layer 1：基础计算
NumPy
Pandas
Polars
Layer 2：Machine Learning
Scikit-learn
XGBoost
LightGBM
Layer 3：Deep Learning
PyTorch
TensorFlow
Layer 4：LLM
Transformers
Accelerate
PEFT
TRL
OpenAI SDK
Layer 5：RAG
Sentence Transformers
FAISS
Chroma
Milvus
Qdrant
LlamaIndex
Layer 6：Agent
LangChain
LangGraph
AutoGen
Layer 7：Production
FastAPI
Pydantic
Uvicorn
HTTPX
Redis
Celery
MLflow
Prometheus
五十八、如果开发一个企业级RAG系统
假设我们要构建：
企业内部知识库问答系统
可以设计：
User
│
↓
FastAPI
│
↓
Query Rewrite
│
↓
Embedding
│
↓
┌────────────────┐
│ Vector Database│
│ Milvus/Qdrant │
└───────┬────────┘
↓
Top-K Docs
│
↓
Reranker
│
↓
Prompt
│
↓
LLM
│
↓
Pydantic
│
↓
Response
对应Python技术栈：
FastAPI
Pydantic
Sentence Transformers
Milvus/Qdrant
LangChain/LlamaIndex
OpenAI SDK / Transformers
Redis
Prometheus
五十九、如果开发一个Agent系统
例如：
AI软件开发Agent
可以设计：
User
↓
Planner
↓
┌──────┼──────┐
↓ ↓ ↓
Coder Search Tester
│ │ │
└──────┼──────┘
↓
Reviewer
↓
Planner
↓
Final
Python技术栈可能是：
LangGraph
Pydantic
LLM SDK
FastAPI
Redis
PostgreSQL
Playwright
GitPython
Docker SDK
这里真正重要的已经不是：
“会不会调用LLM”
而是：
如何设计Agent状态、工具、任务分解、错误恢复和多Agent通信。
六十、如果开发LLM推理平台
如果目标是AI基础设施：
Client
↓
Gateway
↓
FastAPI
↓
Load Balancer
↓
┌───────────┼───────────┐
↓ ↓ ↓
vLLM vLLM vLLM
↓ ↓ ↓
GPU GPU GPU
主要技术：
PyTorch
Transformers
vLLM
FastAPI
Ray
CUDA
Prometheus
Grafana
Docker
Kubernetes
这个方向与传统：
Java
Spring Boot
Kubernetes
Microservices
Observability
有很强的技术迁移关系。
六十一、AI开发真正需要掌握的Python能力
不要把AI开发理解成：
Python语法
+
调用OpenAI API
真正的AI Engineer至少需要理解：
Python
│
├── OOP
├── Type Hint
├── AsyncIO
├── Generator
├── Decorator
├── Context Manager
├── Multiprocessing
├── Packaging
│
↓
Data
│
├── NumPy
├── Pandas
└── Polars
│
↓
ML
│
├── Scikit-learn
├── XGBoost
└── LightGBM
│
↓
Deep Learning
│
└── PyTorch
│
↓
LLM
│
├── Transformers
├── PEFT
└── TRL
│
↓
RAG
│
├── Embedding
├── Vector DB
└── Retrieval
│
↓
Agent
│
├── LangGraph
├── Tool
└── Workflow
│
↓
Production
│
├── FastAPI
├── Redis
├── Kubernetes
└── Observability
六十二、AI开发中最值得优先掌握的库
如果从工程师角度排序，我更推荐：
| 优先级 | 库 | 核心作用 |
|---|---|---|
| ⭐⭐⭐⭐⭐ | NumPy | 数值计算 |
| ⭐⭐⭐⭐⭐ | PyTorch | 深度学习 |
| ⭐⭐⭐⭐⭐ | Transformers | LLM |
| ⭐⭐⭐⭐⭐ | FastAPI | AI服务 |
| ⭐⭐⭐⭐⭐ | Pydantic | 数据与Schema |
| ⭐⭐⭐⭐⭐ | Sentence Transformers | Embedding |
| ⭐⭐⭐⭐⭐ | LangGraph | Agent |
| ⭐⭐⭐⭐⭐ | FAISS / Qdrant / Milvus | Vector Search |
| ⭐⭐⭐⭐ | Pandas | 数据处理 |
| ⭐⭐⭐⭐ | Scikit-learn | 传统ML |
| ⭐⭐⭐⭐ | OpenAI SDK | LLM API |
| ⭐⭐⭐⭐ | vLLM | LLM推理 |
| ⭐⭐⭐⭐ | Redis | Cache/State |
| ⭐⭐⭐ | LlamaIndex | RAG |
| ⭐⭐⭐ | LangChain | LLM编排 |
| ⭐⭐⭐ | Playwright | Browser Agent |
| ⭐⭐⭐ | PyMuPDF | PDF处理 |
| ⭐⭐⭐ | OpenCV | Computer Vision |
| ⭐⭐⭐ | MLflow | ML生命周期 |
| ⭐⭐⭐ | Ray | 分布式AI |
六十三、一个AI Engineer真正应该形成的技术地图
最终可以形成下面这张地图：
AI Engineer
│
┌───────────────┼────────────────┐
│ │ │
AI Model AI Application AI Platform
│ │ │
↓ ↓ ↓
PyTorch RAG/Agent vLLM
Transformers LangGraph Ray
PEFT FastAPI CUDA
TRL Pydantic K8s
│ │ │
└───────────────┼────────────────┘
↓
Data Layer
│
┌───────────┼───────────┐
↓ ↓ ↓
Pandas Redis Vector DB
Polars SQL Milvus
Qdrant
│
↓
Observability
│
Prometheus/Grafana
六十四、最重要的认知：不要“背Python库”
AI工程师最容易陷入一个误区：
“我要把这些库全部学一遍。”
实际上没有必要。
真正应该掌握的是：
问题
↓
选择技术
↓
组合组件
↓
解决工程问题
例如：
问题1：我要处理PDF
选择：
PyMuPDF
问题2：我要做Embedding
选择：
Sentence Transformers
问题3：我要做Vector Search
选择：
FAISS / Qdrant / Milvus
问题4：我要做Agent
选择：
LangGraph
问题5：我要部署LLM
选择：
vLLM
问题6：我要做AI API
选择：
FastAPI + Pydantic
问题7：我要做生产监控
选择：
Prometheus + Grafana
这才是AI Engineering的正确思维。
六十五、从传统Java后端到AI Engineer
对于已经有Java/Spring Boot/微服务经验的工程师，实际上并不需要从零开始。
很多能力可以直接迁移。
| Java后端 | AI/Python |
|---|---|
| Spring Boot | FastAPI |
| Jackson | Pydantic |
| Maven | Poetry / uv / pip |
| CompletableFuture | asyncio |
| Redis | Redis |
| Kafka | Kafka |
| MyBatis/JPA | SQLAlchemy |
| Microservice | AI Service |
| Gateway | AI Gateway |
| OpenTelemetry | OpenTelemetry |
| Prometheus | Prometheus |
| Kubernetes | Kubernetes |
| Docker | Docker |
| Service Discovery | AI Service Discovery |
| Workflow | LangGraph |
| RPC/Tool | Agent Tool |
| Database | Vector DB |
| Cache | Semantic Cache |
| Service | Agent |
| Scheduler | Agent Workflow |
因此对于有多年Java后端经验的工程师：
最大的变化不是从Java切换到Python，而是从传统Business Logic转向AI-Native Architecture。
六十六、最终总结
现代AI开发的Python生态已经形成了非常完整的技术体系：
Python AI Ecosystem
│
┌────────────────┼─────────────────┐
↓ ↓ ↓
Data ML AI
│ │ │
NumPy/Pandas sklearn/XGBoost PyTorch
Polars LightGBM Transformers
│ │ │
└────────────────┼─────────────────┘
↓
LLM
│
┌──────────┼──────────┐
↓ ↓ ↓
RAG Agent Inference
↓ ↓ ↓
Vector DB LangGraph vLLM
Embedding Tools Ray
│ │ │
└──────────┼──────────┘
↓
AI Application
│
FastAPI/Pydantic
│
Redis/PostgreSQL
│
Prometheus/Grafana
│
Kubernetes
如果从AI开发专家的角度看，我认为最重要的不是掌握几十个Python库，而是建立下面这条完整认知链：
Python
↓
Data
↓
Machine Learning
↓
Deep Learning
↓
Transformer
↓
LLM
↓
Embedding
↓
RAG
↓
Agent
↓
Multi-Agent
↓
AI Application
↓
AI Infrastructure
↓
Production AI
