MongoDB与Python集成实战指南:从基础连接到高级查询优化与数据安全处理

引言
MongoDB作为一个流行的NoSQL数据库,以其灵活的文档模型和强大的扩展性在现代应用开发中占据重要地位。而Python作为一门简洁高效的编程语言,通过
pymongo
驱动程序与MongoDB的无缝集成,使得开发者能够轻松构建高性能的数据驱动应用。本指南将从基础连接开始,逐步深入到高级查询优化和数据安全处理,提供详细的实战代码和最佳实践。
1. 环境准备与基础连接
1.1 安装必要的库
首先,确保你的Python环境中安装了
pymongo
库。你可以使用pip进行安装:
pip install pymongo
如果你需要使用MongoDB的高级功能,如事务支持,确保你的MongoDB服务器版本至少为4.0。
1.2 建立与MongoDB的连接
使用
pymongo
连接MongoDB非常简单。以下是一个基本的连接示例:
from pymongo import MongoClient

# 连接到MongoDB服务器,默认localhost:27017
client = MongoClient(‘mongodb://localhost:27017/’)

# 选择数据库
db = client[‘mydatabase’]

# 选择集合(类似于SQL中的表)
collection = db[‘mycollection’]

# 插入一条文档
document = {“name”: “Alice”, “age”: 30, “city”: “New York”}
insert_result = collection.insert_one(document)
print(f”Inserted document id: {insert_result.inserted_id}”)

# 查询插入的文档
found_document = collection.find_one({“name”: “Alice”})
print(f”Found document: {found_document}”)
1.3 连接字符串的高级配置
在生产环境中,你可能需要配置连接字符串以包含认证信息、副本集或SSL连接。以下是一个包含用户名和密码的连接字符串示例:
from pymongo import MongoClient

# 连接字符串示例:包含用户名、密码、认证数据库和主机
uri = “mongodb://username:password@host1:27017,host2:27017/database?authSource=admin&replicaSet=myReplicaSet”

client = MongoClient(uri)
db = client.get_default_database() # 使用连接字符串中指定的数据库
2. 数据操作基础
2.1 插入操作
MongoDB支持插入单个文档或多个文档。以下是插入多个文档的示例:
documents = [
{“name”: “Bob”, “age”: 25, “city”: “San Francisco”},
{“name”: “Charlie”, “age”: 35, “city”: “Chicago”},
{“name”: “Diana”, “age”: 28, “city”: “Boston”}
]

# 插入多个文档
result = collection.insert_many(documents)
print(f”Inserted document ids: {result.inserted_ids}”)
2.2 查询操作
查询是数据库操作中最常见的部分。
pymongo
提供了丰富的查询接口。
2.2.1 基本查询
# 查询所有文档
for doc in collection.find():
print(doc)

# 条件查询:年龄大于30
query = {“age”: {“$gt”: 30}}
for doc in collection.find(query):
print(doc)
2.2.2 投影(Projection)
投影用于指定返回文档的字段,减少网络传输和内存使用。
# 只返回name和age字段,不返回_id
projection = {“_id”: 0, “name”: 1, “age”: 1}
for doc in collection.find({}, projection):
print(doc)
2.3 更新操作
更新操作用于修改现有文档。
pymongo
提供了
update_one
和
update_many
方法。
# 更新单个文档:将Alice的年龄更新为31
update_result = collection.update_one(
{“name”: “Alice”},
{“$set”: {“age”: 31}}
)
print(f”Matched count: {update_result.matched_count}, Modified count: {update_result.modified_count}”)

# 更新多个文档:将所有人的城市更新为”Los Angeles”
update_result = collection.update_many(
{},
{“$set”: {“city”: “Los Angeles”}}
)
print(f”Matched count: {update_result.matched_count}, Modified count: {update_result.modified_count}”)
2.4 删除操作
删除操作用于移除文档。
pymongo
提供了
delete_one
和
delete_many
方法。
# 删除单个文档:删除名为”Bob”的文档
delete_result = collection.delete_one({“name”: “Bob”})
print(f”Deleted count: {delete_result.deleted_count}”)

# 删除多个文档:删除所有年龄小于30的文档
delete_result = collection.delete_many({“age”: {“$lt”: 30}})
print(f”Deleted count: {a deleted_count}”)
3. 高级查询与聚合
3.1 复杂查询
MongoDB支持多种查询操作符,如
$in
、
$regex
、
$elemMatch
等。
3.1.1 使用
$in
操作符
# 查询名字在列表中的文档
names = [“Alice”, “Charlie”, “Eve”]
query = {“name”: {“$in”: names}}
for doc in collection.find(query):
print(doc)
3.1.2 使用正则表达式查询
# 查询名字以”A”开头的文档
query = {“name”: {“$regex”: “^A”}}
for doc in collection.find(query):
print(doc)
3.2 聚合框架
聚合框架是MongoDB的强大功能,用于复杂的数据处理和分析。
3.2.1 基本聚合操作
以下示例按城市分组并计算每个城市的平均年龄:
pipeline = [
{“$group”: {“_id”: “$city”, “avg_age”: {“$avg”: “$age”}}}
]

for result in collection.aggregate(pipeline):
print(result)
3.2.2 多阶段聚合
以下是一个更复杂的聚合示例,先过滤年龄大于25的文档,然后按城市分组并计算平均年龄,最后按平均年龄降序排序:
pipeline = [
{“$match”: {“age”: {“$gt”: 25}}},
{“$group”: {“_id”: “$city”, “avg_age”: {“$avg”: “$age”}}},
{“$sort”: {“avg_age”: -1}}
]

for result in collection.aggregate(pipeline):
print(result)
3.3 索引与查询优化
索引是提高查询性能的关键。
pymongo
允许你创建和管理索引。
3.3.1 创建索引
# 在age字段上创建升序索引
collection.create_index([(“age”, 1)])

# 在name字段上创建降序索引
collection.create_index([(“name”, -1)])

# 创建复合索引
collection.create_index([(“city”, 1), (“age”, -1)])
3.3.2 查询计划分析
使用
explain
方法可以查看查询的执行计划,帮助优化查询。
# 查看查询的执行计划
query = {“age”: {“$gt”: 25}}
explain_result = collection.find(query).explain()
print(explain_result)
4. 数据安全处理
4.1 认证与授权
MongoDB支持多种认证机制,如SCRAM-SHA-1、X.509证书等。以下是如何在连接字符串中指定认证信息:
from pymongo import MongoClient

# 使用SCRAM-SHA-1认证
uri = “mongodb://username:password@localhost:27017/?authSource=admin&authMechanism=SCRAM-SHA-1”
client = MongoClient(uri)
db = client.mydatabase
4.2 加密传输
使用TLS/SSL加密客户端与MongoDB服务器之间的通信:
uri = “mongodb://username:密码@localhost:27017/?ssl=true&ssl_certfile=/path/to/cert.pem”
client = MongoClient(uri)
4.3 字段级加密(Field-Level Encryption)
MongoDB 4.2+ 支持客户端字段级加密,可以在客户端加密敏感数据。以下是一个使用
pymongo
进行字段级加密的示例:
from pymongo import MongoClient
from pymongo.encryption import ClientEncryption
from pymongo.encryption_options import AutoEncryptionOpts
import base64
from cryptography.fernet import Fernet

# 生成一个密钥(在生产环境中,密钥应安全存储)
key = Fernet.generate_key()
cipher = Fernet(key)

# 定义加密和解密函数
def encrypt_field(value):
return base64.b64encode(cipher.encrypt(value.encode())).decode()

def decrypt_field(encrypted_value):
return cipher.decrypt(base64.b64decode(encrypted_value.encode())).decode()

# 配置自动加密选项
key_vault_namespace = “encryption.__keyVault”
kms_providers = {
“local”: {“key”: key}
}

# 定义需要加密的字段
schema_map = {
“mydatabase.mycollection”: {
“bsonType”: “object”,
“properties”: {
“name”: {
“encrypt”: {
“keyId”: [“/path/to/key”], # 实际使用中,keyId应来自密钥保管库
“bsonType”: “string”,
“algorithm”: “AEAD_AES_256_CBC_HMAC_SHA_512-Deterministic”
}
}
}
}
}

# 创建ClientEncryption对象
client_encryption = ClientEncryption(
kms_providers,
key_vault_namespace,
MongoClient(),
bson_codec_options=None
)

# 使用自动加密配置创建MongoDB客户端
auto_encryption_opts = AutoEncryptionOpts(
kms_providers,
key_vault_namespace,
schema_map=schema_map
)
client = MongoClient(‘mongodb://localhost:27017/’, auto_encryption_opts=auto_encryption_opts)

# 插入加密文档
collection = client.mydatabase.mycollection
encrypted_name = encrypt_field(“SensitiveName”)
collection.insert_one({“name”: encrypted_name})

# 查询并解密
doc = collection.find_one({“name”: encrypted_name})
decrypted_name = decrypt_field(doc[“name”])
print(f”Decrypted name: {decrypted_name}”)
注意
:上述代码是一个简化的示例,实际使用中应使用MongoDB官方提供的加密库和密钥管理服务(如AWS KMS、Azure Key Vault等)。
4.4 输入验证与防止注入
虽然MongoDB的查询语言是JSON格式,不容易像SQL那样注入,但仍需注意输入验证和防止操作符注入。
4.4.1 输入验证
使用Python的验证库如
pydantic
来验证输入数据。
from pydantic import BaseModel, validator

class User(BaseModel):
name: str
age: int
city: str

@validator(‘age’)
def age_must_be_positive(cls, v):
if v <= 0: raise ValueError('Age must be positive') return v # 验证输入数据 try: user = User(name="Alice", age=-5, city="New York") except ValueError as e: print(e) 4.4.2 防止操作符注入 避免直接将用户输入拼接到查询中。使用 pymongo 的查询构建器来安全地构建查询。 # 不安全的查询构建(避免) user_input = {"$ne": ""} # 恶意输入 query = {"name": user_input} # 这将匹配所有name字段存在的文档 # 安全的查询构建 safe_input = "Alice" query = {"name": safe_input} 5. 事务处理 MongoDB从4.0版本开始支持多文档事务。以下是如何在 pymongo 中使用事务的示例: from pymongo import MongoClient client = MongoClient('mongodb://localhost:27017/') db = client.mydatabase # 开始一个会话 with client.start_session() as session: # 开始事务 with session.start_transaction(): try: # 在事务中执行多个操作 collection1 = db.collection1 collection2 = db.collection2 # 插入到collection1 collection1.insert_one({"_id": 1, "value": 100}, session=session) # 更新collection2 collection2.update_one({"_id": 1}, {"$inc": {"value": 50}}, session=session) # 提交事务 session.commit_transaction() print("Transaction committed successfully") except Exception as e: # 回滚事务 session.abort_transaction() print(f"Transaction aborted: {e}") 6. 性能优化与最佳实践 6.1 连接池管理 pymongo 默认使用连接池。合理配置连接池大小可以提高性能。 from pymongo import MongoClient # 配置连接池大小 client = MongoClient( 'mongodb://localhost:27017/', maxPoolSize=100, # 最大连接数 minPoolSize=10, # 最小连接数 maxIdleTimeMS=60000 # 连接最大空闲时间(毫秒) ) 6.2 批量操作 批量操作可以减少网络往返次数,提高性能。 # 批量插入 documents = [{"_id": i, "value": i*10} for i in range(1000)] collection.insert_many(documents, ordered=False) # ordered=False允许并行插入 # 批量更新 bulk_update = [ UpdateOne({"_id": i}, {"$inc": {"value": 1}}) for i in range(1000) ] collection.bulk_write(bulk_update) 6.3 使用投影减少数据传输 在查询时,只选择需要的字段,避免传输不必要的数据。 # 只选择需要的字段 projection = {"_id": 0, "name": 1, "age": 1} for doc in collection.find({}, projection): print(doc) 6.4 分页查询 对于大量数据的分页查询,使用 skip 和 limit 可能会导致性能问题。可以使用范围查询来优化。 # 传统分页(可能性能差) page = 2 page_size = 10 docs = collection.find().skip((page-1)*page_size).limit(page_size) # 优化分页:使用范围查询 last_id = None for _ in range(3): # 获取前3页 query = {} if last_id: query["_id"] = {"$gt": last_id} docs = collection.find(query).sort("_id", 1).limit(page_size) for doc in docs: print(doc) last_id = doc["_id"] 7. 错误处理与日志记录 7.1 错误处理 在生产环境中,必须妥善处理数据库操作可能抛出的异常。 from pymongo import MongoClient from pymongo.errors import ConnectionFailure, OperationFailure try: client = MongoClient('mongodb://localhost:27017/', serverSelectionTimeoutMS=5000) client.admin.command('ping') # 测试连接 except ConnectionFailure as e: print(f"Could not connect to MongoDB: {e}") except OperationFailure as e: print(f"Operation failed: {e}") except Exception as e: print(f"An error occurred: {e}") finally: client.close() 7.2 日志记录 使用Python的 logging 模块记录数据库操作日志。 import logging logging.basicConfig(level=logging.INFO) logger = logging.getLogger(__name__) def insert_document(collection, document): try: result = collection.insert_one(document) logger.info(f"Inserted document with id: {result.inserted_id}") return result except Exception as e: logger.error(f"Failed to insert document: {e}") raise 8. 总结 本指南详细介绍了MongoDB与Python集成的各个方面,从基础连接到高级查询优化和数据安全处理。通过遵循这些最佳实践和代码示例,你可以构建高效、安全、可扩展的数据库应用。记住,持续监控和优化是保持应用高性能的关键。 # MongoDB与Python集成实战指南:从基础连接到高级查询优化与数据安全处理 引言 MongoDB作为一个流行的NoSQL数据库,以其灵活的文档模型和强大的扩展性在现代应用开发中占据重要地位。而Python作为一门简洁高效的编程语言,通过 pymongo 驱动程序与MongoDB的无缝集成,使得开发者能够轻松构建高性能的数据驱动应用。本指南将从基础连接开始,逐步深入到高级查询优化和数据安全处理,提供详细的实战代码和最佳实践。 1. 环境准备与基础连接 1.1 安装必要的库 首先,确保你的Python环境中安装了 pymongo 库。你可以使用pip进行安装: pip install pymongo 如果你需要使用MongoDB的高级功能,如事务支持,确保你的MongoDB服务器版本至少为4.0。 1.2 建立与MongoDB的连接 使用 pymongo 连接MongoDB非常简单。以下是一个基本的连接示例: from pymongo import MongoClient # 连接到MongoDB服务器,默认localhost:27017 client = MongoClient('mongodb://localhost:27017/') # 选择数据库 db = client['mydatabase'] # 选择集合(类似于SQL中的表) collection = db['mycollection'] # 插入一条文档 document = {"name": "Alice", "age": 30, "city": "New York"} insert_result = collection.insert_one(document) print(f"Inserted document id: {insert_result.inserted_id}") # 查询插入的文档 found_document = collection.find_one({"name": "Alice"}) print(f"Found document: {found_document}") 1.3 连接字符串的高级配置 在生产环境中,你可能需要配置连接字符串以包含认证信息、副本集或SSL连接。以下是一个包含用户名和密码的连接字符串示例: from pymongo import MongoClient # 连接字符串示例:包含用户名、密码、认证数据库和主机 uri = "mongodb://username:password@host1:27017,host2:27017/database?authSource=admin&replicaSet=myReplicaSet" client = MongoClient(uri) db = client.get_default_database() # 使用连接字符串中指定的数据库 2. 数据操作基础 2.1 插入操作 MongoDB支持插入单个文档或多个文档。以下是插入多个文档的示例: documents = [ {"name": "Bob", "age": 25, "city": "San Francisco"}, {"name": "Charlie", "age": 35, "city": "Chicago"}, {"name": "Diana", "age": 28, "city": "Boston"} ] # 插入多个文档 result = collection.insert_many(documents) print(f"Inserted document ids: {result.inserted_ids}") 2.2 查询操作 查询是数据库操作中最常见的部分。 pymongo 提供了丰富的查询接口。 2.2.1 基本查询 # 查询所有文档 for doc in collection.find(): print(doc) # 条件查询:年龄大于30 query = {"age": {"$gt": 30}} for doc in collection.find(query): print(doc) 2.2.2 投影(Projection) 投影用于指定返回文档的字段,减少网络传输和内存使用。 # 只返回name和age字段,不返回_id projection = {"_id": 0, "name": 1, "age": 1} for doc in collection.find({}, projection): print(doc) 2.3 更新操作 更新操作用于修改现有文档。 pymongo 提供了 update_one 和 update_many 方法。 # 更新单个文档:将Alice的年龄更新为31 update_result = collection.update_one( {"name": "Alice"}, {"$set": {"age": 31}} ) print(f"Matched count: {update_result.matched_count}, Modified count: {update_result.modified_count}") # 更新多个文档:将所有人的城市更新为"Los Angeles" update_result = collection.update_many( {}, {"$set": {"city": "Los Angeles"}} ) print(f"Matched count: {update_result.matched_count}, Modified count: {update_result.modified_count}") 2.4 删除操作 删除操作用于移除文档。 pymongo 提供了 delete_one 和 delete_many 方法。 # 删除单个文档:删除名为"Bob"的文档 delete_result = collection.delete_one({"name": "Bob"}) print(f"Deleted count: {delete_result.deleted_count}") # 删除多个文档:删除所有年龄小于30的文档 delete_result = collection.delete_many({"age": {"$lt": 30}}) print(f"Deleted count: {delete_result.deleted_count}") 3. 高级查询与聚合 3.1 复杂查询 MongoDB支持多种查询操作符,如 $in 、 $regex 、 $elemMatch 等。 3.1.1 使用 $in 操作符 # 查询名字在列表中的文档 names = ["Alice", "Charlie", "Eve"] query = {"name": {"$in": names}} for doc in collection.find(query): print(doc) 3.1.2 使用正则表达式查询 # 查询名字以"A"开头的文档 query = {"name": {"$regex": "^A"}} for doc in collection.find(query): print(doc) 3.2 聚合框架 聚合框架是MongoDB的强大功能,用于复杂的数据处理和分析。 3.2.1 基本聚合操作 以下示例按城市分组并计算每个城市的平均年龄: pipeline = [ {"$group": {"_id": "$city", "avg_age": {"$avg": "$age"}}} ] for result in collection.aggregate(pipeline): print(result) 3.2.2 多阶段聚合 以下是一个更复杂的聚合示例,先过滤年龄大于25的文档,然后按城市分组并计算平均年龄,最后按平均年龄降序排序: pipeline = [ {"$match": {"age": {"$gt": 25}}}, {"$group": {"_id": "$city", "avg_age": {"$avg": "$age"}}}, {"$sort": {"avg_age": -1}} ] for result in collection.aggregate(pipeline): print(result) 3.3 索引与查询优化 索引是提高查询性能的关键。 pymongo 允许你创建和管理索引。 3.3.1 创建索引 # 在age字段上创建升序索引 collection.create_index([("age", 1)]) # 在name字段上创建降序索引 collection.create_index([("name", -1)]) # 创建复合索引 collection.create_index([("city", 1), ("age", -1)]) 3.3.2 查询计划分析 使用 explain 方法可以查看查询的执行计划,帮助优化查询。 # 查看查询的执行计划 query = {"age": {"$gt": 25}} explain_result = collection.find(query).explain() print(explain_result) 4. 数据安全处理 4.1 认证与授权 MongoDB支持多种认证机制,如SCRAM-SHA-1、X.509证书等。以下是如何在连接字符串中指定认证信息: from pymongo import MongoClient # 使用SCRAM-SHA-1认证 uri = "mongodb://username:password@localhost:27017/?authSource=admin&authMechanism=SCRAM-SHA-1" client = MongoClient(uri) db = client.mydatabase 4.2 加密传输 使用TLS/SSL加密客户端与MongoDB服务器之间的通信: uri = "mongodb://username:密码@localhost:27017/?ssl=true&ssl_certfile=/path/to/cert.pem" client = MongoClient(uri) 4.3 字段级加密(Field-Level Encryption) MongoDB 4.2+ 支持客户端字段级加密,可以在客户端加密敏感数据。以下是一个使用 pymongo 进行字段级加密的示例: from pymongo import MongoClient from pymongo.encryption import ClientEncryption from pymongo.encryption_options import AutoEncryptionOpts import base64 from cryptography.fernet import Fernet # 生成一个密钥(在生产环境中,密钥应安全存储) key = Fernet.generate_key() cipher = Fernet(key) # 定义加密和解密函数 def encrypt_field(value): return base64.b64encode(cipher.encrypt(value.encode())).decode() def decrypt_field(encrypted_value): return cipher.decrypt(base64.b64decode(encrypted_value.encode())).decode() # 配置自动加密选项 key_vault_namespace = "encryption.__keyVault" kms_providers = { "local": {"key": key} } # 定义需要加密的字段 schema_map = { "mydatabase.mycollection": { "bsonType": "object", "properties": { "name": { "encrypt": { "keyId": ["/path/to/key"], # 实际使用中,keyId应来自密钥保管库 "bsonType": "string", "algorithm": "AEAD_AES_256_CBC_HMAC_SHA_512-Deterministic" } } } } } # 创建ClientEncryption对象 client_encryption = ClientEncryption( kms_providers, key_vault_namespace, MongoClient(), bson_codec_options=None ) # 使用自动加密配置创建MongoDB客户端 auto_encryption_opts = AutoEncryptionOpts( kms_providers, key_vault_namespace, schema_map=schema_map ) client = MongoClient('mongodb://localhost:27017/', auto_encryption_opts=auto_encryption_opts) # 插入加密文档 collection = client.mydatabase.mycollection encrypted_name = encrypt_field("SensitiveName") collection.insert_one({"name": encrypted_name}) # 查询并解密 doc = collection.find_one({"name": encrypted_name}) decrypted_name = decrypt_field(doc["name"]) print(f"Decrypted name: {decrypted_name}") 注意 :上述代码是一个简化的示例,实际使用中应使用MongoDB官方提供的加密库和密钥管理服务(如AWS KMS、Azure Key Vault等)。 4.4 输入验证与防止注入 虽然MongoDB的查询语言是JSON格式,不容易像SQL那样注入,但仍需注意输入验证和防止操作符注入。 4.4.1 输入验证 使用Python的验证库如 pydantic 来验证输入数据。 from pydantic import BaseModel, validator class User(BaseModel): name: str age: int city: str @validator('age') def age_must_be_positive(cls, v): if v <= 0: raise ValueError('Age must be positive') return v # 验证输入数据 try: user = User(name="Alice", age=-5, city="New York") except ValueError as e: print(e) 4.4.2 防止操作符注入 避免直接将用户输入拼接到查询中。使用 pymongo 的查询构建器来安全地构建查询。 # 不安全的查询构建(避免) user_input = {"$ne": ""} # 恶意输入 query = {"name": user_input} # 这将匹配所有name字段存在的文档 # 安全的查询构建 safe_input = "Alice" query = {"name": safe_input} 5. 事务处理 MongoDB从4.0版本开始支持多文档事务。以下是如何在 pymongo 中使用事务的示例: from pymongo import MongoClient client = MongoClient('mongodb://localhost:27017/') db = client.mydatabase # 开始一个会话 with client.start_session() as session: # 开始事务 with session.start_transaction(): try: # 在事务中执行多个操作 collection1 = db.collection1 collection2 = db.collection2 # 插入到collection1 collection1.insert_one({"_id": 1, "value": 100}, session=session) # 更新collection2 collection2.update_one({"_id": 1}, {"$inc": {"value": 50}}, session=session) # 提交事务 session.commit_transaction() print("Transaction committed successfully") except Exception as e: # 回滚事务 session.abort_transaction() print(f"Transaction aborted: {e}") 6. 性能优化与最佳实践 6.1 连接池管理 pymongo 默认使用连接池。合理配置连接池大小可以提高性能。 from pymongo import MongoClient # 配置连接池大小 client = MongoClient( 'mongodb://localhost:27017/', maxPoolSize=100, # 最大连接数 minPoolSize=10, # 最小连接数 maxIdleTimeMS=60000 # 连接最大空闲时间(毫秒) ) 6.2 批量操作 批量操作可以减少网络往返次数,提高性能。 # 批量插入 documents = [{"_id": i, "value": i*10} for i in range(1000)] collection.insert_many(documents, ordered=False) # ordered=False允许并行插入 # 批量更新 from pymongo import UpdateOne bulk_update = [ UpdateOne({"_id": i}, {"$inc": {"value": 1}}) for i in range(1000) ] collection.bulk_write(bulk_update) 6.3 使用投影减少数据传输 在查询时,只选择需要的字段,避免传输不必要的数据。 # 只选择需要的字段 projection = {"_id": 0, "name": 1, "age": 1} for doc in collection.find({}, projection): print(doc) 6.4 分页查询 对于大量数据的分页查询,使用 skip 和 limit 可能会导致性能问题。可以使用范围查询来优化。 # 传统分页(可能性能差) page = 2 page_size = 10 docs = collection.find().skip((page-1)*page_size).limit(page_size) # 优化分页:使用范围查询 last_id = None for _ in range(3): # 获取前3页 query = {} if last_id: query["_id"] = {"$gt": last_id} docs = collection.find(query).sort("_id", 1).limit(page_size) for doc in docs: print(doc) last_id = doc["_id"] 7. 错误处理与日志记录 7.1 错误处理 在生产环境中,必须妥善处理数据库操作可能抛出的异常。 from pymongo import MongoClient from pymongo.errors import ConnectionFailure, OperationFailure try: client = MongoClient('mongodb://localhost:27017/', serverSelectionTimeoutMS=5000) client.admin.command('ping') # 测试连接 except ConnectionFailure as e: print(f"Could not connect to MongoDB: {e}") except OperationFailure as e: print(f"Operation failed: {e}") except Exception as e: print(f"An error occurred: {e}") finally: client.close() 7.2 日志记录 使用Python的 logging 模块记录数据库操作日志。 import logging logging.basicConfig(level=logging.INFO) logger = logging.getLogger(__name__) def insert_document(collection, document): try: result = collection.insert_one(document) logger.info(f"Inserted document with id: {result.inserted_id}") return result except Exception as e: logger.error(f"Failed to insert document: {e}") raise 8. 总结 本指南详细介绍了MongoDB与Python集成的各个方面,从基础连接到高级查询优化和数据安全处理。通过遵循这些最佳实践和代码示例,你可以构建高效、安全、可扩展的数据库应用。记住,持续监控和优化是保持应用高性能的关键。