SearXNG：一款自由开源的互联网元搜索引擎深度解析

SearXNG 是一款自由开源的元搜索引擎，聚合多个搜索引擎结果，保护用户隐私，支持自托管。

什么是 SearXNG？

SearXNG 是 SearX 的一个活跃维护的分支（fork），最初由 Adam Tauber 等人开发，现由社区驱动。它是一个元搜索引擎——不维护自己的网页索引，而是将用户查询同时发送给多个上游搜索引擎（如 Google、Bing、DuckDuckGo、Wikipedia 等），然后聚合、去重并排序结果返回给用户。它的核心哲学是隐私优先：不记录搜索历史、不追踪用户行为、不设置永久 Cookie，且所有请求通过后端服务器转发，隐藏用户真实 IP。

核心架构与工作原理

SearXNG 采用经典的客户端-服务器模型：

• 前端：使用纯 HTML/CSS/JavaScript 构建，无外部跟踪脚本，支持深色模式、自定义主题。
• 后端：Python 编写，基于 Flask 框架。核心模块包括：
  • engines：每个上游搜索引擎对应一个引擎模块，定义如何发送请求、解析响应。支持超过 130 个引擎，涵盖通用搜索、图片、视频、新闻、学术、文件、地图等类别。
  • search：接收用户查询，并行调用选中的引擎，收集结果。
  • result：对结果进行去重（基于 URL 和标题相似度）、评分（结合引擎权重和用户偏好）、排序。
  • webapp：Flask 应用，处理路由、会话管理、配置。

关键隐私保护机制

1. 无日志策略：默认不记录 IP、User-Agent、搜索词。管理员可配置为仅记录匿名化访问统计。
2. HTTPS 强制：所有通信加密。
3. Cookie 仅用于功能：例如主题偏好、引擎选择，不用于追踪。
4. 代理转发：后端服务器作为中介，用户 IP 对上游搜索引擎不可见。
5. POST 请求支持：可配置为使用 POST 而非 GET 发送查询，避免搜索词出现在服务器日志或浏览器历史中。

安装与部署

SearXNG 提供多种部署方式：

Docker 快速部署（推荐）

bash
docker pull searxng/searxng
docker run -d -p 8080:8080
-v "${PWD}/searxng-data:/etc/searxng"
-e "SEARXNG_BASE_URL=https://your.domain"
-e "SEARXNG_SECRET_KEY=your-secret"
searxng/searxng

手动安装（Python 虚拟环境）

1. 克隆仓库：git clone https://github.com/searxng/searxng
2. 创建虚拟环境：python -m venv venv
3. 安装依赖：pip install -r requirements.txt
4. 复制并编辑配置：cp searx/settings.yml searx/settings.yml
5. 运行：export SEARXNG_SETTINGS_PATH=searx/settings.yml && python searx/webapp.py

配置要点

• settings.yml：核心配置文件，可修改监听端口、引擎启用列表、代理设置、缓存时间、安全选项等。
• uwsgi.ini：生产环境推荐使用 uWSGI 配合 Nginx，处理并发和静态文件。
• 环境变量：SEARXNG_BASE_URL、SEARXNG_SECRET_KEY（用于会话签名，必须设置）等。

深度功能解析

1. 引擎管理

每个引擎可独立配置：

• disabled：是否启用。
• weight：结果排序权重，范围 0-100。
• timeout：请求超时秒数。
• categories：归属类别（general、images、videos、news、science 等）。
• tokens：部分引擎需要 API 密钥（如 Bing、Wikipedia）。

2. 搜索分类与过滤

SearXNG 支持按类别搜索：

• 通用：默认类别，包含 Google、Bing、DuckDuckGo 等。
• 图片：Google Images、Bing Images、Flickr、DeviantArt 等。
• 视频：YouTube、Vimeo、Dailymotion 等。
• 新闻：Google News、Reuters、BBC 等。
• 学术：Google Scholar、PubMed、ArXiv、Semantic Scholar 等。
• 文件：Google Drive、OneDrive、Box 等（通过特定引擎）。
• 地图：OpenStreetMap、Google Maps 等。
• 音乐：Spotify、SoundCloud、Genius 等。
• IT：GitHub、Stack Overflow、Docker Hub 等。
• 购物：Amazon、eBay、Walmart 等。

用户可在搜索界面下拉选择分类，或直接在 URL 中使用 ?category=images 参数。

3. 结果处理管线

1. 并行请求：所有选中引擎同时发起 HTTP 请求，使用 asyncio 或 threading（取决于配置）。
2. 结果解析：每个引擎模块解析 HTML 或 JSON 响应，提取标题、URL、摘要、图片链接、发布时间等。
3. 去重：基于 URL 规范化（移除跟踪参数、统一协议）和 Levenshtein 距离（标题相似度 >0.9 视为重复）。
4. 评分与排序：
   • 基础分 = 引擎权重 × 位置系数（越靠前结果分越高）
   • 加分项：匹配关键词密度、权威域名（如 .gov、.edu）
   • 减分项：结果过老（超过设定天数）、疑似广告
5. 渲染：生成 HTML 页面，支持无限滚动或分页。

4. 安全与反滥用

• 速率限制：可配置每个 IP 每分钟最大请求数，防止滥用。
• CAPTCHA 集成：支持 hCaptcha、reCAPTCHA 验证。
• 黑名单：可屏蔽特定 User-Agent、IP 段或搜索模式。
• 请求头清理：移除 Referer、Accept-Language 等可能泄露用户信息的头部。

性能优化建议

1. 缓存：开启结果缓存（Redis 或内存），避免重复请求相同查询。默认缓存时间 60 秒。
2. 引擎选择：不必启用所有 130+ 引擎，通常通用搜索 5-8 个引擎即可，图片/视频各 2-3 个。
3. 超时设置：为每个引擎设置合理的 timeout（默认 2-3 秒），避免慢引擎拖慢整体响应。
4. 代理池：如果上游引擎对 IP 有频率限制，可配置多个代理轮换。
5. CDN：使用 Cloudflare 等 CDN 缓存静态资源和搜索结果页面。

与其他隐私搜索方案对比

特性	SearXNG	DuckDuckGo	Startpage	Brave Search
开源	✅ 完全开源	❌ 部分闭源	❌ 闭源	❌ 闭源
自托管	✅ 支持	❌ 不可	❌ 不可	❌ 不可
引擎数量	130+	约 10	1（Google）	约 20
结果质量	可自定义	中等	高（依赖 Google）	中等
隐私政策	无日志	无日志（但有争议）	无日志	无日志
扩展性	高（可写自定义引擎）	低	低	低

社区与生态

• GitHub 仓库：https://github.com/searxng/searxng — 目前 5k+ Star，活跃维护，每月发布新版本。
• 官方实例：https://searx.space 提供全球公共实例列表，用户可直接使用，无需自部署。
• 插件系统：支持通过插件修改搜索结果、添加新引擎、集成第三方服务。
• API 接口：提供 RESTful API，允许其他应用集成搜索功能。

实际使用场景

1. 个人隐私搜索：替代 Google/Bing，避免被追踪。
2. 企业/学校内部搜索：自建实例，统一搜索策略，监控审计。
3. 研究用途：同时查询多个学术引擎（PubMed、ArXiv、IEEE），对比结果。
4. 开发测试：作为搜索引擎聚合器，测试不同引擎的返回格式和延迟。

注意事项

• 法律合规：部分国家/地区对搜索引擎聚合有特殊规定，请确保自托管实例符合当地法律。
• 上游引擎限制：Google、Bing 等可能封锁频繁请求的 IP，需配置代理或降低请求频率。
• 资源消耗：并行请求多个引擎会增加内存和带宽使用，低配 VPS 需谨慎配置。
• 维护成本：自托管需要定期更新版本、监控状态、处理上游引擎接口变化。

结论

SearXNG 是目前最强大、最灵活的开源元搜索引擎之一。它不仅提供了对隐私的极致保护，还通过模块化设计让用户完全掌控搜索体验。对于技术用户、隐私倡导者和需要定制化搜索的组织来说，SearXNG 是一个值得投入的解决方案。它的社区活跃，文档完善，部署门槛低（特别是 Docker 方式），是替代商业搜索引擎的优选。

原文链接：https://github.com/searxng/searxng