开发与运维工具链
Rclone
厂商/来源:
Nick Craig-Wood
核心功能:
“存储界的瑞士军刀”。无论甲方的存储系统多古老、多奇葩，它都能把它挂载成一个本地硬盘。
| 适用场景 | 边缘网关自动备份配置到阿里 OSS、将甲方的古董 FTP 映射为本地目录供 AI 算法读取图片 |
| 架构支持 | 单二进制文件 (支持 Linux, Windows, macOS, FreeBSD, 路由器) |
| 核心机制 | 支持 70+ 种存储协议：包括 S3, FTP, SFTP, WebDAV, SMB/CIFS, 甚至各大网盘（Google Drive, 阿里云盘）。<br> 你只需要一行命令 rclone sync /local/data my_ftp:/remote/data，它就能像 rsync 一样进行增量同步。 |
| 核心价值 | VFS 虚拟文件系统挂载 (Mount)：这是杀手锏。你可以执行 rclone mount my_s3:bucket /mnt/s3。此时，后端的 AI 算法完全不需要改写支持 S3 API 的代码，直接用普通的 open('/mnt/s3/img.jpg') 就能读写云端文件。Rclone 在底层帮你自动处理了复杂的网络请求！ |
| 避坑指南 | [内存与缓存风暴] 1. VFS Cache 内存溢出：使用 rclone mount 处理大量小文件或视频流时，如果没有正确配置缓存策略，Rclone 会吃光边缘盒子的内存导致 OOM。对策：务必加上 --vfs-cache-mode writes 或 full，并限制 --vfs-cache-max-size 1G。 2. 频繁 API 调用被封：如果同步包含几万个小文件的目录（如 Node.js 的 node_modules），会产生天量的 API 请求，不仅慢，还可能被云厂商判定为攻击而封禁账号。对策：先在本地 tar 打包，再用 Rclone 同步大文件。 |
| 推荐搭配 | [Crontab 定时任务] [MinIO] [各种奇葩的甲方遗留存储] |
