meta 快照目录权限位被 tar 抹平后我用 getfacl 补回来
上周在一台 Ubuntu 22.04 的备用机上恢复 meta 快照,数据量不大,约 8000 个文件、11GB,主要是配置目录和一批工具产物。现象很怪:文件内容完全对得上,但恢复后有几个服务起不来,报权限不足。
喜欢把复杂的事说简单,不喜欢把简单的事说复杂。
上周在一台 Ubuntu 22.04 的备用机上恢复 meta 快照,数据量不大,约 8000 个文件、11GB,主要是配置目录和一批工具产物。现象很怪:文件内容完全对得上,但恢复后有几个服务起不来,报权限不足。
手上有个做知识区的频道,1.8 万条视频,大部分有自动字幕。我想把字幕拉下来做本地全文搜索,环境是 Ubuntu 22.04,yt-dlp 2024 年某个版本(具体版本号没记,用 pip 装的),Python 3.10 调用 subprocess 循环跑。
频道 800 多条视频,我想做一个按时间倒序的归档页。环境是本地 Python 3.11 + yt-dlp,数据来自频道页的 flat 播放列表抓取,单次拿到 800 多条条目,字段只有 id、title、duration、upload_date 这些。
meta 版本 2.4.1,CentOS 7 环境,仓库目录大概 18 万文件、3.2 GB。现象是 `du -sh` 和 `du -sh --apparent-size` 差了近 400 MB,`ls -la` 看不出异常,但 `find . -name ".*"` 会返回一大堆名字像 `.meta_tmp_*` 的东西。数量我数过一次,6000 出头。
meta 目录跑了一年多,版本快照和临时文件混在一起,`ls -l` 已经看不出异常。上周备份前扫了一眼容量,发现 `du -sh` 比 `df` 少了将近 3 个 G,才回头去数文件个数。
上周想把一个 3.2 万条评论的频道评论区做成本地可检索的存档。之前用后台导出拿到的是扁平表,parent 字段被压掉了,回复和主楼混在一层,看不出谁回谁。我改用 yt-dlp 的 `--write-comments` 补抓,环境是 yt-dlp 2024 年某版(具体版本号没记,`yt-dlp --version` 能查),Python 3.11,Linux。
目录结构:meta 仓库在 /data/meta,线上服务读取的是 /srv/meta,中间是一层软链。版本是 meta 0.9.4,机器是 Ubuntu 20.04,目录里约 6.8 万个文件,单文件大多在 2KB 到 40KB 之间。现象是:在 /data/meta 里改文件名之后,服务端读到的还是旧名字,重启进程才恢复。
频道里有一批只适合听的内容:访谈、播客式的长视频、直播回放。我打算只留音轨,用 128k 的 m4a 存着,这样 300 多条视频预计占几十 GB,比存完整视频省得多。环境是 Debian 12,yt-dlp 版本 2024 年下半年某个 release,Python 3.11,输出到一块外接盘。
上周在测试环境回滚一次 meta 快照,版本是 2024.3 的内网构建,数据量不大,目录 6.8GB、约 1.9 万个文件,主体是 JSON 描述文件和一堆按天切分的校验日志。现象是:回滚脚本跑了 4 分钟没结束,磁盘 IO 一直打满,最后 rsync 报了个空间不足退出,但 df 看还有 12GB。
手上这个频道后台导出的评论 CSV,是 2024-11 那版后台的格式,9 万多行,字段里有 create_time 和 update_time,长这样:`2024-11-03T14:22:07Z`。我第一反应是直接 `INSERT` 进 SQLite,按字符串排序看时间线,白天跑起来一切正常,晚上把一周的日增评论拉出来对,发现每天的数据都往前偏了 8 小时——凌晨 0 点到 8 点发的评论全被算
最近在 Youtube 上折腾 Youtube(视频创作与平台生态讨论),工程实践,遇到一个挺典型的情况:同一个做法在文档里看着没问题,换一个环境就要重来一遍。
上个月想给自己频道做一次评论情绪回看,从 YouTube Studio 后台导出评论 CSV。频道大概 8 万条评论,时间跨度两年半,环境是 macOS + Python 3.11,最后要灌进本地 SQLite 做查询。导出文件打开看着没问题,但入库后按天聚合,发现 2023 年 11 月有几天评论数为 0,而那几天明明有视频发布。
上周在测试机上跑一次 meta 配置同步,源目录 1.2GB、约 3.4 万个文件,其中大部分是历史快照。目标机是另一台内网机器,平时靠一条 rsync 命令推过去。现象很简单:同步完跑校验脚本,有 7 个 meta 文件报字段缺失,但源端读出来是全的。
频道运营三年,攒了 800 多条视频,字幕文件一直散在后台。想做个本地搜索,方便查旧选题和观众提问。环境是 macOS + Python 3.11,数据量不大,但格式乱得超出预期。
我们仓库里每个数据表目录下挂一个 meta.yaml,描述字段类型、脱敏级别、下游依赖。表数量不大,四百多张,但单个 meta 文件平均两百多行——下游依赖那个数组占了大头。问题出在评审阶段:有人改一个字段的脱敏级别,PR 里 diff 显示几百行,因为数组顺序被序列化工具重排了。评审的人看不过来,最后基本是点通过。
上周在本地用 Docker Compose 起了一套元数据服务,版本是 0.14.2,数据量不大,单表 200 万行左右。现象是每次改完 schema 再跑校验脚本,服务就会在启动 30 秒后 OOM,内存直接飙到 4G。