频道 5000 条视频我按标题去重,删掉的是不同片子
频道攒到 5000 条视频的时候,我想做一份本地索引,方便按标题搜索。原始数据是用 yt-dlp 拉的信息,`--skip-download --write-info-json`,存成每视频一个 json。第一步很自然:按标题去重,把看起来重复的合并掉。结果删完再抽查,发现被删的里面有一批是完全不同的视频。
喜欢把复杂的事说简单,不喜欢把简单的事说复杂。
频道攒到 5000 条视频的时候,我想做一份本地索引,方便按标题搜索。原始数据是用 yt-dlp 拉的信息,`--skip-download --write-info-json`,存成每视频一个 json。第一步很自然:按标题去重,把看起来重复的合并掉。结果删完再抽查,发现被删的里面有一批是完全不同的视频。
去年秋天写的一段动机,44.1kHz、24bit 的 WAV,四十来秒,两把吉他加一个手鼓。我想把它裁成八小节循环,丢进采样器里当练习的背景。用 Audacity 3.4 直接选区间、复制、粘贴,拼了四遍,导出。听第一遍觉得没问题,戴上耳机走两圈,接缝处总有一个「咔」的尾巴,像多了一下军鼓。
手机里攒了两年多的语音备忘,一共 437 条,,全是随手哼的动机、几句词、一段和弦走向的口述。文件名是 iOS 默认的「新录音 12.m4a」这种,时间一长完全不知道哪条是什么。想找「那个下行的副歌旋律」只能一条条点开听,听到第十条就烦了。
频道有 3200 条视频,做封面归档时我想按缩略图分辨率分类:高清、标清、无封面。原以为 `maxresdefault.jpg` 存在就是高清,直接 `curl -I` 看 200 还是 404。结果跑完发现 1400 多条被判成「无封面」,抽查几条明明在网页上有图。
我写歌的方式很土:脑子里先冒出来一个八小节左右的东西,用手机录下来,之后堆在 `~/motif/` 里。攒到 180 多个 m4a 之后,问题来了——想找「大概 90 BPM 左右、偏小调的那种」,只能一个个点开听。我试过按日期排、按调性排,都不对路,因为我找动机的时候脑子里第一个浮现的往往是速度感,不是调。
给一个更新了三年的频道做字幕检索,本地已经用 yt-dlp 拉下了约 900 条 vtt,总时长加起来 60 多小时。做完索引后,用播放器跳转到字幕命中的时间点,画面总是比字幕慢两三秒,而且长视频偏得更明显。
写歌的时候,手机里会攒下一堆 10 秒到 1 分钟的动机录音,大多是随手哼的、吉他扫两下的。攒到 170 多条之后,我发现自己根本找不到想要的那条——文件名是 `2024-03-12 21.33.05.m4a` 这种,按时间排是唯一的线索,但我要找的是“那条在 D 调上、有点闷的扫弦”。
上周想给频道做一次归档:1200 多条视频,从 2019 年到现在,打算按年份分目录,方便后面查素材。环境很普通,macOS 上用 zsh,数据是之前用 yt-dlp 拉下来的 JSON 元数据加视频文件,单个 JSON 几十 KB,总量不到 200 MB,不算大数据。
上个月我把频道从开通到现在的评论都导了出来,大约 6 万条,存成 NDJSON,每行一条。本来只想统计每月评论数,结果 jq 跑完发现总数比后台显示的少了 400 多条。
手上有八个现场版,都是同一首歌,来自不同年份的 bootleg。场景:本地存了 1.2GB 的 flac,采样率参差不齐(44.1k 和 48k 混着),音量差异大到我得不停拧旋钮——从 -14 LUFS 到 -8 LUFS 都有。想对比编曲和即兴段落,结果每次切歌都要调音量,比来比去耳朵先累了。
我自己的频道不算大,400 出头条视频。前阵子想把所有封面拉下来做个本地索引页,方便自己回顾哪类选题的点击率更高。结果第一批处理完就发现问题:封面图从后台拿到的 jpg,单张平均 180KB,400 张堆在一起 70MB 左右,塞进一个静态页面里,滚动时明显卡顿。
去年冬天整理了一份 40 首的深夜歌单,全是慢歌和器乐,从老爵士到后摇。问题是:手机连着蓝牙音箱放的时候,有的歌一出来就炸,有的要开到 80% 音量才听清。不是音量旋钮的问题,是这些歌本身的响度差太多。
手上有个讲嵌入式的小频道,订阅不到两万,三年下来 214 个视频。我想做一件事:把每期视频的字幕全导下来,本地建个索引,写脚本时按关键词查自己以前讲过什么,省得重复讲同一个概念。环境是 Win11 + Python 3.11,网络走代理,字幕源用 yt-dlp 拉自动字幕,数据量不大,214 个 vtt 加起来 6MB 左右。
上个月给一个独立游戏做配乐,手头只有一把面单木吉他,没有拾音器。环境是十平米的卧室,墙角堆着纸箱,用手机贴着音孔三十厘米处录了十二条轨,每条一分半左右,44.1kHz、16bit、单声道。回放第一遍就听出来问题:低频轰成一团,200Hz 附近有个明显的驻波,高频又闷,扫弦的时候像隔着一层棉被。
去年整理硬盘,翻出 2019 到 2022 年攒的三百多段现场录音,大多是手机和一支老 Zoom 录的,格式杂:m4a、wav、还有几段 96kHz 的。想统一成能直接扔进播放器、也能丢进 DAW 随手剪的格式,就用 ffmpeg 写了个循环。
我在 2023 年底开始把自己频道的历史视频做本地归档,起因是有一个 2019 年的视频被平台判定为「不适合广告」,申诉没通过,我不想再赌第二次。环境是 macOS 14,yt-dlp 2024.04 版本,频道一共 180 多条视频,总时长大约 40 小时,最高 1080p。