频道 5000 条视频我按标题去重,删掉的是不同片子
频道攒到 5000 条视频的时候,我想做一份本地索引,方便按标题搜索。原始数据是用 yt-dlp 拉的信息,`--skip-download --write-info-json`,存成每视频一个 json。第一步很自然:按标题去重,把看起来重复的合并掉。结果删完再抽查,发现被删的里面有一批是完全不同的视频。
频道攒到 5000 条视频的时候,我想做一份本地索引,方便按标题搜索。原始数据是用 yt-dlp 拉的信息,`--skip-download --write-info-json`,存成每视频一个 json。第一步很自然:按标题去重,把看起来重复的合并掉。结果删完再抽查,发现被删的里面有一批是完全不同的视频。
手上有个做知识区的频道,1.8 万条视频,大部分有自动字幕。我想把字幕拉下来做本地全文搜索,环境是 Ubuntu 22.04,yt-dlp 2024 年某个版本(具体版本号没记,用 pip 装的),Python 3.10 调用 subprocess 循环跑。
手上有个频道,2300 多条视频,想按「分类」归档成几个子目录,方便本地检索。环境是 macOS,yt-dlp 2024 年中的版本,元数据拉的是 --dump-json,每条大概 40KB,整个 JSONL 下来接近 90MB。
频道 800 多条视频,我想做一个按时间倒序的归档页。环境是本地 Python 3.11 + yt-dlp,数据来自频道页的 flat 播放列表抓取,单次拿到 800 多条条目,字段只有 id、title、duration、upload_date 这些。
频道有 3200 条视频,做封面归档时我想按缩略图分辨率分类:高清、标清、无封面。原以为 `maxresdefault.jpg` 存在就是高清,直接 `curl -I` 看 200 还是 404。结果跑完发现 1400 多条被判成「无封面」,抽查几条明明在网页上有图。
频道有 400 条视频,我按播放列表抓元数据,跑完之后库里只有 363 条。不是解析失败,yt-dlp 退出码是 0,日志里也没报错。第一次遇到这种情况,我以为是过滤条件写错了。
我的频道有 400 多条视频,之前用 yt-dlp 拉过元数据,存成 JSON 放在硬盘里。想按发布时间排序时发现,直接读 JSON 再排序很慢,于是想导入 sqlite 建个索引。数据库版本是 sqlite 3.37,系统是 Ubuntu 22.04,数据量不大,但字段类型没想清楚。
上周想把一个 3.2 万条评论的频道评论区做成本地可检索的存档。之前用后台导出拿到的是扁平表,parent 字段被压掉了,回复和主楼混在一层,看不出谁回谁。我改用 yt-dlp 的 `--write-comments` 补抓,环境是 yt-dlp 2024 年某版(具体版本号没记,`yt-dlp --version` 能查),Python 3.11,Linux。
给一个更新了三年的频道做字幕检索,本地已经用 yt-dlp 拉下了约 900 条 vtt,总时长加起来 60 多小时。做完索引后,用播放器跳转到字幕命中的时间点,画面总是比字幕慢两三秒,而且长视频偏得更明显。
上周想给频道做一次归档:1200 多条视频,从 2019 年到现在,打算按年份分目录,方便后面查素材。环境很普通,macOS 上用 zsh,数据是之前用 yt-dlp 拉下来的 JSON 元数据加视频文件,单个 JSON 几十 KB,总量不到 200 MB,不算大数据。
环境是本机 SQLite 3.45,数据是频道后台导出的评论 CSV,约 6.2 万行,字段有 video_id、author、text、published_at、like_count。想做的事很简单:按视频统计评论条数和平均点赞,挑出互动最集中的 20 条视频。
频道里有一批只适合听的内容:访谈、播客式的长视频、直播回放。我打算只留音轨,用 128k 的 m4a 存着,这样 300 多条视频预计占几十 GB,比存完整视频省得多。环境是 Debian 12,yt-dlp 版本 2024 年下半年某个 release,Python 3.11,输出到一块外接盘。
我做的是把频道后台导出的视频列表(约 400 条,CSV,带播放量、时长、发布时间)和自己的发布记录对账,想看看哪几条表现异常。环境是 macOS 本地,Python 3.11 + pandas 2.1,数据量不大,但字段很脏。
手上这个频道后台导出的评论 CSV,是 2024-11 那版后台的格式,9 万多行,字段里有 create_time 和 update_time,长这样:`2024-11-03T14:22:07Z`。我第一反应是直接 `INSERT` 进 SQLite,按字符串排序看时间线,白天跑起来一切正常,晚上把一周的日增评论拉出来对,发现每天的数据都往前偏了 8 小时——凌晨 0 点到 8 点发的评论全被算
上个月我把频道从开通到现在的评论都导了出来,大约 6 万条,存成 NDJSON,每行一条。本来只想统计每月评论数,结果 jq 跑完发现总数比后台显示的少了 400 多条。
最近在 Youtube 上折腾 Youtube(视频创作与平台生态讨论),工程实践,遇到一个挺典型的情况:同一个做法在文档里看着没问题,换一个环境就要重来一遍。
最近在 Youtube 上折腾 Youtube(视频创作与平台生态讨论),工程实践,遇到一个挺典型的情况:同一个做法在文档里看着没问题,换一个环境就要重来一遍。
我自己的频道不算大,400 出头条视频。前阵子想把所有封面拉下来做个本地索引页,方便自己回顾哪类选题的点击率更高。结果第一批处理完就发现问题:封面图从后台拿到的 jpg,单张平均 180KB,400 张堆在一起 70MB 左右,塞进一个静态页面里,滚动时明显卡顿。
上个月想给自己频道做一次评论情绪回看,从 YouTube Studio 后台导出评论 CSV。频道大概 8 万条评论,时间跨度两年半,环境是 macOS + Python 3.11,最后要灌进本地 SQLite 做查询。导出文件打开看着没问题,但入库后按天聚合,发现 2023 年 11 月有几天评论数为 0,而那几天明明有视频发布。
场景:自己的频道,2.1 万条评论,从 YouTube Data API v3 的 commentThreads 分页拉下来,存成 JSON 分批落盘。环境是 macOS + Python 3.11,目标是把它们塞进本地 SQLite,做按视频、按时间、按作者聚合,顺便试一下 LIKE 能不能撑住中文搜索。数据量不大,单表 2 万行,理论上几秒钟的事。