Hugging Face xet 和数据集下载缓存能删吗
可以放心删会自动重新生成;Thermo 直接删除。
位置
~/.cache/huggingface/xet~/.cache/huggingface/datasets/downloads
这是什么
xet 目录是 Hugging Face 新一代 Xet 存储后端在下载时使用的本地分块缓存;datasets/downloads 则是 datasets 库下载数据集时保存的原始压缩包和文件,之后它会把这些原始文件处理成可直接加载的格式另行缓存。
为什么会这么大
下载大模型或大数据集时,xet 会缓存大量数据块,方便断点续传和重复下载;datasets 在处理完成后通常不会删除原始下载文件,相当于同一份数据存了两遍。
能删吗?删了会怎样
安全。这些都是下载过程中的中间产物:模型本体在 hub 目录,处理好的数据集也在 datasets 缓存的其他位置。删掉后最多是下次重新下载同一份数据时需要从网络重新拉取。
小提示
真正的大头通常是 hub 目录里的模型,可以看「Hugging Face 模型缓存」那一项按模型逐个判断。
先看看占了多少
du -sh "$HOME/.cache/huggingface/xet" "$HOME/.cache/huggingface/datasets/downloads" 2>/dev/null手动删除
在「终端」里执行。删除不可撤销,执行前请确认路径。
rm -rf "$HOME/.cache/huggingface/xet"/*
rm -rf "$HOME/.cache/huggingface/datasets/downloads"/*