Hugging Face の xet・datasets ダウンロードキャッシュは消していい？

これは何？

Hugging Face のライブラリがファイルをダウンロードする際に使うキャッシュです。xet は Hub の Xet ストレージから取得したデータの断片を保存する領域、datasets/downloads は datasets ライブラリが取得した元ファイルの置き場所です。

なぜ大きくなる？

大きなモデルやデータセットを扱うと、ダウンロード途中のデータや元ファイルがそのまま残ります。データセットは元ファイルと変換後のデータが別々に保存されるため、同じデータで容量を二重に使うこともあります。

削除しても大丈夫？

安全に削除できます。いずれもダウンロード処理のためのキャッシュで、必要になればライブラリが再度取得します。ただし、変換済みのキャッシュがない状態でデータセットを読み込み直すと、もう一度ダウンロードが走るため時間と通信量がかかります。

ヒント

ダウンロード済みのモデル本体（~/.cache/huggingface/hub）はこの項目に含まれません。モデル単位で整理したい場合は「Hugging Face のモデルキャッシュ」のページを参照してください。