Hugging Face xet·datasets 다운로드 캐시 정리법

무엇인가요

Hugging Face 라이브러리가 파일을 받을 때 쓰는 보조 캐시입니다. xet은 Xet 저장소 방식으로 파일을 조각 단위로 받을 때 쓰는 캐시이고, datasets/downloads는 datasets 라이브러리가 데이터셋을 처리하기 전에 받아 둔 원본 파일입니다.

왜 이렇게 커지나요

모델이나 데이터셋을 받을 때마다 원본 조각이 남고, 같은 데이터셋을 다른 버전으로 여러 번 받으면 그만큼 쌓입니다. 큰 데이터셋을 한 번만 받아도 원본과 가공본이 둘 다 남아 금방 커집니다.

삭제해도 되나요?

안전합니다. 이미 받아서 쓸 수 있게 만든 모델과 데이터셋은 그대로 남고, 같은 파일을 다시 받아야 할 때만 다운로드가 다시 일어납니다. 학습이나 다운로드가 진행 중일 때는 정리를 미루세요.

팁

HF_HOME 환경 변수를 바꿔 썼다면 캐시가 ~/.cache/huggingface가 아닌 다른 곳에 있을 수 있습니다. 실제 위치를 먼저 확인하세요.