[Pickle file dump error]OverflowError: cannot serialize a bytes object larger than 4 GiB

2023.03.07·1 분

작성자

Kim Won Tae

고객의 현장에서 업무 구조와 환경, 그리고 잠재된 불편함을 분석하고, 사용자 경험을 개선할 수 있는 도메인 특화 AI 서비스 및 에이전트를 개발합니다.

대용량의 torch data를 pickle file로 dump하려고할때, 4GB이상의 데이터에 대해 dump error가 발생했다.

해결방법

요때는 dump할때, 아래와 같이 “protocol” parameter를 추가해주면 된다.

with open('/workspace/DBP/data_storage/wontae_kim/슈퍼북/dataset/taxsave_2000000_data.pkl', 'wb') as f:
    pkl.dump(last_data, f, protocol=4)