본문 바로가기

error

[Error] RuntimeError: Failed to import transformers.integrations.bitsandbytes because of the following error (look up to see its traceback): CUDA Setup failed despite GPU being available. Please run the following command to get more information: LLM을 finetuning할 경우, 보통은 GPU가 있는 서버에서 돌리는 것이 현실적이다. llama 2의 경우도 가장 작은 경우가 70억 parameter를 가지므로, GPU가 있는 서버에서 진행하게 되고, GPU 메모리 사용을 줄이고 inference 속도를 높이기 위해 quantized 된 모델을 사용하게 된다. 리눅스에서 finetuning한 모델을 windows에 옮겨서 inference를 진행하려 했을 때 다음과 같은 Error를 마주했다. [Error] RuntimeError: Failed to import transformers.integrations.bitsandbytes because of the following error (look up to see its traceback): C.. 더보기
[Error 확인]Skimage, Canceled future for execute_request message before replies were done Object detection을 위해서, 노트북에 pytorch를 성공적으로 설치했고(pytorch 1.13.1), IDE로 VSCode를 이용 중이다. Pytorch를 loading 해두고 Object detection을 위한 MS COCO dataset을 분석하기 위해서 여러가지 library를 불러 오는 과정에서 Skimage library를 Loading하는 과정에서 위와 같은 문제점을 발견했다. 이런 문제는 처음이라, Googling을 진행했는데, stack overflow(https://stackoverflow.com/questions/75353784/how-could-i-fix-the-wrong-message-canceled-future-for-execute-request-message-b).. 더보기