bitsandbytes 관련 error 해결

--------------------------------------------------------------------------- RuntimeError Traceback (most recent call last) File c:\Users\hyun0\anaconda3\envs\kdb2\lib\site-packages\transformers\utils\import_utils.py:1364, in _LazyModule._get_module(self, module_name) 1363 try: -> 1364 return importlib.import_module("." + module_name, self.__name__) 1365 except Exception as e: File c:\Users\hyun0\anaconda3\envs\kdb2\lib\importlib\__init__.py:127, in import_module(name, package) 126 level += 1 --> 127 return _bootstrap._gcd_import(name[level:], package, level) File <frozen importlib._bootstrap>:1030, in _gcd_import(name, package, level) File <frozen importlib._bootstrap>:1007, in _find_and_load(name, import_) File <frozen importlib._bootstrap>:986, in _find_and_load_unlocked(name, import_) File <frozen importlib._bootstrap>:680, in _load_unlocked(spec) File <frozen importlib._bootstrap_external>:850, in exec_module(self, module) File <frozen importlib._bootstrap>:228, in _call_with_frames_removed(f, *args, **kwds) File c:\Users\hyun0\anaconda3\envs\kdb2\lib\site-packages\transformers\integrations\bitsandbytes.py:11 10 if is_bitsandbytes_available():

...

python -m bitsandbytes Inspect the output of the command and see if you can locate CUDA libraries. You might need to add them to your LD_LIBRARY_PATH. If you suspect a bug, please take the information from python -m bitsandbytes and open an issue at: https://github.com/TimDettmers/bitsandbytes/issues

GitHub - TimDettmers/bitsandbytes: Accessible large language models via k-bit quantization for PyTorch.

 

bitsandbytes

 

 

모델경량화를 위해서 bitsandbytes 라이브러리를 사용하는데 이 에러가 윈도우에서 종종 등장한다.

마침 github 에 나와 똑같은 cuda 버전을 사용하는 유저가 error 에 관련해서 12.1 관련 bitsandbytes 를 직접 다운로드를 하라고 나와 있었다.

위처럼 본인에 상황에 맞는 버전을 다운로드한다. 다른버전은 잘 모르겠다 사실. 나는 운좋게 저유저랑 동일한 쿠다환경을 사용하고 있었을뿐 하나씩 설치 제거 시도해보면 되지않을까 생각한다. 

 

본인이 사용하는 가상환경에 위 파일을 pip install 을 해준다.

아까 분명히 퀀타제이션을 할때 났던 에러가 다시 잘 작동 되는 모양이다.