我正在使用 Pytorch-lightning 2.4.0。在以下代码片段中，lmm是一个继承自nn.Module的类，它是一个huggingface模型和处理器的包装类。
class ICVModel(pl.LightningModule): def __init__(self, lmm, icv_encoder: torch.nn.Module) -> None: super().__init__() self.lmm = lmm self.lmm.requires_grad_(False) self.icv_encoder = icv_encoder self.eos_token = self.lmm.processor.tokenizer.eos_token def forward(self, ice_texts, query_texts, answers, images): query_answer = [ query + answer + self.eos_token for query, answer in zip(query_texts, answers) ] query_images = [img[-setting.num_image_in_query :] for img in images] query_inputs = self.lmm.process_input(query_answer, query_images) query_outputs = self.lmm.model( **query_inputs, labels=query_inputs["input_ids"], )然而，在以下位置引发了设备不匹配错误
query_outputs = self.lmm.model( **query_inputs, labels=query_inputs["input_ids"],)我在lmm.model.forward之外打印了inputs.pixel_values.device、self.device、self.lmm.device的设备信息，然后我得到了
rank[0]: cpu cuda:0 cuda:0rank[1]: cpu cuda:1 cuda:1在Idefics（self.lmm.model）的前向过程中，当我打印inputs.pixel_values.device和self.device时，我得到了
rank[0]: cuda:0 cuda:0rank[1]: cuda:0 cuda:1此外，我还尝试将pixel_values移动到正确的设备上，但在后续的前向传递中，它仍然被移动到错误的设备上。
错误信息：
RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cuda:0 and cuda:1! (when checking argument for argument weight in method wrapper_CUDA__cudnn_convolution)回答：
我已经解决了这个问题。
问题的关键是我在提问时没有展示出来，因为当时我没有意识到bitsandbytes和accelerate库会自动注册pre_forward_hook。
它在每个前向方法中注册了一个AlignDeviceHook（可能是），这与pytorch lightning的设备控制相冲突。当我移除bitsandbytes后，一切正常工作。
