run demo on colab bug

[zkailinzhang]

/content/BLIP/models/med.py in forward(self, hidden_states, attention_mask, head_mask, encoder_hidden_states, encoder_attention_mask, past_key_value, output_attentions)
176
177 # Take the dot product between "query" and "key" to get the raw attention scores.
--> 178 attention_scores = torch.matmul(query_layer, key_layer.transpose(-1, -2))
179
180 if self.position_embedding_type == "relative_key" or self.position_embedding_type == "relative_key_query":

RuntimeError: The size of tensor a (3) must match the size of tensor b (9) at non-singleton dimension 0

[weitong8591]

I got the same error

[wchengzzzzz]

/content/BLIP/models/med.py in forward（self， hidden_states， attention_mask， head_mask， encoder_hidden_states， encoder_attention_mask， past_key_value， output_attentions） 176 177 # 取 query“ 和 ”key“ 之间的点积，得到原始的注意力分数。 --> 178 attention_scores = torch.matmul（query_layer， key_layer.transpose（-1， -2）） 179 180 if self.position_embedding_type == “relative_key” or self.position_embedding_type == “relative_key_query”：

RuntimeError：张量 a （3） 的大小必须与非单例维度 0 处张量 b （9） 的大小匹配

Hello, have you solved this problem

[saqura16]

/content/BLIP/models/med.py in forward（self， hidden_states， attention_mask， head_mask， encoder_hidden_states， encoder_attention_mask， past_key_value， output_attentions） 176 177 # 取 query“ 和 ”key“ 之间的点积，得到原始的注意力分数。 --> 178 attention_scores = torch.matmul（query_layer， key_layer.transpose（-1， -2）） 179 180 if self.position_embedding_type == “relative_key” or self.position_embedding_type == “relative_key_query”：
RuntimeError：张量 a （3） 的大小必须与非单例维度 0 处张量 b （9） 的大小匹配

Hello, have you solved this problem

You can first try changing the transformers version to 4.16.0. If it still doesn't work, you can try installing Rust.