请教：请问gemini中GPT示例代码中的placement为cuda、cpu、auto、const分别代表什么意思啊 #4029
Unanswered
yangyang-win
asked this question in
Community | Q&A
Replies: 1 comment 1 reply
-
|
cuda是指运算都在GPU，cpu是会loadoff optimizer到cpu，auto是只根据内存使用自行判断是否loadoff, const限制cuda可使用的大小是512M |
Beta Was this translation helpful? Give feedback.
1 reply
-
|
谢谢您的回复，不过我还是有一些疑问。1、这个auto策略只是判断是否卸载到cpu吗，我的意思是它只负责判断卸载（即此时等于CPU策略）或者不卸载（此时等于GPU策略）2、我看对应的文档表示的是auto策略会在运行过程中动态调整GPU中的内存占用，但是我实际运行的时候发现auto和cpu两种策略的内存使用情况并无太大差别。这是什么原因呢 |
Beta Was this translation helpful? Give feedback.
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Uh oh!
There was an error while loading. Please reload this page.
-
请教：请问gemini中GPT示例代码中的placement为cuda、cpu、auto、const分别代表什么意思啊，是代表将激活卸载到对应的设备上吗，但是我通过运行cpu策略和auto策略发现两者的内存使用情况非常类似，几乎是一样的，有大佬解答一下疑惑吗，看源码感觉太复杂了
Beta Was this translation helpful? Give feedback.
All reactions