有关配置< x-kubernetes-preserve-unknown-fields > 在items字段下和与items同级CRD部署表现差异.

[as-yesterday]

老师们下午好.本次在K8s集群<测试环境部>署milvus-operator后碰到问题,
报错: error: SchemaErrorio.milvus.vialpha1.MiLvus.spec.voLumes): array should have exactly one sub-item

影响范围描述: explain使用时报错(kubectl explain deploy)、已存在应用滚动更新时报错、 调整milvus-operator deploy时报错, 其他暂未测试到. <此时未部署其他milvus相关资源>;

通过调整字段后报错消失，想问的是基于我的环境或者后续升级之后的K8s环境，我的调整是否允许，或者说这样做与github发布的内容比两者的差异是什么。

我的环境描述:
k8s版本: v1.18.9
kubelet版本: 1.21.0
部署方式: kubectl apply -f <附件.yaml>

部署资源: namespace、ServiceAccount、CustomResourceDefinition、Service、ClusterRole、ClusterRoleBinding、Role、RoleBinding， 具体可查看附件文件;

后修复方式距离(详细差异见附件内容):
注: milvus-operator-new.yaml为调整后的文件;
milvus-operator-old.yaml为未调整的文件内容;
milvus-operator-new.yaml
milvus-operator-old.yaml

修改前:
volumes:
items:
type: object
type: array
x-kubernetes-preserve-unknown-fields: true #修改行,此时与items同级;

修改后:
volumes:
items:
type: object
x-kubernetes-preserve-unknown-fields: true#修改行，内容上移, 位于items字段下;
type: array

[yhmo]

看下这个文档：
https://kubernetes.io/releases/version-skew-policy/
这里面有 一句： kubelet must not be newer than kube-apiserver.
你的k8s版本: v1.18.9，kubelet版本: 1.21.0 似乎违反了这条，可能是这个原因引起的。

[as-yesterday]

收到，感谢回复；

抱歉，当时打顺手了;(脑瓜没转过来)

需要更正的信息:
K8s环境为rancher创建，它的组件(kube-proxy|kube-apiserver|kubelet)使用的是相同版本, 我提到的kubelet应该更正为kubectl;
k-hd-dev-rke version
Client Version: version.Info{Major:"1", Minor:"21", GitVersion:"v1.21.0"
Server Version: version.Info{Major:"1", Minor:"18", GitVersion:"v1.18.9"

我看您这边给的链接中有这么一条:
kubectl is supported within one minor version (older or newer) of kube-apiserver
我会尝试使用与apiserver同版本或者相差一个版本重新测试下。再次感谢。

[as-yesterday]

您好，打扰了。
今天下午测试了下kubectl1.18.9部署milvus。报错如下；

还是需要看下字段的调整是否合适.我调整字段的想法和行为是参考这里的内容，还请看下。

差异文件为最初咨询时的内容。

然后主要差异字段是: x-kubernetes-preserve-unknown-fields: true

注: 凡是与items同级的x-kubernetes-preserve-unknown-fields: true都调整到了items字段内;

[AlintaLu]

这是 Kubernetes 的一个已知 bug (详见 kubernetes/kubernetes#96563)，在 v1.18.13 中修复 (CHANGELOG-1.18)。上面的调整是可以的，不过如果条件允许，建议将 Kubernetes 升级到更新的版本以使用 Milvus-Operator。

[as-yesterday]

收到，感谢回复；
短期内升级K8s版本不太可能了，这个动作和影响范围会比较大。

暂时先保持调整后的CRD在K8s 1.18.9用，不过这个问题可能后边也会延续，
假如真的决定升级k8s版本了，因为目前是有这个想法的；

再次感谢。