Hvad er kravene til Kubernetes klusteret

[lilosti]

Vi skal have beskrevet hvad grund vilkårene for det kubernetes setup man skal have er.

[ath88]

Nogle stikord at gå med:

• Kubernetes 1.33+ (ikke testet med tidligere, ymmv)
  • inklusiv CNI (fx cilium eller calico) og CSI (fx Ceph eller longhorn)
  • s3-support (fx ceph eller garage)
• 1 GPU med minimum 80GB ram og 1 GPU med minimum 20GB ram

Ift. mængden af resourcer, så tror jeg at I er bedre rustet til at tælle CPU og memory der bliver 'requested' af Aarhus AI.

Backups er sat op til at skubbe til en remote S3, men det er strengt taget ikke et krav til Kubernetes-clusteret.

Derudover, så bruger vi nogle "støtte"-applikationer, som sagtens kan skiftes ud med andet. Det inkluderer:

• traefik
• cert-manager
• argocd
• authentik
• CloudnativePG
• Redis operator
• loki

Lad mig høre om I tænker at der er andre ting vi burde nævne.

[hypesystem]

Forslag til en konkret tekst:

For at kunne benytte denne dokumentation til opsætning af AarhusAI platformen, skal du sørge for at have et Kubernetes-cluster med følgende opsætning:

1. Kubernetes-clusteret skal have et CNI (contanier network interface) installeret, f.eks. Cilium eller Calico.
   De fleste managede Kubernetes-løsninger har et CNI præinstalleret.
   Vi benytter udelukkende standard NetworkPolicies, så alle CNI'er kan benyttes.

2. Kubernetes-clusteret skal have et CSI (container storage interface) installeret, som udgangspunkt Ceph (via Rook).
   De fleste managede Kubernetes-løsninger har et CSI præinstalleret, men det kan kræve særlig opsætning at understøtte Ceph, der som udgangspunkt understøtter ObjectBucket claims (jf. næste punkt), og derfor er en markant nemmere vej frem.
   Der skal være et default filesystem sat op i clusteret, da platformen forventer at kunne bruge volumes uden navngivet filsystem.

3. Der skal være support for S3-buckets via ObjectBucket claims.
   Hvis man bruger Ceph som CSI kan den konfigureres til at tilbyde filopbevaring over S3-protokollen inde i clusteret.
   Der findes ikke umiddelbart andre løsninger der understøtter ObjectBucket claims out of the box.

4. Mindst én node skal være sat op med en NVIDIA GPU med NVIDIAs k8s-device-plugin.

[hypesystem]

(Der er mange ting vi kan skrue på i platform opsætningen og guiden til opsætning der vil slække lidt på kravene, men som det ser ud lige nu, er det de her krav der skal til, for at guiden virker.)

[ath88]

OpenShift tilbyder muligvis også support for ObjectBucketClaims, via NooBaa, men det er lidt svært at gennemskue: https://docs.redhat.com/en/documentation/red_hat_openshift_container_storage/4.6/html/managing_hybrid_and_multicloud_resources/object-bucket-claim

Måske man dog kan bruge standalone NooBaa, men så skal man konfigurere dét istedet.

[hypesystem]

Jeg synes det er fint at holde kravene lidt stramme lige nu - så kan vi se om nogen tager andre veje, f.eks. Noobaa, og kan så bløde op.