Mijn HomeLab: Professionele Speeltuin voor IT-avonturiers

Zelf een homelab bouwen: grip op je data én leren door te doen

Het idee dat mijn data ergens in de cloud zweeft en dat ik afhankelijk ben van externe diensten, heb ik nooit prettig gevonden. De grootste beperking van betaalde diensten is dat ik altijd vastzit aan hun voorwaarden en platform. Toen ik klaar was met al die frustrerende wijzigingen en beperkingen, besloot ik de stap te wagen en mijn eigen plek te bouwen waar ik de baas ben. Na lang zoeken op het internet kwam ik uit bij het bouwen van mijn eigen homelab-server.

De meeste homelabs die online aangeboden worden, zijn extreem duur. Vooral als je voor zwaardere grafische kaarten kiest, kunnen de kosten al snel boven de €2000 uitkomen. Veel van die dure homelabs draaien zware lokale LLM’s, terwijl dat niet altijd van toegevoegde waarde is voor de projecten waar mensen écht mee bezig zijn. Groter is niet altijd beter.

Mijn setup kostte in totaal ongeveer €1000. Naast dat ik hiermee geld bespaar, heb ik ervoor gezorgd dat het systeem onopvallend op de achtergrond draait, weinig onderhoud vraagt en op een ruimte van 10m² past.

Het bouwen van mijn eigen homelab geeft me niet alleen de vrijheid om onbeperkt te experimenteren, maar heeft me ook veel geleerd over hoe hardware en software samenkomen en elkaar versterken.

In deze blog geef ik een kijkje achter de schermen: welke hardwarekeuzes ik maakte, welke uitdagingen ik tegenkwam en hoe de uiteindelijke setup presteert. Aan het einde deel ik concrete benchmarkcijfers die laten zien wat lokale AI echt kan.

Wat is een homelab, en waarom zou je het willen?

Een homelab is een server die draait op je eigen hardware en software. Zo’n server gebruik je niet alleen voor lokale AI-modellen, maar bijvoorbeeld ook voor het hosten van je eigen website, het automatiseren van je huis of als 24-uurs VPN-server om anoniem te surfen op het web.

Het grootste voordeel is dat je privacy en data veilig zijn, omdat alles binnen je eigen thuisnetwerk blijft. Daarnaast hoef je je geen zorgen te maken over verborgen kosten.

Wat kost het om mijn homelab-server te draaien?

Mijn homeserver draait het grootste deel van de tijd idle of op lichte taken. Bij idle of lichte taken ligt het geschatte verbruik, op basis van internetervaringen, tussen de 25 en 60 watt. Het maximale verbruik bij zware belasting is geraamd rond de 170W. Dus zelfs als je ‘m 24/7 laat draaien, vallen de kosten eigenlijk reuze mee:

Voorbeeldberekening (reëel scenario):

• Zware belasting (maximaal, alleen bij stresstests):
  170W × 24u × 30 dagen = 122,4 kWh → 122,4 × €0,30 = €36,72 per maand
• Realistisch dagelijks gebruik (overdag lichte load, ‘s nachts idle):
  60W × 8u × 30 dagen = 14,4 kWh → 14,4 × €0,30 = €4,32 per maand
  45W × 16u × 30 dagen = 21,6 kWh → 21,6 × €0,30 = €6,48 per maand
  Totaal geraamde kosten = €10,80 per maand

Kortom: Met moderne hardware valt het stroomverbruik ontzettend mee. Moderne pc’s en servers schakelen vanzelf naar energiezuinige idle-modus wanneer er weinig gebeurt. De meeste slijtage (behalve de fans) komt juist door het vaak aan- en uitzetten. Dat levert meer thermische stress op dan gewoon laten draaien.

Kritische blik op berekening
Het verbruik van een homelab-server kun je niet exact met alleen internetonderzoek vaststellen. In de praktijk hangt het af van je hardware en setup (airflow, cable management, enz.). Meer weten hoe je hardware setup kan verbeteren? Lees dan het artikel van EPA: EPA Energy Saving Guidance voor datacenters.

Wil je het echt precies weten? Koop een wattmeter en meet je eigen setup. Dan weet je 100% zeker wat jouw homelab aan stroom trekt.

Foto 1: Mijn homelab-server: compact, stil en volledig in eigen beheer.

Mijn hardware: krachtig, betaalbaar en efficiënt

Voor mijn homelab wilde ik een setup die betrouwbaar lokale AI-modellen draait en past in mijn kamer. Door het beperkt aantal vierkante meters heb ik gekozen voor een headless-server: een server die geen beeldscherm nodig heeft en die ik op afstand bedien via SSH (Secure Shell).

Om kosten te besparen, heb ik gekozen voor een Linux-systeem. Mijn server draait op Ubuntu Server 24.04.2 LTS (Long Term Support). Het grote voordeel van Linux: open source (dus gratis), meer vrijheid, stabieler dan Windows, geen bloatware en veiliger dankzij centraal pakketbeheer (één bron voor applicaties, in plaats van allerlei losse downloads van onbekende bronnen).

Hardware specificaties:

• Case: Chieftec Visio GM-30B-TG, tempered glass, zes 120mm A-R fans
• Moederbord: Asus ROG Strix B650E-F
• CPU: AMD Ryzen 5 7500F
• RAM: 64GB DDR5 (Kingston FURY Beast Black, 2×32GB, 6000MHz)
• GPU: RTX 3060 12GB VRAM
• Koeling: be quiet! Pure Rock Pro 3
• Dataopslag: WD Black SN770 1TB NVMe SSD (voor /root en /home) + 120GB SSD (voor OS of /boot)

Foto 2: Systeem- en gebruikersdata gescheiden opgeslagen voor makkelijker beheer en veiligere back-ups.

Een paar kleine notities:

• De koeling betreft luchtkoeling, wat minder foutgevoelig is dan een AIO (waterkoeling), goedkoper en bij een defecte fan zorgen de casefans nog voor passieve koeling.

• Ik heb gekozen voor twee aparte schijven om het systeem schoon en overzichtelijk te houden. Op de 120GB SSD draait alleen het OS (Linux); de 1TB NVMe gebruik ik voor experimenten. Zo kan ik die schijf makkelijk wissen zonder het OS opnieuw te hoeven installeren als het systeem vervuild raakt met applicaties.

Foto 3: Ingelogd op mijn server via SSH. Voor de veiligheid is mijn IP-adres afgeschermd.

Foto 4: Verschil in geheugengebruik – Linux gebruikt slechts 4% van het geheugen, terwijl Windows 43% gebruikt.

Moederbord: de basis van je systeem

Het moederbord is het centrale punt van je server. Voor dit project koos ik de Asus ROG Strix B650E-F: niet de duurste, wel betrouwbaar en voorzien van alle essentials. Mijn advies: kies altijd voor een bekend merk zoals Asus of Gigabyte en vermijd het goedkope segment—dat geeft meer zekerheid.

Waar lette ik op bij de keuze?

• Formaat: ATX biedt meer ruimte, meer poorten en is vaak goedkoper per aansluiting/functie dan kleinere modellen (zoals micro-ATX of mini-ITX).
• Chipset: Gebruik je een AMD-CPU? Zorg dat je moederbord de juiste chipset ondersteunt.
• Aansluitingen: Gaming-moederborden zijn prima geschikt voor het bouwen van servers en maken je build veelzijdiger. Server-specifieke moederborden zijn vaak overkill voor een homelab en vele malen duurder dan een simpele gaming-moederbord.
• Handige features: BIOS Flashback en debug-lights maken troubleshooting veel makkelijker.

Foto 5: Mijn oude Asrock-moederbord – uiteindelijk vervangen door Asus vanwege problemen met bios en betrouwbaarheid. Goedkoop bleek duurkoop.

Foto 6: De nieuwe hardware in aanbouw – Asus moederbord en be quiet! koeling. Alles zelf samengesteld en opgebouwd.

GPU, VRAM, CPU, RAM en dataopslag: balans is alles

Voor de inferentie met (grote) AI-modellen bepaalt de GPU – en vooral de hoeveelheid VRAM – de prestaties. De CPU is vooral belangrijk voor taken buiten de GPU, zoals data inladen, pre- en post-processing en systeembeheer.

• GPU/VRAM: In de wereld van AI is ‘VRAM king’. Meer VRAM betekent dat je grotere modellen kunt draaien en meer mogelijkheden hebt. Voor de meeste dagelijkse toepassingen is 12GB VRAM (zoals bij mijn RTX 3060) voldoende. Als je de keuze hebt, dan is 16GB VRAM aan te raden voor meer snelheid en extra speelruimte. Houd er wel rekening mee dat zo’n GPU gemiddeld €200 duurder is én dat je gebonden bent aan NVIDIA-videokaarten: CUDA werkt namelijk alleen op NVIDIA en niet op AMD, dus voor GPU-versnelling zit je vast aan NVIDIA.

12GB VRAM in combinatie met 64GB RAM is voldoende voor 14B modellen; met 16GB VRAM kun je nog net wat soepeler en sneller werken, zonder direct veel meer stroom te verbruiken.

• CPU: De Ryzen 5 7500F is krachtig genoeg voor modellen tot 14B. Extreme multitasking of zware computertaken is niet mogelijk, maar voor thuisgebruik is dit meer dan voldoende.
• RAM: 64GB DDR5 is future-proof, vooral als je meerdere modellen of Docker-containers tegelijk draait. Elke container gebruikt geheugen, dus genoeg RAM voorkomt vertraging.
• Dataopslag: Snelle SSD’s zorgen voor korte laadtijden bij grote modellen of datasets. Het OS op een aparte schijf maakt herstel en upgrades eenvoudiger en houdt data gescheiden.

Met deze setup kun je bovendien gemakkelijk upgraden: als je ooit meer AI-power wilt, hoef je alleen de videokaart (GPU) te vervangen om echt grote stappen te maken in inferentieprestaties.

Benchmark: llama.cpp vs. Ollama

Om de prestaties van mijn homelab te meten, heb ik hetzelfde 14B-model getest met zowel llama.cpp als Ollama.

llama.cpp (Qwen2.5 14B):

• Performance: 6,5 tokens per seconde
• Hybrid inferentie: 8 layers op GPU (met CUDA ingeschakeld), rest op CPU (met OpenBlas ingeschakeld) – geoptimaliseerd voor 12GB VRAM limiet.
• 8-bit kwantisatie (Q8_0: model verkleining voor minder resources, maar iets minder accuraat).
• Voorbeeld: 111 tokens in 15,7 seconden.

Ollama (Qwen2.5 14B):

• Performance: Totale responstijd van 1,27 seconde voor een korte prompt.
• 4-bit kwantisatie (Q4_0).
• Let op: Ollama toont standaard geen tokens/sec, maar is bij korte prompts merkbaar sneller en direct bruikbaar voor interactief gebruik.

Conclusie:
Waar llama.cpp meer inzicht geeft in de prestaties per token, focust Ollama op snelheid en gebruiksgemak. In de praktijk werkt Ollama sneller en prettiger voor kortere prompts, wat ideaal is voor lokale experimenten. Let wel: de gekozen kwantisatie heeft veel invloed op de snelheid—een Q4-kwantisatie blijkt vaak de sweetspot tussen performance en modelgrootte.

Eindoordeel

Deze build heeft mij veel meer geleerd dan alleen hardware in elkaar zetten. Ik kan nu kritisch kiezen welke technologie echt nodig is, ik begrijp hoe hardware en software samenwerken, los problemen zelfstandig op en weet precies hoe ik veilig en efficiënt kan optimaliseren. Het beste van alles? Ik durf nu gewoon nieuwe dingen uit te proberen, omdat ik weet dat ik het wel weer werkend krijg op mijn eigen persoonlijk systeem als het misgaat.

Vragen of interesse?
Heb je vragen over mijn homelab, wil je meer weten over mijn aanpak of ben je benieuwd wat ik voor jouw organisatie kan betekenen? Neem gerust contact op via mijn website. Ik denk graag mee.