llama.cpp versnelt lokale MoE’s; Muse Spark Open vraagt zware Mac-hardware

llama.cpp 0.7.0 maakt lokale MoE-inference praktischer met een GPU-cache voor experts die in hostgeheugen staan, maar verandert ook server-API en standaardpoort. Meta stelt ondertussen de gewichten van Muse Spark Open beschikbaar; ‘op desktop’ betekent in de beschreven route wel twee M5 Ultra Mac Studios.

Voor agentbouwers is er een concrete nieuwe injectieroute om te controleren: HTTP-headers kunnen ongemerkt in modelcontext belanden. En de internationale tijdstandaard UTC wordt vanaf mei 2027 continu, wat vooral een planningssignaal is voor systemen die leap seconds expliciet verwerken.

llama.cpp 0.7.0 cachet MoE-experts op de GPU

llama.cpp 0.7.0 introduceert --moe-cache-mib: een LRU-cache op de GPU voor MoE-experts die primair in hostgeheugen staan. De release meldt daarbij tot circa 2,2× snellere decode wanneer experts zijn offloaded, en zegt dat de cache over meerdere GPU’s kan worden gedeeld. Dat is vooral interessant voor lokale MoE-workloads die niet alle experts permanent in VRAM kwijt kunnen.

De release bevat daarnaast LiliCorr speculative decoding, MTP voor GLM5-Next en ondersteuning voor onder meer Nemotron Super 3.5 VL, EmbeddingGemma 2 en LiquidAI-d1. Voor embeddingmodellen kan de runtime de LM-head overslaan als pooling wordt gebruikt; volgens de release kan dat tot tienmaal minder VRAM vragen. Dit zijn releaseclaims, geen onafhankelijke benchmark op jouw model, quantisatie of geheugenhiërarchie.

Let bij een upgrade ook op compatibiliteitswijzigingen: de server luistert standaard op poort 9931 in plaats van 8080 (Docker houdt intern 8080), de chatlaag is sessiegebaseerd herwerkt en formatted output is nu een array van delen in plaats van één string. Test dus niet alleen tok/s, maar ook reverse proxies, health checks, clients en eigen serverintegraties.

llama.cpp v0.7.0: release notes

Muse Spark Open: grote open gewichten, maar niet lichtgewicht lokaal

Meta heeft de gewichten van Muse Spark Open uitgebracht: een native multimodaal MoE-model met 816 miljard parameters totaal, 42 miljard actieve parameters per token en een contextvenster van één miljoen tokens. Meta positioneert het voor coding, langlopende agenttaken en meerstapsreasoning; de gewichten staan onder de Muse Model License en het model is ook via verschillende hosted aanbieders beschikbaar.

De opmerkelijke lokale route is specifiek: Meta zegt dat het volledige model op twee M5 Ultra Mac Studios kan draaien, samen goed voor een terabyte unified memory. De aankondiging noemt verder ondersteuning in MLX, vLLM, SGLang, TensorRT-LLM, Transformers, llama.cpp en Unsloth. Dat maakt het technisch breder inzetbaar dan alleen Apple-hardware, maar bewijst niet dat het op gewone desktops praktisch past of dezelfde prestatie haalt.

Ook ‘open-weight’ verdient precisie. In de HN-discussie wordt gewezen op de beperkte commerciële licentie, waaronder een afzonderlijke licentieroute voor grote inferenceproviders. De modelkaart en volledige evaluatierapportage waren volgens Meta nog niet volledig beschikbaar in de opgeslagen bron. Behandel Meta’s agent- en safetyclaims daarom als leveranciersclaims; toets licentie, geheugenverbruik, toolgebruik en eigen taakprestaties vóór inzet.

Meta: Muse Spark Open, download- en runtimepaden · HN-discussie over licentie en release

vLLM wil rollout en training bitwise gelijk trekken

vLLM beschrijft een route voor RL-training waarbij de inferencekernels tijdens rollout en training bitwise dezelfde uitkomst moeten geven. De aanleiding is concreet: optimalisaties in serving kunnen logprobs nét veranderen, waardoor een trainingsstap andere kansen herberekent dan de rollout waaruit de data kwam. vLLM zegt daarvoor onder meer FP8-GEMM, sparse-attention Top-K, KV-cachelezingen, MoE-communicatie en CUDA Graph-uitvoering uit te lijnen.

In een eigen proef met DeepSeek-V4-Flash op 32 GB200-GPU’s meldde het project nul verschil gedurende honderd RL-stappen, bij 91,3% van de baseline-rolloutthroughput gemiddeld. Voor Nemotron-3.5-Lightning-30B-A3B meldt het project op een gefilterde SWE-bench Pro-trainingssubset een stabielere reward dan een baseline. Dat zijn geen held-out benchmarks of onafhankelijke reproduceerbare metingen; vLLM schrijft zelf dat de baselines niet uitvoerig zijn getuned en dat end-to-end wall-clockversnelling nog gemeten moet worden.

Het praktische punt voor teams die RL of post-training doen is dus niet meteen een nieuwe standaardconfiguratie, maar een extra regressietest: vergelijk per-token logprobs tussen rollout en training na een weightsync, met de werkelijk gebruikte batchgroottes, graph-modus en parallelisatie. De projectpost verwijst ook naar een open-source skill voor het isoleren van de eerste afwijkende operatie.

vLLM: methode, cijfers en open-source skill

HTTP-headers zijn óók onbetrouwbare agentinvoer

Onderzoekers van Signals Corps analyseerden de responseheaders van 217.097.223 paginaresponses uit 10% van de Common Crawl-crawl van september. Zij vonden op 7.959 sites headers die op AI-systemen lijken te zijn gericht. Het merendeel verwijst naar een andere bron — vaak x-llms-txt — maar 30 sites bevatten volgens de auteurs injectiepogingen. Of een header een model bereikt, hangt volledig af van de fetchtool.

Dat is relevant omdat een gewone browser headers grotendeels verbergt, terwijl een agent ze soms aan het model doorgeeft. De auteurs noemen bijvoorbeeld curl -i, foutpaden en netwerkinspectietools; een body-only fetcher sluit dit specifieke kanaal juist af. In hun oktoberproef merkten Claude-modellen testheaders standaard op zonder ze te volgen, maar volgden ze bij een prompt die de site expliciet gezag gaf in zeven van negen runs. Dat is een kleine, bron-eigen test, geen algemene succesratio voor promptinjectie.

De meest bruikbare actie is inventarisatie: welke fetchtool gebruikt een agent werkelijk, welke status- en headerdata wordt aan het model getoond, en welke rechten heeft dat model daarna? Behandel redirects, Content-Type, robots.txt-fouten en elke van een server afkomstige aanwijzing als onbetrouwbare data. Minimaliseer bovendien shell- en netwerkinspectierechten wanneer die niet nodig zijn. Een tool die headers weglaat is geen complete bescherming tegen pagina-injecties, maar verkleint wel dit specifieke oppervlak.

Onderzoek, meetopzet en toolmatrix · HN-discussie

UTC wordt in 2027 continu — geen nieuwe leap seconds meer

De CGPM/BIPM-resolutie bepaalt dat continue UTC op 20 mei 2027 ingaat. De maximaal toegestane afwijking tussen UTC en de aardrotatieschaal UT1 wordt daarbij uiteindelijk één uur; de resolutie noemt continuïteit voor kritieke infrastructuur, IoT en gedistribueerde systemen als reden. Gebruikers die UT1 nodig hebben, moeten die afwijking via bijvoorbeeld GNSS-berichten of IERS-diensten betrekken.

Dit is vooral een infrastructuurwijziging op lange termijn, geen reden om morgen alle timestampcode te herschrijven. Maar het is wel verstandig om nu te inventariseren waar leap seconds, UTC-UT1-conversies, GNSS-tijd, chronologische sortering of eigen time smearing expliciet zijn gemodelleerd. De resolutie noemt ook een geschatte 30% kans op een negatieve leap second rond 2035; juist zo’n nooit eerder toegepaste correctie zou volgens de tekst een hoog storingsrisico hebben veroorzaakt.

Voor de meeste applicaties blijven goed onderhouden tijdlibraries en OS-tijdservices de juiste grens. Teams in telecom, energie, financiën, satelliet- of meetinfrastructuur doen er verstandig aan hun leveranciers en protocollen tijdig naar het overgangspad te vragen — vooral waar UT1 wél functioneel nodig is.

CGPM Resolution 5: officiële tekst · HN-discussie

Verder nog

• Nemotron 3.5 Super VL krijgt meteen een vLLM-route: vLLM meldt ondersteuning voor NVIDIA’s nieuwe multimodale MoE-model met 120B parameters totaal en 12B actief per token, inclusief MTP voor speculative decoding, continuous batching en prefix caching. De gedocumenteerde NVFP4-voorbeeldconfiguratie richt zich op een GB200 en maximaal 114.688 tokens, dus zie dit als een datacenterdeploypad — niet als bewijs dat het model op gangbare lokale hardware bruikbaar is. vLLM-aankondiging met serveerconfiguratie