Metal-kernels geven speculative decoding op Apple Silicon nieuw leven; CPR-datalek treft circa 8,8 miljoen registraties

Nieuwe Metal-kernels in llama.cpp maken speculative decoding op Apple Silicon volgens een bijdrager eindelijk sneller dan gewone decoding. In Denemarken meldt de CPR-administratie ongeautoriseerde toegang tot gegevens van circa 8,8 miljoen geregistreerden via misbruik van de legitieme zoektoegang van een bedrijf. Voor lokale agents zijn er daarnaast een open 32B-preview met hybride attention en een Cloudflare-bèta die live webzoekopdrachten via AI Gateway bundelt.

Metal-kernels maken speculative decoding op een Mac volgens maker weer lonend

Een bijdrage voor llama.cpp met nieuwe Metal-kernels voor speculative decoding is gemerged. De auteur meldt op een M3 Ultra maximaal 110 tok/s, tegenover 32,1 tok/s zonder speculation — tot 3,4× sneller. Georgi Gerganov nuanceert in een reactie dat de grootste winst bij dichte modellen ligt; MoE-modellen zouden minder profiteren. Meting en aankondiging · nuance over MoE

Dat is praktisch relevant voor lokale Mac-inference: speculative decoding had op dit pad volgens de auteur eerder juist vertraging opgeleverd. Een gemergede kernelroute kan dus een bestaande Mac-opstelling veranderen zonder een ander model te hoeven kiezen.

De cijfers zijn nog geen algemene Mac-benchmark. Ze komen van één auteur en één M3 Ultra; model, quantisatie, promptvorm, draftmodel en acceptatiegraad bepalen allemaal hoeveel een workload werkelijk wint. Test na een update daarom niet alleen decode, maar ook prefill, tokenpariteit, VRAM-/geheugendruk en de uitkomstkwaliteit van agenttaken.

Deense CPR-administratie: ongeautoriseerde toegang tot circa 8,8 miljoen registraties

De Deense CPR-administratie meldt een ernstig beveiligingsincident. Volgens de officiële verklaring zijn onbevoegden via misbruik van de rechtmatige toegang van een Deens bedrijf bij onder meer namen, adressen en CPR-nummers van circa 8,8 miljoen geregistreerden gekomen. Namen en adressen van personen met naam- en adresbescherming zouden buiten deze ongeautoriseerde toegang zijn gebleven. Officiële verklaring · HN-discussie

De CPR-administratie heeft de toegang van het bedrijf stopgezet, zegt de gebeurtenis met specialisten en autoriteiten te onderzoeken en heeft de zaak gemeld bij de Deense toezichthouder en politie. Dat maakt dit vooral een scherp voorbeeld van het risico rond zakelijke zoekrechten op een centrale persoonsregistratie: legitieme toegang is zelf een hoogwaardig aanvalsoppervlak.

De beschikbare verklaring specificeert niet welke gegevens per persoon precies zijn ingezien, hoe lang de toegang misbruikt kon worden of wat de directe gevolgen voor betrokkenen zijn. Er is ook geen basis om hieruit gevolgen voor Nederlandse registers af te leiden.

Agens Volundr zet hybride attention in voor een kleinere langetermijn-KV-cache

Het kleine team achter Agens Volundr 32B Preview heeft een Apache-2.0-model uitgebracht met 72 lagen, waarvan er volgens de aankondiging slechts 18 een KV-cache bijhouden. De overige lagen gebruiken Kimi Delta Attention of een eigen compressed-sparse-attentionvariant; de maker positioneert dat als route om 262K context praktischer te maken. Er is een INT4-variant van 31,7 GiB en een eigen SGLang-build. Aankondiging, architectuur en modelroutes

Voor lokale serving is vooral de expliciete afbakening nuttig. De getoonde INT4-route vraagt nog steeds een 48GB-GPU, terwijl stock SGLang en vLLM het model volgens de maker nog niet laden; GGUF/llama.cpp staat slechts op de planning. Dat is dus geen nieuwe algemene 32B-desktopoptie, maar een experimentele serverroute voor wie die hardware al heeft.

De benchmarktabellen en snelheden zijn volledig van de maker. Die noemt bovendien agenttaken en lange agentsessies als zwakker punt en kwalificeert het model zelf als preview. Test het daarom op eigen toolcalls, contextintegriteit en foutgedrag voordat je de lagere KV-voetafdruk als praktisch voordeel inboekt.

Cloudflare voegt providerkeuze voor websearch aan AI Gateway toe

Cloudflare heeft zijn Web Search API als bèta beschikbaar gemaakt. Agents en applicaties kunnen via AI Gateway live zoeken bij Ceramic.ai, Exa of Linkup; de API is via REST of een Workers AI-binding aan te roepen. Cloudflare zegt dat de drie providers zero data retention ondersteunen voor verzoeken die via Cloudflare lopen en zich aan Cloudflares bot-crawlstandaarden hebben gecommitteerd. Cloudflare-documentatie · HN-discussie

Dat maakt een webtool voor een agent operationeel eenvoudiger: verzoeken verschijnen in Gateway-logs, worden tegen AI-Gateway-credits afgerekend tegen de providerlijstprijs zonder extra opslag, en een eigen provider-API-sleutel blijft mogelijk. Voor teams die agentverkeer al via Gateway beheren, is dat een bruikbare plek voor observatie en budgettering.

‘Zero data retention’ bij de zoekprovider betekent niet automatisch dat de hele zoekworkflow geen gegevens achterlaat: Cloudflare vermeldt juist Gateway-logging. Beoordeel dus apart welke query’s, resultaten en metadata in Gateway, applicatielogs en bij de gekozen provider terechtkomen. Ook zegt de bèta niets over zoekkwaliteit, actualiteit per provider of veilige toolautorisatie; begrens daarom welke agent queries mag uitvoeren en welke resultaten hij als bron mag gebruiken.

Verder nog

• Harnesskeuze kan een lokale agentbenchmark domineren: een auteur van het nieuwe leaderboard Airbench meldt dat dezelfde model- en kaartcombinatie in zijn eigen test tussen 22% en 96% taakscore uitkomt, afhankelijk van de harness. De gepubliceerde taken omvatten onder meer coding, computer use en vision; de auteur zegt dat OpenCode en OMP in zijn metingen consistenter scoren dan andere geteste harnesses. Dat is geen onafhankelijk vergelijkend onderzoek — methodiek, workload en resultaten zijn nog niet extern gevalideerd — maar wel een terechte herinnering om model, quant, context, toolset én harness samen vast te leggen bij lokale evaluaties. Post en leaderboard