84GB Blackwell voor lokale AI, K2’s contextprijs en scherpere grenzen voor agents

Nvidia’s RTX PRO 5500 Blackwell is verschenen met 84GB VRAM, al ontbreekt een prijs. Tegelijk temperen communitygegevens rond K2 Horizon het enthousiasme over kleine modellen: de KV-cache kan bij lange context relatief veel geheugen kosten.

RTX PRO 5500 brengt 84GB VRAM naar een nieuwe workstationoptie

Een Reddit-melding noemt de RTX PRO 5500 Blackwell met 84GB als uit. Dat is vooral relevant voor lokale inference en multimodale workloads die nu vaak meerdere kaarten of een veel duurdere workstation-GPU vereisen. De beschikbare context noemt nog geen prijs, beschikbaarheid in Europa, stroomverbruik of onafhankelijke benchmarks; beschouw hem dus als capaciteitsnieuws, niet als koopadvies. Melding

K2 Horizon: parameterarm is niet automatisch contextzuinig

De K2-Horizon-modellen scoren volgens de besproken Artificial Analysis-index opvallend goed voor hun omvang, maar gebruikers wijzen op een forse KV-cache. Eén vergelijking schat voor de 7B-variant bij 128K tokens circa 5GiB contextgeheugen naast 5,2GiB aan Q4-gewichten; voor de 36B-A4B-variant wordt 6,7GiB cache genoemd. Daarmee kan een model dat op papier aantrekkelijk is voor 12–16GB-kaarten bij lange agentsessies alsnog onhandig uitpakken. Vergelijking met geheugengetallen · praktijkdiscussie

Dit zijn communityberekeningen, geen leveranciersspecificaties of brede benchmark. De nuttige consequentie is eenvoudig: vergelijk bij een lokaal model niet alleen parameters en gewichtsgrootte, maar ook KV-cache bij het contextvenster dat je werkelijk gebruikt.

RubyGems-signaal onderstreept isolatie van agents en tokens

Een HN-discussie over een artikel met de stelling dat OpenAI-bots wisten van een RubyGems-cachekwetsbaarheid, verwijst naar een eerdere RubyGems-advisory over mogelijk gelekte legacy-API-sleutels door cacheconfiguratie. De beschikbare context is onvoldoende om oorzaak, verantwoordelijkheid of omvang van enig incident vast te stellen. Discussie en bronverwijzingen

Wel is de operationele les robuust: laat agents die dependencies, builds of onbekende code aanraken niet werken met breed inzetbare registry- of productiecredentials. Beperk netwerktoegang en tokenrechten, en behandel containers niet zonder meer als harde securitygrens. De juridische duiding in de draad is discussie, geen vastgesteld oordeel.

Een 35KB-systeemprompt migreren is vooral contextbeheer

Een praktijkverslag over de verhuizing van 35KB-preprompts van Opus naar self-hosted Ollama maakt zichtbaar waar lokale agents vaak vastlopen: niet alleen modelkwaliteit, maar ook telkens terugkerende instructies, tools en metadata drukken op prefill en context. In de HN-discussie is de voorgestelde oplossing om taken op te knippen, sessies te herstarten en stabiele informatie als document te refereren in plaats van alles in één prompt mee te sturen. Notities en discussie

Dat is geen universele regel. Een tegenreactie wijst er terecht op dat grote prompts ook nuttige interfaces, schema’s of data kunnen bevatten, en meldt werkbare sessies ver boven 250K tokens. Test daarom met eigen taken en regressiegevallen; de concrete winst zit in minder irrelevante context, niet in een magische maximale promptlengte.

Verder nog

Maple komt als ternary MoE in llama.cpp: een pull request voegt de Maple 20B-A1B-architectuur met CPU-pad toe. Dat is een vroeg compatibiliteitssignaal voor zuinige lokale taakmodellen, geen prestatie- of kwaliteitsgarantie. PR-discussie
Cloudflare verlaagt TLS-herstarts: Cloudflare meldt dat AKE origin-HelloRetryRequests van 52% naar 3,7% bracht. De twee HN-reacties leveren weinig technische onderbouwing; neem de daling dus als omgevingsspecifieke case study. HN-link
Gespecialiseerde Qwen-audioserving: Nari Labs heeft een open-source inference-engine voor Qwen3-TTS aangekondigd en biedt TTS/ASR-endpoints aan. Claims over sub-50ms latency bij 10 RPS en positie op benchmarks komen van de maker zelf; onafhankelijke validatie ontbreekt hier. Show HN