Flash Next krijgt batchdecode en RAM-cachepad; Mozilla’s browser-AI is niet lokaal

DwarfStar wil Qwen3.8 Flash Next op Macs voortaan ook fatsoenlijk gelijktijdig bedienen: een nieuwe bijdrage batcht zestien sessies in één Metal-forward. Tegelijk verschijnen een nieuwe quantreeks en een experimenteel pad dat het grootste deel van de KV-cache in systeem-RAM zet. Bij Mozilla blijkt de aangekondigde ‘private’ browser-AI juist cloudinference te gebruiken, inclusief relevante browsecontext.

DwarfStar werkt aan batchdecode voor Flash Next op Metal

Een bijdrage aan DwarfStar batcht volgens de auteur zestien Flash-Next-sessies in één Metal-forward en haalt daarmee 203 tok/s geaggregeerd op een M5 Max met 128GB; voor één stream wordt 8% winst genoemd. Maintainer antirez zegt de onderdelen die resultaat opleveren te zullen mergen en complexiteit zonder meetbare winst te vermijden.

Dit is een concrete vervolgontwikkeling op de middagupdate van vandaag, die vooral de praktische agentgrenzen van Qwen3.8-27B behandelde, en op de eerdere DwarfStar-dekking van Flash Next op Mac: nu gaat het om gelijktijdige serving, niet om het model voor het eerst laten draaien. De meting komt van de PR-auteur, betreft één machine en is geen onafhankelijke latencytest. Wie meerdere lokale gebruikers bedient, kan de patch dus volgen, maar moet throughput én individuele responstijd zelf meten. PR-meting · reactie van de maintainer

Nieuwe Flash-Next-GGUFs kiezen tussen omvang en promptdoorvoer

ISTA-DASLab heeft GSQ-RCO-GGUFs voor Qwen3.8 Flash Next gepubliceerd. Volgens de release krimpt het model daarmee van circa 80–95GB naar 68–76GB. De Q2_0-variant kiest bewust voor snelheid boven een kleine kwaliteitsdaling: de maker noemt 3,4× hogere promptthroughput en 1,9× lagere end-to-endlatentie dan IQ2_XS, met een taakgemiddelde van 89,07 tegenover 89,16. IQ3_XXS zou op de genoemde benchmarks dichter bij het basismodel blijven.

Dit is nieuw ten opzichte van de einde-dagupdate van gisteren, die ShapeLearn-quants voor het 27B-model behandelde: hier gaat het om een andere, veel grotere Flash-Next-reeks en expliciet om de ruil tussen lookup-tabellen, decodekosten en promptverwerking. Alle kwaliteits- en snelheidsgetallen komen uit de release zelf; ze zeggen niet automatisch iets over eigen hardware, contextlengte of agenttaken. Release en cijfers

Flash Next kan volgens één proef zijn KV-cache grotendeels in RAM houden

Een communitypatch voor vLLM verplaatst bij Qwen3.8 Flash Next het grootste deel van de KV-cache naar systeem-RAM. De auteur rapporteert op drie RTX 3090’s ongeveer 80 tok/s bij korte context, circa 60 tok/s zodra de QSA-selectie zijn budget bereikt, en daarna een vlakke decode-snelheid tot één miljoen tokens. De technische verklaring: slechts twaalf van 48 lagen houden een KV-cache bij, en de QSA-indexer kiest per stap hoogstens 2.048 posities; daardoor blijft het over PCIe te lezen volume volgens de auteur begrensd.

Dat is een ander spoor dan de SSD-lookahead uit de einde-dagupdate van gisteren: niet experts eerder van opslag halen, maar contextgeheugen buiten VRAM plaatsen. Interessant voor lange context op multi-GPU-machines, maar nog geen algemeen recept: het draait op aangepaste software, pipeline parallelism en een ongeveer 65GiB-quant. De auteur waarschuwt zelf dat de getallen niet als lineaire GPU-schaal gelezen mogen worden. Opzet, patches en metingen

Mozilla’s Mistral-browser-AI is geen lokale privacyfunctie

De Mistral/Mozilla-aankondiging positioneert browser-AI als privé en meertalig, maar de in de HN-discussie aangehaalde Smart Window-policy beschrijft een andere datastroom: de volledige prompt, relevante Memories en aanvullende browsecontext gaan eerst naar Mozilla, dat ze doorstuurt naar een externe LLM-provider. De provider ziet daarbij volgens de policy een Mozilla-IP-adres. Alleen de intentclassificatie in de adresbalk gebeurt lokaal.

Dat onderscheid is belangrijker dan het privacylabel: browsecontext verlaat dus het apparaat zodra de assistent wordt gebruikt. De beschikbare context laat niet zien welke standaardinstelling, bewaartermijn of technische controles precies gelden. Wie dit test, doet er verstandig aan de policy en profielscheiding te controleren in plaats van het als lokale AI te behandelen. HN-discussie met policycitaat

Verder nog

Play Store-review als planningsrisico: een HN-auteur stelt dat Google Play-appreviews inmiddels geregeld langer dan een week duren; reacties melden vergelijkbare vertragingen bij Apple. Dit zijn ervaringen, geen officiële doorlooptijdstatistiek, maar reden om mobiele releases eerder in te plannen. Discussie
ImpactGate als experimentele CI-check: de nieuwe GitHub Action probeert ‘structurele erosie’ per gewijzigd bestand te signaleren in merge requests, als aanvulling op bug- en complexiteitschecks. Het betreft vooralsnog één metric zonder onafhankelijke validatie; behandel alerts als reviewhint, niet als mergebesluit. Show HN
C++23 useful_abstractions: een nieuwe header-only library biedt constexpr/consteval-helpers voor onder meer strings als templateparameters, hashing, type-namen, UTF-conversie en escaping. De maker noemt GCC 14+ of Clang 19+; het project is nog vroeg en vraagt bijdragen. Aankondiging · repository