M5 Ultra krijgt lokale-AI-praktijkcijfers; promptvolgorde en agentcoördinatie worden meetbaar

Vroege metingen rond de M5 Ultra maken lokale inference op 256GB unified memory concreter, maar nog niet vergelijkbaar genoeg voor aankoopconclusies. Een kleine Qwen-proef toont tegelijk dat de vraag vóór de context zetten zowel cachegedrag als uitkomst kan veranderen. Voor agentteams verschijnt Foremerge als deterministische laag tegen intentconflicten tussen parallelle werkbomen.

M5 Ultra toont capaciteit, maar benchmarks vragen om meer context

Een review van de M5 Ultra Mac Studio met 256GB RAM positioneert de machine als lokale agentcomputer; in een bijbehorende thread wordt voor Qwen3.8 Flash Next een piek van 110 tok/s single-stream genoemd, 70–80 tok/s bij lange context en circa 2.500 tok/s prefill. Review op HN · metingen in de thread

Dat is vooral interessant omdat 256GB unified memory modellen en context kan vasthouden die niet volledig op een gewone consumenten-GPU passen. De cijfers zijn echter nog geen algemene vergelijking met een workstation-GPU: ze komen uit vroege praktijkposts, betreffen onder meer een sparse MoE met slechts 6B actieve parameters, en specificeren niet hier alle runtime-, quant- en taakinstellingen. Een HN-reactie wijst daarnaast terecht op de relevantere maatstaf voor agents: tijd per taak, niet alleen decode-snelheid.

De bruikbare vervolgstap is daarom bescheiden: vergelijk op de eigen agentloop koude prefill, cache-hits, contextlengte, gelijktijdigheid én wall-clock-tijd. Alleen een tok/s-getal zegt weinig over de kosten van een lange codebase of een reeks subagents.

Vraag vóór context: kleine test koppelt cachewinst aan een betere score

Het open project Snapjudge beschrijft een andere promptvolgorde voor getypeerde beslissingen: eerst de vraag en de toegestane antwoorden, daarna de variabele toestand. In een eigen benchmark met 38 korte situaties op Qwen3.6-35B-A3B Q4 op een M2 Max meldt de auteur daarmee een Engelse score van 89 naar 100 procent en een mediane latency van ongeveer 400 naar 80 ms. De snelheidsverklaring is rechtstreeks: de vaste vraag wordt een herbruikbare prefix. Opzet, cijfers en code

Dit is praktisch voor classifiers, toolrouters en vaste JSON-/keuzevragen: promptlay-out is dan óók een cachebeslissing. De auteur vermoedt daarnaast dat een causaal model de latere toestand beter in het licht van de eerder geziene vraag verwerkt; dat is een interpretatie, geen bewezen mechanisme.

De grenzen zijn duidelijk. De set is klein, zelf samengesteld en kort; voor lange documenten werd de aanpak volgens dezelfde post juist zes tot acht keer trager wanneer meerdere vragen dezelfde context moesten delen. Meet dus beide ordeningen op de eigen verdeling van documenten en vragen, met accuracy én prefill-kosten.

Splash krijgt Q8-pad voor Apple Silicon, met een precisieruil

Een fork van Splash voegt native 8-bit Metal-kernels en een nieuw Q8-modelschema toe. Dat is een concrete uitbreiding sinds de einde-dagupdate van zaterdag 19 september, die de oorspronkelijke, smalle 4-bit-route beschreef. De fork-auteur rapporteert op een M5 Pro met 64GB voor Qwen3.8-27B gemiddeld 36,9 tok/s met ongecomprimeerde 8-bit-gewichten, tegenover 60,7 tok/s voor de 4-bit-variant; volgens diens test voorkwam 8-bit fouten in een klein voorbeeld van meerstapswiskunde. Fork, modellen en meetlogs

Ook de contextmeting is nuttig als testpunt: de auteur zag bij 150K–190K tokens geen instorting van decode, maar bij een koude prefill wel minutenlange wachttijd. Cache-hits veranderden die tijd sterk. Dat ondersteunt een praktische keuze: voor een sessie die lang blijft leven kan hogere gewichtsprecisie acceptabel zijn; voor veel nieuwe, grote prompts blijft prefill de bepalende kost.

Dit is geen algemene uitspraak over Q4 versus Q8. De resultaten zijn slechts op Apple Silicon getest, komen van de fork-auteur en vergelijken specifieke gewichten, speculative decoding en prompts. De fork is desondanks een concrete route voor wie kwaliteit en snelheid op dezelfde Mac wil uitproberen — met een eigen evalset als voorwaarde.

Foremerge probeert agentconflicten vóór de diff te vinden

Foremerge is een nieuwe Apache-2.0-tool die agents vóór een edit een intent en een scope laat publiceren, bijvoorbeeld ‘class vervangen’ of ‘methode uitbreiden’. Een tweede, strijdige intent krijgt volgens de maker een deterministische waarschuwing. De tool gebruikt één SQLite-bestand naast Git-worktrees, heeft een CLI en MCP-server, en kan vooraf geconfigureerde checks tegen de precieze Git-state afdwingen. Show HN en projectbeschrijving

Dat adresseert een reëel gat bij parallelle coding agents: Git ziet pas regelconflicten ná edits, terwijl twee afzonderlijke patches architectonisch incompatibel kunnen zijn. Een gedeclareerde ‘replace’ versus ‘extend’ op hetzelfde symbool is daarvan een helder voorbeeld. Adviserende leases in plaats van locks voorkomen tegelijk dat werkers elkaar permanent blokkeren.

Behandel de schaalclaims — de maker noemt een test met 98 parallelle agents — wel als voorlopige eigen metingen. De auteur beschrijft zelf een blinde vlek wanneer de ene agent een class en de andere een interne methode claimt; de open-sourceversie biedt bovendien geen distributed consensus. Probeer dit dus eerst op een repository met duidelijke acceptatiechecks, en meet vals-positieven, gemiste conflicten en reviewlast.

Python Workers is algemeen beschikbaar

Cloudflare heeft Python Workers als algemeen beschikbaar gemeld. Dat maakt Python een regulier inzetbare optie binnen Workers, in plaats van een preview-pad. In de korte HN-discussie verwijst Cloudflare voor cold-startcijfers naar een eerder technisch artikel en zegt het dat verdere optimalisatie nog op de roadmap staat. Aankondiging en discussie

Voor teams die al Workers inzetten maar Python-code of -libraries willen hergebruiken, is de statuswijziging zelf het relevante nieuws: het verdient nu een reguliere compatibiliteits- en latencyproef. De beschikbare context bevat geen volledige API-compatibiliteitsmatrix, limieten of onafhankelijke cold-startmeting; ga dus niet uit van CPython-servergedrag of van dezelfde opstartkosten als JavaScript zonder die tests.

Verder nog

• Hugging Face Tokenizers v1: de Rust-library heeft versie 1 bereikt. De aankondiging noemt ondersteuning voor meerdere talen, betere multithread-schaalbaarheid en een kleinere package. Relevant voor runtimes en tooling die tokenisatie in hun kritieke pad hebben, maar de beschikbare context geeft geen onafhankelijke snelheidsmeting of migratiegids. Aankondiging
• Toolweergave is onderdeel van de agentharness: in een X-discussie over alleen Bash versus aparte read/write/edit-tools stelt Armin Ronacher dat het wegnemen van die tools gemengde resultaten geeft, met meer toolcall- en editfouten; diffs en snapshots blijven nodig om wijzigingen leesbaar te houden. Dat is geen benchmark, maar wel een bruikbare ontwerpvraag: optimaliseer niet alleen toolaantal, maar ook inspecteerbaarheid van edits. Thread