Eén forward pass voor beslissingen, M5-tuning voor lokale inference en een zichtbaarder SIMD-landschap

Een gewone LLM kan volgens een nieuwe implementatie getypeerde keuzes in één forward pass afhandelen, zonder eerst JSON uit te schrijven. Dat levert een interessant alternatief voor gespecialiseerde beslismodellen op, maar niet voor hun voordeel bij zeer lange context of lage kostprijs.

Op Apple Silicon verschijnt tegelijk Splish: een niet-officiële Splash-fork die kernels en tuning op één M5 Max afstemt. Verder zijn er twee bruikbare tooling-signalen: een tekstuele diagramtaal die plaatsing expliciet maakt, en een overzicht dat de nog versnipperde SIMD-keuzes in Rust scherp neerzet.

GLM-5.3-Flash leest opties uit logits in plaats van JSON te schrijven

Privatemode beschrijft een methode om GLM-5.3-Flash als getypeerde beslislaag te gebruiken zonder finetuning. De applicatie zet toestand, vraag en genummerde antwoordopties in de prompt, eindigt die prompt bij choice_index: en leest vervolgens de logkansen van alleen de toegestane index-tokens uit. Daarmee komen keuze en kansverdeling uit één forward pass, in plaats van uit een gegenereerd JSON-antwoord.

Dat is praktisch voor routering, classificatie en vooraf begrensde checks: een API hoeft minder uitvoer te parsen en kan een lage waarschijnlijkheid naar een reviewpad sturen. De auteurs gebruiken daarvoor onder meer allowed_token_ids en logprob_token_ids in vLLM; volgens hen is alleen top_logprobs onvoldoende, omdat formatteringstokens de relevante opties uit die topselectie kunnen drukken.

De gepubliceerde vergelijking op 29 openbare, gelabelde datasets is een makersbenchmark. Daarin liggen GLM en Jev volgens de auteurs op 28 tekstdatasets dicht bij elkaar; vanuit Duitsland melden zij 180 ms voor GLM tegen 264 ms voor Jev, maar vanuit de VS draait dat om (299 versus 164 ms). Ook noemen ze ongeveer €62 tegenover €16 per miljoen beslissingen. Een HN-reactie werpt bovendien terecht op dat een gewone LLM de volledige lange context eerst moet prefillen, waar een gespecialiseerd systeem bij een voorbeeld met zeer lange invoer veel sneller zou zijn. Test daarom eigen labels, antwoordvolgorde, contextlengte, calibratie én totale kosten; één token decoderen maakt de invoer niet gratis. Technische uitleg en benchmark · HN-discussie

Splish stemt Splash af op één M5 Max — met duidelijke grenzen

Splish is een Apache-2.0-fork van Splash 1.1.0 voor Apple M5-GPU’s. Dit is een inhoudelijk andere stap dan de GGUF- en MLX-import in de einde-dagupdate van gisteren: de fork voegt hardware-specifieke kernelkeuzes, nieuwe verify-kernels en een optionele copy-regel voor herhaalde tekst in coding-agents toe.

Op de enige uitvoerig gemeten machine — een 40-core M5 Max met 128GB onder macOS 27 — meldt de maker voor 4-bit Qwen3.8-27B-families ongeveer 1,25× winst bij één request en tot 1,5× bij 2–4 gelijktijdige requests. Bij lange reasoning noemt de tabel bijvoorbeeld 131 naar 178 tok/s voor één request. De copy-regel zou complete bestandsedits extra versnellen doordat eerder geziene tekst als draft wordt hergebruikt. De auteur rapporteert op een eigen set 95/95 voor zowel upstream als fork.

De beperking is ongewoon concreet: een herhaalde tuning op hetzelfde chiptype maar macOS 26.6 koos sommige kernels anders en zag ongeveer half zo grote winst. Op andere Macs gebruikt Splish standaard daarom Splash-keuzes; de lange-contextattention is niet aangepast en GGUF-winst is volgens de documentatie circa 2% per stap. Zie dit als een gerichte proef voor precies zo’n M5 Max, niet als algemene Apple-Silicon-ranglijst. Vergelijk koude prefill, lange context, energie en taakuitkomst naast decode; de maker meldt bij 3–4 requests pieken van 92–94 °C GPU. Splish, meetmethode en beperkingen · Reddit-discussie

Reladraw probeert diagrammen precies genoeg voor mensen én agents te maken

Het vroege Reladraw 0.8.0 positioneert zich tussen automatische diagramtalen als Mermaid/Graphviz en handmatig tekenen in Draw.io of Excalidraw. Knooppunten worden tekstueel beschreven, maar de gebruiker legt relatieve plaatsing vast — bijvoorbeeld below, right of en level with — waarna de CLI een SVG rendert. Parser, layout en renderer zijn TypeScript met nul runtime-afhankelijkheden; de licentie is Apache-2.0.

Voor agentondersteunde ontwikkeling is dat een redelijk afgebakend idee: een agent hoeft geen lange XML met absolute coördinaten te muteren, terwijl een architectuurplaat niet volledig door een auto-layout wordt bepaald. De repository biedt er een skills-installatie voor, maar die integratie heet volgens de maker zelf nog rudimentair. Ook is de taal uitdrukkelijk niet stabiel.

De HN-discussie maakt de volwassenheidsgrens zichtbaar: er werden al renderingproblemen gemeld en de auteur repareerde er één in de playground. Probeer het dus eerst als versieerbaar documentatieformaat voor een klein diagram; verwacht nog geen uitwisselbaar, stabiel alternatief voor bestaande diagramworkflows. Project en syntax · HN-discussie

Rust-SIMD blijft kiezen tussen stabiele wrappers, nightly en intrinsics

Een nieuw overzicht van de Rust-SIMD-stand brengt drie routes naast elkaar: automatische vectorisatie, platformintrinsics en portable abstractions. De nuttigste actuele grens: std::simd is nog nightly-only en kent volgens de auteur af en toe brekende API-wijzigingen. Voor floating point noemt het stuk Rust 1.98 relevant, omdat algebraïsche operaties vectorisatie kunnen toestaan waar bit-identieke uitkomsten dat eerder blokkeerden.

Voor distributiebinaries blijft runtime-dispatch bovendien een ontwerppunt, vooral op x86. Het overzicht vergelijkt daarvoor onder meer multiversion, fearless_simd, wide, pulp en macerator. Een bruikbare waarschuwing: een dispatch-wrapper is niet gratis voor zeer kleine functies, en alleen detecteren dat AVX-512 aanwezig is, zegt niet altijd dat het ook de snelste keuze is.

Het is een overzicht van een maintainer van één van de besproken libraries, geen neutrale benchmark of Rust-roadmap. Wel is het een goede checklist: begin met compileroptimalisatie en een scalar referentie, inspecteer gegenereerde code en benchmark op de CPU’s die je echt ondersteunt voordat je intrinsics of een portable laag vastlegt. Overzicht · Lobsters-discussie

Verder nog

• Pyrowave zit als experimentele codec in Steam-bèta: Valve voegt voor Remote Play een Vulkan-gebaseerde codec toe die mikt op lage latency, HDR en YUV 4:4:4. Volgens het verslag vraagt hij 5–10× de bandbreedte van andere codecs en is hij daarom bedoeld voor een LAN met minstens gigabit-ethernet, niet voor een doorsnee internetverbinding. Beschikbaar op Windows, macOS en Linux, waarbij Linux de experimentele SteamRT3-client nodig heeft. Verslag · Lobsters-discussie