Ascend-fork maakt Flash Next bruikbaar, terwijl lokale beslismodellen en Rust nieuwe experimentele routes krijgen

Een ontwikkelaar beschrijft hoe twee Ascend 300I Duo-kaarten Qwen3.8 Flash Next na veel runtimewerk van nauwelijks bruikbare output naar circa 30 tok/s per request brengen. Tegelijk komen er een nieuw open 27B-beslismodel en een experimenteel Rust-pad voor complexere const generics; beide zijn concreet, maar nog geen frictieloze productroute.

Ascend-fork brengt Qwen Flash Next van incoherent naar circa 30 tok/s

Een ontwikkelaar documenteert een eigen fork van vLLM en vLLM Ascend voor twee Huawei Atlas 300I Duo-kaarten. De machine ziet vier Ascend 310P3-ranks met samen 192 GB naamplaatgeheugen, maar in de beschreven configuratie blijft daar volgens de auteur ongeveer 172 GiB bruikbare runtimecapaciteit van over. Cruciaal: iedere chip heeft zijn eigen 48GB-pool; dit is geen uniforme 192GB-allocatie.

De concrete vooruitgang zit in de softwarebring-up voor Qwen3.8 Flash Next. De auteur meldt dat vroege versies vaak incoherente output produceerden bij grofweg 0,2–1,9 tok/s. Na onder meer expert-aware laden per rank, packed W4A8-expertkernels, aparte recurrent-state- en sparse-attentioncaches, graph replay en MTP2 rapporteert hij een mediaan van 29,74 tok/s voor één korte decode-stream en 60,88 tok/s geaggregeerd bij vier gelijktijdige requests. Een volledige GPQA Diamond-run kwam volgens hem op 140/198, gelijk aan een afzonderlijke RTX 6000 Pro-referentie, maar met andere runtime, quant en template; dat is dus geen zuivere hardwarevergelijking.

Dit is interessant voor wie veel lokaal acceleratormemory boven CUDA-gemak verkiest: de post maakt zichtbaar dat modelondersteuning voor hybride MoE-architecturen vooral een runtime-, kernel- en geheugenlayoutprobleem is. Het is nadrukkelijk geen turnkey-advies. De auteur onderhoudt de forks alleen, noemt koude prefill bij 40K tokens nog ongeveer twee minuten en kwalificeert lange context nog niet volledig. Meet daarom tokenpariteit, lange prefill, foutgedrag en onderhoudslast op de eigen workload voordat je zulke hardware als alternatief voor een standaard vLLM/CUDA-stack inzet. Configuratie, codeverwijzingen, metingen en open punten

Perplexity opent een 27B-beslismodel, maar niet voor bescheiden hardware

pplx-decider-v1-27b is een open-weightsbeslismodel, gefinetuned op Qwen3.8-27B. Het model neemt vooraf gedefinieerde ja/nee- of meerkeuzevragen aan en geeft volgens de meegeleverde Python-interface een keuze plus gekalibreerde kansen terug; de kaart noemt ook beeldinvoer.

De praktische grens staat meteen in de documentatie: de voorgestelde CUDA-route vraagt ongeveer 49 GiB aan gewichten plus werkgeheugen. Dit is dus geen kleine, snelle router zoals sommige lokale decision models, maar een zware 27B-laag voor teams die precies die keuze-API lokaal willen draaien. Perplexity rapporteert over elf benchmarks een totaalscore van 85,71%, boven de getoonde Jev-score van 84,51% en de Qwen-basis van 74,76%.

Die tabel is geen onafhankelijke vergelijking: de modelkaart zegt expliciet dat de Decider-resultaten via de Perplexity API zijn gemeten. Ook ontbreken hier latency, quantisaties, volledige prompts en een externe calibratietest. Behandel het daarom als een reproduceerbaar nieuw checkpoint, niet als bewezen vervanger voor een kleinere classifier of voor een grotere agent. Test vooral eigen foutkosten, onbekende categorieën en de vraag of 49 GiB voor deze begrensde taak werkelijk te rechtvaardigen is. Modelkaart, API-voorbeeld en eigen benchmarktabel · Reddit-discussie

Rust werkt aan Generic Const Arguments als opvolger van generic_const_exprs

Het Rust-project beschrijft Generic Const Arguments (GCA), een familie van nightly-features die het oude, experimentele generic_const_exprs moet vervangen. Op stable mogen const generics nu in wezen een generieke parameter zelf of een volledig concrete constante gebruiken; uitdrukkingen als een arraylengte afgeleid van T::NUM_BYTES of N + 1 vallen buiten die grens.

GCA splitst de uitbreiding op. gca_adts maakt bijvoorbeeld constructies van arrays, tuples en ADT’s met generieke parameters mogelijk. gca_const_items maakt complexere paden via const items mogelijk, maar vereist ook -Znext-solver; de beperktere gca_min_const_items laat alleen const items toe die zelf als GCA-uitdrukking zijn gedefinieerd. Dat laatste pad is volgens de auteurs eenvoudiger te implementeren en kan eerder stabiliseren.

Voor librarybouwers is dit vooral een nieuwe experimenteerrichting voor type-level API’s die nu vaak naar crates als typenum uitwijken. Het is nog niet geschikt als stabiele dependencybelofte: de syntaxis vereist momenteel een expliciete gca!(...)-macro, rekenkundige expressies werken niet rechtstreeks in die macro en sommige vormen zoals array repeats ontbreken. Probeer het dus achter feature flags en houd een stable fallback; de post beschrijft ontwerp en prototype, geen stabilisatiedatum. Rusts ontwerp- en implementatie-uitleg · Lobsters-discussie

Lokale Qwen haalt 28,1% in een nieuwe, gesloten cyberrange — maar de benchmark bewijst nog weinig

Een ontwikkelaar heeft RangeBench gepubliceerd: negentien geïsoleerde pwn-, web-, crypto-, reverse-engineering- en forensictaken, waaronder enkele CVE- en meerstapsopgaven. In 544 gescoorde pogingen met zes modellen meldt de auteur voor een lokale Qwen3.8-27B op een llama.cpp-RPC-pool met RTX 3090 en 3080 een first-try-score van 28,1%; geen van de pwn-taken werd in die run opgelost. Voor de geteste API-modellen noemt de post 73,7% voor MiMo 2.6 Flash bij de eerste poging en 90,9% voor GPT-6 Luna binnen drie pogingen.

Het bruikbare signaal is niet een algemene veiligheidsranglijst, maar de meetopzet: een lokale 27B behaalt volgens deze proef zichtbaar andere resultaten per taakcategorie, terwijl ook grotere modellen niet alle pwn- of meerstapsproblemen oplossen. De auteur stelt de harness onder MIT beschikbaar, maar houdt de taken privé om trainingslekkage te beperken en wil ze op aanvraag laten draaien.

Daarmee zijn de harde grenzen meteen duidelijk: de taakset is niet publiek inspecteerbaar, de maker bouwde de benchmark zelf en de modellen, aantallen pogingen, refusalgedrag en harness zijn geen gecontroleerde apples-to-applesvergelijking. Gebruik de cijfers niet als capability- of risicogrens. Wie dit serieus wil toetsen, heeft eigen gelogde runs nodig op afgeschermde, legale targets, met een vaste toolset, meerdere seeds en heldere scheiding tussen first-try en retry-resultaten. Post, scores en harnesslink

Verder nog

• Git 3 en SHA-256 zijn vooral een migratiegesprek: een GitButler-oprichter waarschuwt dat de geplande SHA-256-default voor nieuwe Git 3-repositories tooling, submodules, signatures en korte-hash-aannames kan raken. Het artikel is een opinie, geen Git-releasebericht; in de HN-discussie wordt bovendien verwezen naar Git-documentatie over een vertaalmapping tussen SHA-1 en SHA-256. Neem er dus vooral één actie uit mee: inventariseer scripts, forge-ondersteuning en object-ID-aannames, maar behandel voorspellingen van een onvermijdelijke breuk niet als vastgesteld feit. Artikel · HN-discussie