Swift-Qwen kort redeneerwerk in; Voodoo opent dynamische quantisatie

Swift-Qwen3.8-27B wil lange redeneerloops terugdringen zonder de hoge effortstand simpelweg af te kappen. Ondertussen is een experimentele methode om per tensor een quantniveau te kiezen nu MIT-gelicentieerd beschikbaar. Voor Java-stacks verschijnt bovendien een vroege lokale inference-engine zonder Python- of ONNX-laag.

Swift-Qwen3.8-27B richt zich op minder overdenken

UkisAI heeft Swift-Qwen3.8-27B uitgebracht, een post-trained variant die tokens probeert te ontmoedigen die volgens de makers met overdenken samenhangen. De gepubliceerde GGUF-bestanden lopen van Q1 tot Q8. In eigen xhigh-tests claimt het team 40–60% minder denktokens met meestal minder dan 1% kwaliteitsverlies; op GPQA-Diamond staat bijvoorbeeld 88,3% tegenover 88,4% voor het basismodel, bij 58% minder mediane tokens.

Dat is interessant voor lokale agents waarbij redeneeroutput, niet alleen decode-snelheid, de doorlooptijd bepaalt. Maar dit zijn primair makerstests: AIME 2026 daalde in hun tabel 4,7 procentpunt en de makers schrijven dat toe aan een te zwaar meegewogen wiskundetoken, waarvoor nog een update nodig is. Test dus eigen code- en agenttaken, contextlengtes en quants; de licentie is volgens de aankondiging ook niet Apache-2.0 voor bedrijven boven $1 miljoen omzet. Aankondiging, model en evaluaties

Voodoo Quant maakt zijn per-tensor-keuze open source

De maker van Voodoo Dynamic Quant heeft de methode en toolset onder MIT vrijgegeven. Het project laat gradient descent een quantniveau per tensor kiezen voor een doelbestandsgrootte, met KL-divergentie tegenover BF16 als optimalisatiesignaal. De huidige tooling is ingericht voor Qwen, maar de auteur denkt dat aanpassing aan andere transformerarchitecturen mogelijk is.

Voor beperkte VRAM is dit vooral interessant omdat agressieve quants vaak de harde grens bepalen tussen wel en niet lokaal draaien. De auteur noemt eigen resultaten op kleinere modellen, maar benadrukt tegelijk dat grotere modellen nog niet systematisch zijn onderzocht. Er is bovendien een praktische mismatch: Voodoo optimaliseert met Torch-numeriek, terwijl veel gebruikers uiteindelijk llama.cpp draaien; volgens de maker kan dat de winst op die runtime verminderen. Zie dit dus als reproduceerbare onderzoekstooling, niet als bewezen betere quant voor elk model. Project en technische toelichting

Jinfer brengt lokale inference naar de JVM, maar nog vooral op CPU

jinfer is een vroege Apache-2.0-inference-engine die chat, vision, transcriptie, embeddings, reranking en TTS direct voor de JVM wil aanbieden. De stack omvat eigen tokenizers, GGUF- en safetensors-I/O en matrixroutines via de Java Vector API, met integraties voor Spring AI, LangChain4j en GraalVM Native Image.

Dat is een relevant alternatief voor Java-teams die geen Python-runtime, ONNX of los sidecar-proces willen beheren. De begrenzing is helder: CPU is voorlopig het hoofddoel; GPU-ondersteuning via de tensorlaag is nog in ontwikkeling. Ook de claim dat de CPU-prestaties met llama.cpp concurreren komt van de maker en verdient eigen benchmarking op de beoogde modellen en hardware. Aankondiging en repository

Verder nog

Pion belooft een autonoom bedrijf: Andon Labs positioneert Pion als agent die een onderneming autonoom kan draaien. De HN-discussie levert vooral een nuttige tegenwerping op: gebruikers beschrijven automatisering in afgebakende, gedocumenteerde taken met menselijke controle, niet als bewijs dat één algemene agent betrouwbaar alle bedrijfsfuncties overneemt. Aankondiging en discussie
Tokio-prestaties beginnen bij architectuur: een veelbesproken gids over snelle Tokio-apps krijgt in de HN-draad een concrete aanvulling: overweeg message passing en eigenaarschap van state via channels voordat je mutexen optimaliseert. Dat is een ontwerpaanwijzing, geen universele vervanging voor synchronisatieprimitieven. Gids en discussie