Qwen 4 komt in zicht; vLLM 0.30 verandert het upgradepad voor inference-servers

Alibaba heeft tijdens Apsara volgens de beschikbare conferencecontext een Qwen 4-lijn getoond, maar nog niet vrijgegeven: Max, Plus, Flash en 27B staan als ‘coming soon’ op een keynote-slide. Voor wie zelf inference serveert is vLLM 0.30.0 directer nieuws: de release brengt onder meer een GPU-residente weightcache voor snellere restarts, maar verandert ook endpoints en defaults.

Daarnaast is er een bruikbare waarschuwing voor agentteams: als codeproductie versnelt, moet CI niet alleen sneller, maar ook aantoonbaar even goed blijven testen. Nieuwe experimenten met modelgrafting en Complex KDA zijn interessant als onderzoek, niet als reden om bestaande runtimes of modellen al te vervangen.

Qwen 4 is aangekondigd, maar nog niet te evalueren

In de beschikbare verslaglegging van Alibaba’s Apsara-keynote staat een slide met Qwen4 Max, Plus, Flash en 27B, alle gemarkeerd als ‘coming soon’. Dat is vooral relevant voor lokale-AI-gebruikers omdat een 27B-variant expliciet op de slide staat: die grootteklasse is vaak nog binnen bereik van workstation- en high-end-consumentenhardware.

Meer volgt er niet betrouwbaar uit de oogst. Er zijn geen gewichten, licentie, contextlengte, architectuurdetails, releasedatum of benchmarks beschikbaar. Ook de bredere berichtgeving over Alibaba’s chip en datacenterplannen is geen bewijs voor eigenschappen van Qwen 4. Behandel dit dus als een signaal om hardwareaankopen of nieuwe modelstandaarden niet uitsluitend op geruchten te baseren — wacht op modelkaarten en onafhankelijke praktische tests. Apsara-/Qwen4-discussie · context rond de keynote-slide

vLLM 0.30.0 versnelt restarts, maar vraagt een upgradecheck

vLLM 0.30.0 is uitgebracht met 762 commits. De opvallendste operationele toevoeging is Fast Start: een persistente daemon per GPU houdt gequantiseerde, tensor-parallel gesharde weights in GPU-geheugen. Nieuwe engines kunnen die via CUDA IPC mappen met --load-format ipc_cache, in plaats van ze telkens opnieuw van opslag te laden. De release noemt ondersteuning voor FP4-checkpoints en multi-node tensor parallelism.

Verder voegt de release onder meer Gumbel-max-watermarking met detectie en request-level opt-out toe, HiSparse als host-residente laag voor sparse-MLA-KV onder GPU-druk, en nieuwe modelpaden voor onder andere DeepSeek V4.1 Flash, DeepSeek V4 Flash Vision, GLM-5.3 Flash, K2-Horizon en een DeepSeek-V4-CPU-backend. Voor Qwen3.8 Flash Next noemt de changelog aparte prefill/decode-indexerkernels, FP8-indexercache, fused kernels en Engram tensor parallelism.

De upgrade is niet vrijblijvend. Schaalbare endpoints zijn niet langer standaard aanwezig bij kaal vllm serve, maar vereisen --enable-scale-out; de omgevingsvariabele VLLM_ENABLE_SCALE_OUT_ENDPOINTS verdwijnt. Ook vervallen onder meer GPTQ-activation-ordering (g_idx) en enkele eerder afgeschreven environment variables. Daarnaast kan de aangepaste YaRN-uitlijning afgeleide maximale contextlengtes verlagen bij sommige modellen. Test dus een staging-configuratie met dezelfde routes, modelconfiguraties en lange prompts vóór productie. Release notes en artefacten

Agenttempo verplaatst de bottleneck naar CI — maar snelheid is geen dekking

Een praktijkartikel over AI-coding beschrijft hoe hogere wijzigingssnelheid CI tot bottleneck maakte en aanleiding was om de pipeline te herwerken. De bijbehorende HN-discussie levert twee nuttige, tegengestelde observaties op. Een gebruiker beschrijft hoe een bestaande uitgebreide end-to-endtestset een snelle migratie van een .NET WebForms-app naar Blazor kon valideren; volgens die zelfrapportage vond QA daarna nog ongeveer twintig fouten. Een andere reactie wijst juist op een wezenlijk risico: meer tests en snellere statische checks zeggen weinig als niet wordt gemeten of nieuwe regels dezelfde relevante fouten vinden als de oude.

Dat onderscheid is relevant voor teams met coding agents. Optimaliseer niet alleen doorlooptijd, parallelisme of aantal gegenereerde tests, maar houd een controleerbare kwaliteitsmaat bij: pass/fail-overeenkomst bij vervanging van checks, regressie-gevoeligheid, flaky-rate en fouten die pas in acceptatie of productie zichtbaar worden. De discussie is geen representatief onderzoek en de migratiecase is één ervaring, maar ze maakt de juiste volgorde concreet: eerst een betrouwbare oracle, dan pas meer agent-output erdoorheen. Artikel · HN-discussie

Modelgrafting probeert prefill te versnellen zonder retraining vanaf nul

Een nieuw experiment zet Qwen3.5-4B om naar een causaal encoder-decoderpad door het model op een bepaalde diepte te knippen. De lagere lagen lezen de prompt; de hogere lagen krijgen de residual stream als prefix-KV via adapters en worden daarna met self-distillation op het oorspronkelijke model bijgetraind. De maker publiceert twee varianten: graft8 meldt ongeveer 3,7× snellere promptverwerking bij 128K tokens, graft16 ongeveer 2× met minder kwaliteitsverlies.

Het idee is interessant omdat lange prompts in agent- en RAG-workloads vaak vooral prefill-kosten veroorzaken. Maar dit zijn makerresultaten op één klein basismodel, geen algemene versnelling voor Qwen, en de post erkent expliciet een accuracy-ruil. Vergelijk daarom niet alleen tok/s, maar ook retrieval, toolgebruik en taakresultaat bij dezelfde promptlengte voordat je zo’n architectuurvariant inzet. Beschrijving, modellen en links

Complex KDA vergroot de toestand die een lineaire RNN kan bijhouden

Onderzoekers van OpenEuroLLM publiceren Complex KDA (CKDA), een variant op Kimi Delta Attention. De kernwijziging verruimt de gate naar het bereik [-1, 1] en de delta-rulecoëfficiënt β naar [0, 2]. Volgens het paper kan één delta-ruletransitie samen met een reflectie uit de channel-wise gate daarmee 2D-rotaties modelleren, zonder de hogere rang en kosten van twee volledige transities.

De auteurs claimen betere lengte-extrapolatie op hun S3-, S4- en periodieke-audiotests, taalmodelresultaten boven geteste Transformers en andere lineaire RNN’s, en tegelijk vergelijkbaar gedrag met een KDA-baseline. De belangrijke beperking: dit zijn onderzoeksresultaten, geen onafhankelijke productiebenchmark en ook geen claim dat bestaande KDA-runtimes zomaar sneller worden. Wel zijn paper, code en gewichten beschikbaar voor wie de architectuur zelf wil reproduceren of tegen eigen lange-contexttaken wil afzetten. Paper · code · discussie

Verder nog

Canonical koppelt een LTS-laag aan Zephyr: Canonical heeft Zephyr 26.04 LTS aangekondigd. In de beschikbare discussie wordt dit geduid als een downstream-LTS-distributie naast upstream Zephyr, met mogelijke relevantie voor teams die langere onderhoudscycli en compliance rond embedded software nodig hebben. Details over supportomvang en technische verschillen ontbreken hier; vergelijk dus supportvoorwaarden, security-backports en boardondersteuning met upstream vóór adoptie. Lobsters-discussie