vLLM claimt DeepInfer-pariteit; GrapheneOS krijgt een alternatief voor Play Integrity

vLLM meldt dat zijn runtime DeepSeek-V4.1-Flash onder de gebruikte decodeconfiguratie naast DeepSeek’ eigen DeepInfer kan zetten, maar de cijfers komen van vLLM zelf en draaien op specifieke hardware. Voor Android-gebruikers is relevanter dat GrapheneOS zegt een route te hebben geopend waarbij bankapps device-integriteit kunnen verifiëren zonder alleen Google Play Integrity te gebruiken.

Voor lokale AI is er daarnaast een experimentele kernelmodule die bepaalde oudere NVIDIA-GPU’s sneller zou maken voor matrixwerk. En twee korte signalen: OBS Studio 33 is uit, terwijl de discussie rond Block’s Dessa scherp maakt hoe beperkt een puur spraakgetraind gesprekssysteem nog is voor agents.

vLLM meldt nieuwe vergelijking met DeepInfer voor DeepSeek-V4.1-Flash

vLLM zegt dat het bij DeepSeek‑V4.1‑Flash de decode-throughput van DeepInfer, DeepSeeks eigen engine, evenaart over batchgroottes 8 tot 256. Volgens de post gebeurt dat met DEP32, waar DeepInfer in die vergelijking EP64DP64 gebruikt. Een tweede meting claimt op een GB300 NVL72-rack met prefill/decode-disaggregatie en Wide‑EP 954.000 tokens per seconde per GPU, 196 P90-tokens per seconde per gebruiker en 7,9× de throughput van een eigen single-node-resultaat.

Dit is een concrete nieuwe meting naast de eerdere vLLM/DeepInfer-vergelijking in de ochtendupdate van woensdag 21 oktober. Voor operators die een open runtime voor dit model evalueren, is vooral de richting interessant: vLLM positioneert de combinatie van DeepSeeks kernels, Wide‑EP en gescheiden prefill/decode als schaalpad, niet alleen als een losse kerneloptimalisatie.

De cijfers zijn wel leveranciersmetingen op een specifieke rackconfiguratie, modelconfiguratie en latencydoel. De post specificeert hier niet welke delen op welke vLLM-release of andere GPU-generaties landen. Behandel dit dus als een aanleiding om eigen prefill, decode, staartlatency, concurrency en kosten te meten — niet als bewijs dat een bestaande deployment dezelfde winst haalt.

vLLM: vergelijking en scale-outmeting

Bankapps laten volgens GrapheneOS een alternatief voor alleen Play Integrity toe

GrapheneOS schrijft in de HN-discussie dat het naar eigen zeggen ongeveer zes bedrijven met rond twaalf bankapps heeft overtuigd om de standaard Android key attestation API te gebruiken. Daarmee kunnen zij onder meer de verified-boot-keyhash, patchlevel en app-signing-key controleren, in plaats van uitsluitend Google Play Integrity als toelatingsmechanisme te gebruiken. Het project zegt dat deze apps daardoor GrapheneOS kunnen toelaten en dat dezelfde route ook voor andere besturingssystemen met verified boot bruikbaar kan zijn.

Dat is relevant omdat app- en apparaatattestatie steeds vaker een voorwaarde wordt voor bankdiensten. Voor gebruikers van een alternatief Android-besturingssysteem is dit concreet beter dan louter hopen dat een app toevallig werkt: er ontstaat een technisch pad waarmee een app expliciet een andere, verifieerbare softwarestack kan accepteren.

De beperking is substantieel. De aantallen, de lijst van apps en de uitleg over Europese standaarden zijn uitspraken van GrapheneOS zelf, niet een onafhankelijke compatibiliteitsaudit. Ook is een attestation-alternatief geen algemene interoperabiliteitsgarantie: iedere appaanbieder beslist nog steeds welke sleutels en apparaten worden toegelaten. Het project stelt juist dat veel bankapps nog op Google-certificering controleren.

GrapheneOS over key attestation als alternatief · HN-discussie

Experimentele NVIDIA-unlock richt zich op prefill en matrixwerk, niet op decode

Het project gpu-unlock 1.0.0 publiceert een Linux-kernelmodule voor enkele NVIDIA Ampere-kaarten uit de RTX-3000-reeks. Volgens de repository zet de module vóór het binden van de normale NVIDIA-driver firmwareinstellingen om, met als doel de issue rate voor FP/BF16-instructies op GA102-, GA103-, GA104- en GA106-chips te verhogen. De makers rapporteren onder meer hogere dense-GEMM-throughput op een RTX 3090 Ti en uiteenlopende user reports voor andere kaarten.

Voor lokale AI is de begrenzing belangrijker dan de topcijfers. De repository meldt zelf dat matrixzware taken zoals prefill, diffusion en FlashAttention kunnen profiteren, terwijl memory-bandwidth-gebonden LLM-decode en INT8-werk ongeveer gelijk blijven. Een door het project verzamelde set praktijkmetingen noemt 14–36% winst voor prefill; dat zijn geen uniforme benchmarks en hangen onder meer van power limits af.

Het gaat om een ingreep vóór de officiële driver laadt en om gegenereerde firmwarepayloads. De projectmetingen en gebruikersrapporten zijn niet onafhankelijk gevalideerd; een HN-deelnemer wijst bovendien op het firmware-exploitkarakter van vergelijkbare unlocks. Zie dit hooguit als een onderzoeksproject voor een afgebakende testmachine, niet als een aanbevolen productie-optimalisatie.

Repository met ondersteunde chips, meetnotities en beperkingen · HN-discussie

Verder nog

• OBS Studio 33.0.0: de open-source streamingtool heeft versie 33 uitgebracht voor Windows, macOS en Ubuntu. In de HN-discussie valt vooral een update van Chromium Embedded Framework op; een deelnemer noemt een sprong van CEF 127/6533 naar 150/7871. De beschikbare releasetext biedt hier geen volledige changelog, dus controleer plugins en eigen browserbronnen zelf vóór een brede upgrade. Release · HN-discussie
• Dessa zet spraak vóór tekst, maar niet automatisch vóór agenten: Block positioneert Dessa als een conversation model dat alleen op spraak is getraind. De HN-discussie wijst op een praktische grens: een uitsluitend op audio getraind systeem leest geen tekstuele system prompts of produceert niet vanzelf code voor toolcalls; voor agentwerk zou het dus als voice-front-end naast een tekstmodel moeten draaien. Dat is discussieanalyse, geen volledige productdocumentatie of onafhankelijke test. Dessa · HN-discussie