Lokale inference krijgt ML Drift en een RDNA2-vLLM-proef; Python 3.15.0 is uit

Google heeft ML Drift als Apache-2.0-project geopend: een GPU-engine voor on-device inference met OpenCL, Metal, WebGPU en OpenGL ES. Tegelijk laat een zelfbouwproject zien dat acht oudere AMD V620-kaarten met een aangepaste vLLM-route Qwen 3.8 kunnen draaien — interessant, maar nog slechts één reproduceerbare poging. Python 3.15.0 is ondertussen de definitieve release na de eerder gemeten release candidate.

ML Drift opent Googles engine voor on-device GPU-inference

Google AI Edge heeft ML Drift open source gemaakt als opvolger van de GPU-delegate in TensorFlow Lite. De engine abstraheert OpenCL, Metal, WebGPU en OpenGL ES via een eigen GPU-taal en compileert kernels dynamisch voor model, invoer en hardware. Volgens de repository zijn ook LLM-specifieke paden aanwezig, zoals apart behandelen van prefill en decode, KV-cachebeheer en INT4/INT8-quantisatie.

Dat is vooral interessant als bouwsteen voor inference buiten de gebruikelijke CUDA-stack: mobiel, browser en desktop krijgen één project met een expliciet backendmodel. De repository belooft een orde-grootte prestatieverbetering tegenover andere open engines, maar die claim komt van het project zelf. De beschikbare discussie wijst er bovendien op dat de gepubliceerde vergelijkingen vooral mobiel zijn; er is geen gelijkwaardige vergelijking met bijvoorbeeld llama.cpp of vLLM op CUDA/Vulkan in de opgeslagen context.

Zie ML Drift daarom als een nieuwe, inspecteerbare runtimebasis, niet als reden om een bestaande servingstack meteen te vervangen. Test modelondersteuning, kernel-compileertijd, geheugenpiek, prefill én decode op het eigen apparaat. Repository met architectuur en backends · Reddit-discussie

Oude RDNA2-kaarten krijgen een experimenteel vLLM-pad

Een gebruiker beschrijft een rig met acht Radeon Pro V620-kaarten — samen 256 GB VRAM — en een eigen vLLM-fork voor RDNA2. Met Qwen3.8-Flash-Next in een gemengde precisie-opzet, pipeline parallelism over vier groepen en drie MTP-drafttokens meldt hij 60–100 tok/s decode en meer dan 3.000 tok/s prefill. De auteur zegt dat zijn eerdere llama.cpp-opzet op dezelfde hardware rond 350–450 tok/s prefill zat en dat stock vLLM niet werkte.

Het interessante technische signaal is niet de prijsclaim — die is inmiddels volgens de auteur zelf achterhaald — maar dat een aangepaste runtime-kernelroute een afgeschreven cloudgamingkaart opnieuw bruikbaar kan maken voor een groot lokaal MoE-model. De fork is volgens de post nog in ontwikkeling; ondersteuning voor andere modellen, stabiliteit en prestaties onder concurrency zijn niet onafhankelijk onderzocht.

Behandel dit als een hardware-hack met een duidelijk testrecept, niet als een algemene vLLM-aanbeveling. De gemelde cijfers komen van één bouwer, met een specifieke quant, model, MTP-instelling en pipeline-indeling. Controleer dus eerst tokenpariteit, foutgedrag, stroomverbruik, PCIe-topologie en de licentie-/beschikbaarheidsstatus van gebruikte kaarten. Configuratie en zelfgerapporteerde metingen

Python 3.15.0 volgt op de RC-fase; free-threaded wheels krijgen een ABI-route

Python 3.15.0 is uitgebracht. Dit is een concrete stap na de middagupdate van woensdag, die alleen een beperkte RC3-prestatiemeting besprak. In de HN-discussie noemt een CPython-bijdrager vooral abi3t: een stable ABI voor de free-threaded build. Volgens die toelichting kan een pakket daarmee één abi3.abi3t-wheel leveren dat op zowel GIL- als free-threaded builds van Python 3.15+ werkt; cryptography zou zulke wheels al aanbieden.

Dat kan de distributiefrictie rond free-threading verlagen, maar is geen bewijs dat iedere native dependency meteen compatibel of sneller is. De officiële releasepagina kon in de opgeslagen crawl niet als artikeltekst worden gelezen; details over de volledige wijzigingslijst baseer ik hier daarom niet op. Test een upgrade met eigen C-extensies, wheels, CI-images en werkelijke threaded workloads.

Officiële releasepagina · HN-discussie over de release

Unison opent nu ook worker, API-server en UI van zijn cloudplatform

Unison Cloud is volgens het project volledig MIT-gelicentieerd open source geworden. De Unison-client met lokale interpreter was al open; nu zijn ook Nimbus (de worker node), de Haskell-gebaseerde API-/control-plane-server en de webinterface voor deployments en logs gepubliceerd.

Het platform wil een pool nodes als één gedistribueerde computer programmeerbaar maken met Unison, inclusief kleine services, typed inter-servicecommunicatie, batchjobs en storage-integraties. Daarmee is het een ongebruikelijk alternatief voor een containergerichte distributieroute: de aankondiging zegt dat services kleiner dan 200 KB kunnen zijn en snel deployen, maar dat zijn projectclaims en de genoemde opslag is nog steeds gekoppeld aan DynamoDB en S3.

De open-sourcing maakt zelfhosten en inspectie in elk geval mogelijk, niet automatisch eenvoudig. Wie dit evalueert moet vooral deployment, authenticatie, secrets, herstel en de afhankelijkheid van AWS-diensten op de eigen eisen toetsen. Aankondiging en componentoverzicht · Lobsters-discussie

CrowdStrike koppelt bankaanvallen aan een open AI-pentesttool

Een Reddit-post verwijst naar een CrowdStrike-rapport over aanvallen op Zuid-Koreaanse financiële organisaties waarbij de open-source AI-pentesttool ARTEX zou zijn gebruikt, naast meerdere modellen en Claude Code. Volgens de post kan één actor de operatie hebben uitgevoerd. Dat is een relevant signaal voor verdedigers: automatisering kan recon, toolgebruik en iteratie bij een inbraakcampagne versnellen zonder dat een grote groep aanvallers nodig is.

De beperking is belangrijk: de oorspronkelijke CrowdStrike-pagina zit alleen als link in de opgeslagen Reddit-post en is hier niet als bronartikel vastgelegd. Details over attributie, exacte slachtoffers, gebruikte modelketen en het aantal betrokkenen zijn daarom niet onafhankelijk te controleren. Lees dit niet als bewijs dat een specifiek lokaal model een aanval zelfstandig heeft uitgevoerd.

De nuchtere les blijft wel bruikbaar: behandel agentachtige securitytools als dual-use software. Beperk credentials en netwerkbereik van testagents, log toolcalls en egress, en test detectie op geautomatiseerde recon- en laterale-bewegingspatronen. Reddit-signaal met verwijzing naar CrowdStrike

Verder nog

• once cachet CLI-uitvoer alleen in RAM: de nieuwe Go-tool bewaart stdout per gebruiker in een tijdelijke daemon, gescheiden naar command, directory en tenant-key. Dat kan bijvoorbeeld herhaalde interactieve secret-reads beperken. Maar de projectdocumentatie is helder over de grens: waarden zijn onversleuteld in geheugen, kunnen swappen en zijn niet afgeschermd van andere processen van dezelfde gebruiker. Gebruik hem dus hoogstens met een korte TTL en niet als secretkluis; voor gewone, niet-geheime netwerkmetadata is het patroon minder riskant. Projectdocumentatie · HN-discussie