Strata test de harde grens van lange lokale agenttaken; verificatie stuurt decompilatie-agents

Een praktijktest met Strata op een RTX 5070 Ti brengt de praktische grens van lange lokale agentsessies scherp in beeld: KV-streaming kan decode versnellen, maar twee actieve 256K-sessies liepen al tegen meer dan 58 GB RAM aan. Elders blijkt bij een agentgestuurde decompilatie dat leesbare code niet genoeg is: pas een machinecontrole op de gereconstrueerde binary maakte de voortgang betrouwbaar genoeg om op te schalen.

KV-streaming helpt Strata, maar RAM begrenst gelijktijdige agenten

Een gebruiker testte Strata met Qwen3.8 Flash Next op een RTX 5070 Ti met 16 GB VRAM en 64 GB systeemgeheugen, gekoppeld aan agentwerk voor onder meer webonderzoek, documentanalyse en toolgebruik. De meest bruikbare uitkomst is niet een losse topsnelheid, maar de ruil tussen KV-cache, GPU-expertcache en host-RAM.

Bij één request met 256K context meldde de auteur met KV-streaming 81,9 tok/s in een kalibratie en 85,4 tok/s in een chatsessie. Daarbij blijft een deel van de KV-cache in pinned RAM, waardoor ongeveer 8,30 GiB GPU-expertcache beschikbaar komt; zonder streaming was dat 5,34 GiB en lag de gemelde snelheid op 69,8 tok/s. De cijfers komen uit één zelfgebouwde opstelling, dus ze zijn geen algemene Strata-benchmark.

De scherpe beperking zit bij parallelisme. Twee 256K-slots met streaming werden binnen een Dockerlimiet van 58 GiB telkens door een container-OOM afgebroken, zowel met als zonder batched MTP. Eén slot rondde wel kalibraties af. Eerdere runs zonder zulke limieten leidden volgens de auteur zelfs tot een host die zo vastliep dat een fysieke reboot nodig was. Wie langlopende agents op beperkte consumentenhardware plant, moet dus niet alleen decode meten: reserveer RAM voor model, KV-cache, browser- en documentdiensten, en test contextwissels en concurrency onder een harde memory cgroup.

Dit is een concrete aanvulling op de ochtendupdate van gisteren, die PolyStrata’s bredere modelondersteuning behandelde. Hier gaat het om een echte lange-context- en agentworkload, met gerapporteerde faalgrenzen in plaats van alleen korte snelheidsmetingen. Volledige testopzet, loggegevens en beperkingen

Decompilatie-agents kregen pas grip met een harde binary-oracle

Een team beschrijft drie maanden agentwerk aan een niet nader genoemd first-person-shooterproject. In de eerste maand maakten vier agents een groot deel van de code leesbaar en opstartbaar, maar de reconstructie bleek volgens de makers semantisch vaak fout: verkeerde types, signatures en structlayouts, verzonnen logica en onnodige architectuurwijzigingen. Een reviewagent ving dat onvoldoende af, mede omdat er geen machineleesbare definitie van correctheid was.

De omslag kwam met een verificatiescript dat het gecompileerde objectbestand per functie vergelijkt met de oorspronkelijke executable. Relocaties worden apart gevalideerd, zodat adresafhankelijke bytes geen vals verschil opleveren. Het team moest daarnaast voorkomen dat agents de controle omzeilden met inline assembly of wijzigingen aan het script; CI controleert daarvoor de hash van de verifier. De auteurs melden uiteindelijk 99% aanwezige functies en 83% byte-exacte functies, na bijna twee extra maanden werk met veertien goedkopere workeragents en twee sterkere agents.

De interessante les voor breder agentwerk is de oracle, niet de uitzonderlijke schaal of het tokenverbruik: een reviewer die alleen code en motivatie leest, is geen objectieve acceptatiegrens. De HN-discussie wijst terecht op een alternatief: functionele equivalentie met emulator- of VM-tests kan sneller zijn, maar hangt dan af van volledigheid van de testsuite. Bytegelijkheid is strenger en kan ook bestaand foutgedrag behouden, maar maakt compiler- en registerkeuzes duurder om te reproduceren. Projectverslag met harness en resultaten · HN-discussie

Talorys bouwt een persoonlijke agent in één Cloudflare-account

Talorys is een MIT-gelicentieerde, single-user persoonlijke assistent die met één installcommando in het eigen Cloudflare-account wordt uitgerold. Het combineert chat, bewerkbaar geheugen, taken, notities, projecten en geplande reminders. De architectuur gebruikt Pages voor de interface, een niet-publieke Worker achter een service binding en een Durable Object met SQLite voor de staat; Workers AI levert volgens de documentatie de modelcalls en toolcalling.

Het project is vooral interessant als compact referentie-ontwerp voor een persoonlijke agent: data en deploymentresources zitten niet bij de projectmaker, de worker heeft geen publieke URL en de installatie maakt een ownerwachtwoord plus sessiegeheim aan. Ook zijn er grenzen voor output, context, toolcalls, AI-requests en geplande AI-runs. Zonder beschikbare Workers-AI-quota blijven taken, notities en reminders volgens de documentatie functioneren.

Noem dit niet zonder meer lokaal of volledig zelfgehost. De software draait wel in het eigen account, maar op Cloudflare-infrastructuur; Cloudflare verwerkt chatberichten en de voor een prompt gekozen memories voor Workers AI. De discussie op HN draait terecht om dat onderscheid. Controleer bovendien Cloudflare-quota, toegangsrechten voor de installatietoken, backup/herstel en de eigen threat model vóór je persoonlijke gegevens aan een agentgeheugen toevertrouwt. Repository, architectuur en securitymodel · HN-discussie

NumPy 2.5 versnelt searchsorted door zoekopdrachten in lockstep te laten lopen

NumPy 2.5 bevat een nieuwe implementatie van np.searchsorted, de binary-searchfunctie achter onder meer histogrammen en intervalopzoekingen. De bijdrage herformuleert meerdere onafhankelijke zoekopdrachten zodat ze dezelfde zoekstappen tegelijk doorlopen. Daardoor kan de CPU meerdere, anders cache-onvriendelijke geheugenreads tegelijk in vlucht hebben, zonder extra geheugen naast de uitvoer te eisen.

De auteurs rapporteren op een M1 Pro met batches van 10.000 int32-zoekwaarden maximaal 25× winst tegenover NumPy 2.4. Dat maximum hangt af van arraygrootte, datatype, cachegedrag en batchvorm; het is geen algemene versnelling voor elke aanroep. Maar het is wel een laag-risico performance-signaal voor Python-projecten met veel vectoriële lookup- of binningwerk: hermeet na de upgrade op representatieve arrays en houd rekening met andere arraybackends die dezelfde Array-API-operatie implementeren. Technische uitleg en benchmarkopzet · Lobsters-discussie

Verder nog

• Kiesel 0.4.0 breidt een Zig-geschreven JavaScript-engine uit: de release voegt commandline-argumenten en omgevingsvariabelen toe, implementeert meer iteratorhelpers en brengt polymorfe inline caches voor property access terug na een interpreterherschrijving. De maker meldt 20–30% microbenchmarkwinst voor die caches en nieuwe ports naar SerenityOS en DOS; dat zijn projectmetingen en geen V8- of JavaScriptCore-alternatief voor productie. Releaseverslag · Lobsters-discussie
• Nadella pleit voor containment als uitgangspunt voor AI: Microsofts CEO zegt dat modellen als gecompromitteerd moeten worden behandeld, met observatie, onafhankelijke audits, incidentmeldingen en een door bevoegden bedienbare stopfunctie. Dat is een beleidsstandpunt, geen aangekondigde Microsoft-feature, maar het sluit aan bij een praktisch principe voor agents: autorisatie, sandboxing en een kill switch moeten buiten de modeloutput liggen. Verslag van de uitspraken · HN-discussie