Unsloth brengt Laya lokaal naar Desktop; Cloudflare opent een CLI voor zijn hele API

Unsloth maakt lokale Laya-beslismodellen nu bereikbaar vanuit zijn Desktop-app, inclusief een Jev-compatibele endpoint. Cloudflare zet daar een nieuwe agentgerichte CLI tegenover die uit API-schema’s meer dan drieduizend operaties afleidt — praktisch, maar ook een reden om rechten en testaccounts scherp te begrenzen.

Verder komt er een nieuwe open 4B-beslismodelroute met beeldinvoer, en laat een dual-GPU-fork zien dat decode-snelheid en prefill bij lokale tensor parallelism uiteen kunnen lopen.

Unsloth Desktop krijgt lokale Laya-route en uitgebreidere MLX-server

Unsloth v0.1.900-beta voegt ondersteuning toe voor Laya-beslismodellen in de Desktop-app. Volgens de release kan die lokale modellen voor ja/nee-, meerkeuze- en scorevragen serveren via een Jev-compatibele /v1/systemone-endpoint; de API is in de instellingen in te schakelen en ondersteunt ook de TypeSafe SDK. De release noemt CPU- en GPU-keuze en een native MLX-pad op Apple Silicon.

Dat is nuttig voor wie een vaste-keuzelaag — bijvoorbeeld documentrouting, scorevragen of toolselectie — naast een lokale agent wil zetten zonder zelf een aparte server te koppelen. De beta brengt daarnaast MLX-batched serving, grammar-begrensde response_format-uitvoer, KV-cachequantisatie voor sliding-windowmodellen en een Skills-editor. Voor agentruns noemt de changelog ook een minimale OS-sandbox voor Python- en terminaltools op Linux en macOS, plus een correctie die netwerkverzoeken uit de Python-tool niet langer de host-allowlist laat omzeilen.

De omvang van de release is tegelijk een reden om voorzichtig te upgraden: het is een beta met veel veranderingen in Desktop, modelcompatibiliteit en training. De gemelde versnellingen voor beeld- en videogeneratie — bijvoorbeeld circa 4,5× voor LTX-2.3-clips en 1,7–6,3× bij VAE-decodering — zijn releaseclaims voor specifieke workflows en hardware, geen algemene inferencebelofte. Test dus eerst API-compatibiliteit, toolrechten, modeltemplates en eigen lange sessies. Release notes

Cloudflare bouwt cf vanuit zijn API-schema — agentvriendelijk, maar met een groot bereik

Cloudflare lanceert cf als open-bèta-CLI voor zijn volledige API-oppervlak. Waar Wrangler volgens het bedrijf ongeveer 280 commandopaden had, moet cf via de interne Forge-pijplijn meer dan 3.000 API-operaties ontsluiten. De CLI genereert commands uit OpenAPI-schema’s, gebruikt JSON als standaarduitvoer en biedt cf cli search om met natuurlijke taal een passende opdracht te vinden.

Voor agentgebruik is vooral de combinatie van commandodiscovery en machineleesbare uitvoer relevant: een agent hoeft minder tabeluitvoer te interpreteren of zelf een onbekende API-route te reconstrueren. Cloudflare koppelt dit aan cloudflare.config.ts, een getypeerd configuratieformaat voor Workers dat het met LSP-ondersteuning makkelijker moet maken om configuratie te controleren en te wijzigen. cf migrate kan bestaande Workers volgens de aankondiging naar dat pad helpen verplaatsen; voor sommige bestaande builds blijft cf naar Wrangler delegeren.

De keerzijde is precies het voordeel: één tool kan volgens Cloudflare ook domeinen, WAF, DNS, Workers en toegangsbeleid beheren. Geef een agent daarom niet achteloos een breed productietoken. Begin met een apart account of zone, minimale API-scopes, bevestigingsstappen voor mutaties en auditlogs. De CLI is nog open bèta; de HN-discussie bevat slechts zeven opgeslagen reacties en levert geen onafhankelijke volwassenheids- of securitybeoordeling. Cloudflare-aankondiging · HN-discussie

ImaJev-4B combineert vaste keuzes met maximaal twee beelden

Een ontwikkelaar publiceert ImaJev-4B, een Apache-2.0-gelicentieerde LoRA plus kleine decision head bovenop Qwen3.5-4B. Het model verwerkt tekst of JSON, maximaal twee beelden en gesloten vragen, en retourneert per optie kansen plus een unknown-uitkomst in één forward pass. Volgens de post draait het via MLX op een Mac of op één GPU.

Dat maakt het vooral een kandidaat voor workflows waar het antwoorddomein vooraf vastligt: een document classificeren, een beeldrubric scoren of een agent laten kiezen uit beperkte vervolgstappen. De maker meldt een eerste plaats op JevBench 1.4.2.2 wanneer accuracy, calibratie, snelheid en kosten even zwaar meetellen, maar slechts een derde plaats op accuracy alleen. Ook de genoemde 45 ms voor tekst en 120–140 ms voor beelden missen hardware- en reproduceerbare benchmarkdetails in de beschikbare post.

De relevante grens blijft dat een kansscore geen beleidsbeslissing is. De maker beschrijft zelf eerdere overfitting door een eerste finetune; het uiteindelijke resultaat berust op eigen evals en een zelf opgebouwde trainingsset. Test daarom juist onbekende, ambigue en foutgevoelige gevallen, en laat een unknown of lage marge altijd naar een veilige fallback lopen. Model, code en leaderboardlinks

Twee RTX 5070 Ti’s evenaren in één NInfer-fork de 5090 bij decode, niet bij prefill

Een ontwikkelaar meldt een tensor-parallelle fork van NInfer voor precies twee RTX 5070 Ti-kaarten. In diens opstelling met PCIe 5.0 x8/x8, zonder P2P, zou Qwen3.8-27B bij dezelfde officiële gewichten 220,0 tok/s decode met MTP halen, praktisch gelijk aan de aangehaalde 219,8 tok/s van één RTX 5090. Met afwijkende, lichtere QUASAR-QAT-gewichten noemt de post 254,5 tok/s; dat is nadrukkelijk geen vergelijking met identieke gewichten.

De minder fraaie uitkomst is prefill: bij een prompt van 7.680 tokens haalt de dual-GPU-opstelling volgens de auteur 4.956 tok/s, ofwel 59% van de gepubliceerde 5090-run. De verklaring is aannemelijk maar niet onafhankelijk gevalideerd: iedere chunk moet zonder P2P via PCIe uitwisselen. Tegen dezelfde twee kaarten met llama.cpp meldt de auteur wel circa 2,1× hogere koude prefill en 1,9× hogere decode op 184K context, maar die vergelijking is niet opnieuw gedraaid voor deze post.

Dit is een concrete nieuwe route sinds de ochtendupdate van zaterdag, die NInfer nog als single-GPU-opzet behandelde. Het is geen koopadvies voor elk dual-GPU-systeem: de test geldt voor Blackwell, exact twee kaarten, één gebruiker en een specifieke fork. Meet bij eigen hardware decode én time-to-first-token, contextgrootte, PCIe-topologie, energie en gelijktijdigheid; een agentloop met veel nieuwe repositorycontext voelt een prefill-tekort direct. Configuratie, code en meetnotities

Verder nog

• Vespper abstraheert DOCX voor agents naar drie bewerkingen: de HN-lancering beschrijft een cloud-MCP die Word-documenten als HTML-projectie laat lezen, zoeken en wijzigen, waarna een eigen finetuned model een lokale OOXML-mutatie reconcilieert. Dat kan context besparen ten opzichte van rechtstreeks XML-bewerkwerk, maar het is een productclaim: de initiatiefnemers noemen eigen benchmarks van drie toolcalls mediaan, circa 2× lagere kosten en 3× hogere snelheid. Beelden en comments worden nog niet ondersteund; documenten gaan naar de clouddienst, al noemt de post zero-data-retention en self-hosting als opties. Verifieer vooral gegevensverwerking en documentfideliteit vóór gebruik met gevoelige contracten of beleidsstukken. HN-lancering