Agentbeveiliging vraagt harde grenzen; onPanda opent tokeninspectie en een 768GB-lokale rig verkent de uiterste rand

Een nieuw paper stelt dat chain-of-thought, zelfkritiek en andere talige signalen van een LLM nooit een harde securitygarantie vormen; grenzen moeten ook standhouden wanneer je de interne redenering niet kunt lezen. Daarnaast is onPanda open source gegaan voor inspectie en bijsturing van tokens, reasoning en toolcalls. Aan de hardwarekant toont een community-opstelling met 768GB VRAM vooral hoeveel capaciteit tweedehands accelerators kunnen opleveren, niet dat zo’n systeem zonder compromissen is.

Agentsecurity: vertrouw niet op de uitleg van het model

De paper The Implications of Linguistic Illegibility for LLM Security introduceert ‘linguistic illegibility’: het risico dat wat een model zegt over zijn redenering — of wat een probe daaruit afleidt — niet betrouwbaar weergeeft welke interne berekening tot een actie leidde. De auteurs concluderen daarom dat maatregelen als chain-of-thought-monitoring, constitutionele zelfkritiek en linguïstische activation-probes op zichzelf geen sluitende sandbox kunnen vormen. Paper · Lobsters-discussie

Dat is praktisch relevant voor agents met bestanden, shells, netwerktoegang of secrets: laat toegangsbeleid niet afhangen van een model dat overtuigend verklaart dat een actie veilig is. Het voorstel schuift taint tracking naar voren: beleid kan vooraf bepalen welke systeemstatus nooit door modelafgeleide data mag worden beïnvloed. In de praktijk blijft dat een onderzoeksrichting, geen kant-en-klare bescherming. Begin daarom met beperktere, controleerbare maatregelen: minimale capabilities, expliciete approvals voor neveneffecten, gescheiden credentials en isolatie die ook werkt als de uitvoer misleidend of fout is.

Dit bouwt voort op de agentisolatie die we in de einde-dagupdate van vrijdag bespraken, maar voegt een scherpere grond toe: niet alleen een permissiemodel kan falen, ook een talige veiligheidscontrole heeft principiële grenzen. De paper levert geen onafhankelijke evaluatie van een complete taint-trackingimplementatie; behandel de voorgestelde architectuur dus als ontwerpcriterium, niet als bewezen productclaim.

onPanda maakt tokens, vertakkingen en toolcalls bewerkbaar

onPanda is als open-source tool gepubliceerd voor modelinspectie en data-annotatie. Volgens de maker kun je tijdens generatie een token aanwijzen, een alternatief kiezen of tekst aanpassen en de generatie voortzetten. De tool ondersteunt ook vertakte conversaties en het bekijken of bewerken van reasoning en toolcalls; hij kan MCP-servers en onder meer Claude Code, Codex en OpenCode koppelen. Project op GitHub · aankondiging

Dat is interessant voor wie niet alleen eindantwoorden wil beoordelen, maar wil zien waar een agent een verkeerde aanname, toolkeuze of formulering inslaat. Vooral bij lokale runtimes is dit praktisch: de maker zegt dat gangbare backends zoals vLLM, llama.cpp en Ollama logprobs kunnen leveren, die voor deze vorm van inspectie nodig zijn.

De grens is tegelijk zichtbaar: een alternatieve tokenkeuze maakt een uitkomst niet juist en kan juist hallucinaties of afwijkend gedrag forceren. De interface is daarom vooral nuttig als experimenteer-, debug- en annotatielaag; valideer veranderingen alsnog met vaste prompts, tests en echte tooluitkomsten. De beschikbare context bevat geen onafhankelijke evaluatie van compatibiliteit, privacygedrag of de kwaliteit van de browser-agent.

768GB VRAM in een thuislab is capaciteit, geen benchmark

Een gebruiker beschrijft een eigen inference-opstelling met twaalf CMP170HX-kaarten van 64GB, samen 768GB VRAM. Volgens de post draait de machine GLM5.3, DeepSeek V4.1 Flash, Qwen3.8 Flash, Qwen3.8-2.4T, Kimi K3 en MiniMax M3 via vLLM of llama.cpp; voor extra geheugen koppelt de auteur een tweede rig via fiber-RPC. Bouwverslag

De waarde van dit signaal is niet een geverifieerde prijs-prestatieclaim, maar de configuratierichting: veel gebruikte datacenteraccelerators kunnen een lokaal geheugenprobleem anders oplossen dan één nieuwe workstationkaart. Dat kan relevant zijn voor grote modelgewichten of veel gelijktijdige context, waar VRAM-capaciteit eerder knelt dan pure decode-snelheid.

Alle cruciale cijfers ontbreken hier echter: er zijn geen reproduceerbare throughputtests, exacte kosten, energieverbruik, geluidsniveau, PCIe-topologie, foutafhandeling of onderhoudservaringen. De vergelijking met een RTX 6000 Pro of Mac Studio komt van de bouwer zelf en is geen eerlijke benchmark zonder identieke modellen, quants en workloads. Zie dit dus als een inspirerend home-labexperiment, niet als een aankoop- of architectuuradvies.

Verder nog

• Cloudflare meldt nog eens 100TB RAM-besparing: het bedrijf publiceert een nieuw technisch artikel over geheugenreductie op infrastructuurschaal. De HN-discussie maakt wel duidelijk dat er debat is over de gekozen hash-aanpak en wat verdere optimalisatie zou opleveren. Zonder de volledige technische onderbouwing in de beschikbare context is de veilige les beperkt: schaal maakt kleine geheugenwinsten economisch belangrijk, maar de aanpak is niet automatisch overdraagbaar naar een eigen cache of database. Cloudflare-artikel · HN-discussie
• NASA-IBM Lunar Foundation Model: NASA en IBM hebben een open geospatial foundation-model voor maantoepassingen aangekondigd. Dat is een interessant open-modelsignaal voor planetaire beeldanalyse, maar de beschikbare context specificeert geen licentie, trainingsdata, evaluaties of inzetbaarheid buiten de aangekondigde toepassing. Aankondiging · HN-discussie