Middag

OpenAI ontsluit een wiskundecatalogus, terwijl lokale stacks hun geheugen en telemetrie heroverwegen

OpenAI heeft een publieke catalogus met 722 door een intern model geproduceerde wiskundemanuscripten gepubliceerd, maar waarschuwt zelf dat een deel nog niet formeel is bewezen. Voor lokale AI zijn er twee praktischere signalen: een gebruikersrapport over standaardtelemetrie in LMCache en een Pi-extensie die lange agentgeschiedenissen als samenvattingsboom benadert.

Ook interessant: een klein geheugenlaagexperiment zet een miljardenparameters grote lookup-tabel op NVMe in plaats van VRAM. Het is nog geen route naar betrouwbare lokale kennis, maar wel een tastbare demonstratie van waar de I/O-grens ligt.

OpenAI publiceert 722 wiskundemanuscripten — verificatiestatus verschilt per resultaat

OpenAI heeft de repository openai/math geopend met 722 manuscripten, geordend in 372 resultaatfamilies, plus bronbestanden, citations en ondersteunende proof-artifacts. Volgens de repository ontstonden de meeste resultaten uit ongeveer 4.000 opgaven die aan één niet-openbaar intern model werden voorgelegd; gemiddeld zou een geselecteerd resultaat drie uur ChatGPT Pro-thinkingcompute hebben gebruikt.

De publicatie is vooral waardevol omdat zij de verificatiegrens niet wegpoetst. Er zijn Lean-formaliseringen en een catalogus daarvoor, maar niet ieder manuscript is geformaliseerd; OpenAI schrijft expliciet dat ongeformaliseerde resultaten fouten kunnen bevatten. De repository noemt onder meer samenvattingen van modelreasoning bij werk over de irrationaliteitsexponent van π, de Mahler-conjectures en de Vlasov-Maxwellvergelijkingen.

Dat maakt dit geen lijst bewezen doorbraken en ook geen reproduceerbare modelrelease: het model zelf is niet beschikbaar, en de aangeleverde manuscripten verschillen in bewijsstatus. Wel is het nu mogelijk om specifieke claims, versiegeschiedenis en waar beschikbare formal proofs afzonderlijk te inspecteren. Voor onderzoekers is juist die scheiding tussen manuscript, formalisering en verificatieconfiguratie nuttiger dan een algemene claim over ‘AI lost wiskunde op’. Repository en verificatiecatalogus · Lobsters-discussie

Controleer LMCache op standaardtelemetrie voordat je het als volledig lokale cachelaag behandelt

Een gebruiker meldt dat een vLLM-container met de LMCache-KV-cachetier tijdens serving verbinding maakte met stats.lmcache.ai; zonder geactiveerde LMCache zou hetzelfde containerimage die verbinding niet hebben gemaakt. Volgens het rapport gaat het om ingebouwde usage telemetry die standaard aan staat. Als opt-out noemt de poster LMCACHE_TRACK_USAGE=false of DO_NOT_TRACK=1 in de containeromgeving.

Dat is relevant voor self-hosted inference, waar een cachecomponent gemakkelijk onder de radar als ‘alleen lokaal’ wordt gezien. De poster zegt echter nadrukkelijk géén payloadcapture te hebben gemaakt. Ook de stelling dat prompts, API-sleutels en KV-inhoud niet worden verstuurd, komt volgens die post uit LMCache-documentatie en is hier niet onafhankelijk geverifieerd. Behandel het dus als een concrete configuratiecheck, niet als bewijs van data-exfiltratie.

Praktisch: inventariseer of LMCache werkelijk actief is, leg de opt-out expliciet vast in deploymentconfiguratie en meet uitgaand verkeer vanuit de inferenceomgeving. Dat is bovendien een goed patroon voor alle observability- en cachelagen: documenteer niet alleen wat naar buiten zou mogen gaan, maar controleer ook wat de draaiende container doet. Gebruikersrapport met configuratie-aanwijzing

pi-optchat houdt agentgeheugen klein met een samenvattingsboom

De nieuwe Pi-extensie pi-optchat bewaart berichten in een binaire boom van samenvattingen in plaats van een chat telkens integraal te compacteren. Volgens de maker krijgt iedere beurt een begrensd overzicht — ongeveer 128 KB, oftewel ruwweg 30K tokens — met recente berichten en samengevouwen oudere delen. Heeft de agent details nodig, dan moet hij via een zoom-tool het oorspronkelijke materiaal ophalen.

Dat is een interessante variant op langlopende agentcontext: het probeert een grotendeels stabiele promptprefix te behouden en details pas bij behoefte te laden. De maker meldt daardoor 90–95% cache-hit in eigen gebruik en zegt import uit Claude Code, Codex en ChatGPT te ondersteunen; daarnaast zijn er profielen, subagents en verbonden Pi-vensters.

De ruil is wezenlijk. Een samenvatter kan relevante feiten weglaten of zelfs verzinnen, waarna een fout hoger in de boom doorwerkt. De auteur waarschuwt zelf dat kleinere modellen in zijn proeven details in samenvattingen fabriceerden en dat zwakkere hoofdmodellen soms vergeten verder in te zoomen. Er zijn geen onafhankelijke taakmetingen. Zie het daarom als een interessante orkestratielaag om op eigen taken te toetsen — inclusief contextverlies, extra toolrondes en kosten van de samenvatter — niet als een manier om contextgrenzen te laten verdwijnen. Projectpost en discussie

Klein geheugenmodel leest miljardentabel vanaf NVMe, maar prefill blijft de zwakke plek

Een hobbyproject combineert een 21M-parameter taalmodel met een lookup-tabel van 6,4 miljard parameters. Per token worden slechts enkele honderden tabelrijen gebruikt. De auteur rapporteert dat dit model, getraind op 500 miljoen Wikipedia-tokens, ongeveer het niveau haalt van een 114M dicht model uit dezelfde opzet. De tabel staat in 4-bit memory-mapped op een NVMe-SSD; op een RX 9070 zou decode daarbij circa 140 tok/s halen met 0,4 GB VRAM-gebruik.

Het interessante technische punt is dat de grote kennislaag niet resident in VRAM hoeft te zijn. Maar dat werkt niet overal even goed: bij lange prompts leidt een cachemiss per rij tot een SSD-paginalaadactie van 4 KB. De auteur ziet prefill daardoor als zwakke plek. Ook een poging om zo’n tabel achteraf aan Qwen3.5-0.8B toe te voegen leverde volgens het verslag nauwelijks meer op dan een kleine dichte uitbreidingslaag.

Dit is een klein experiment met één seed, geen nieuwe lokale modelarchitectuur voor productie. De maker zegt zelf dat de uitvoer wel vloeiend is maar feiten verzint, en wil pas op grotere schaal fact recall en gerichte correcties testen. Toch is het een bruikbare onderzoeksrichting: inspecteerbare, vervangbare tabelrijen zouden op termijn een ander onderhoudsmodel bieden dan kennis uitsluitend in dichte gewichten. Experiment, code en beperkingen

Burn 0.22 haalt backendtypen uit de gebruikers-API

Rust-ML-framework Burn 0.22.0 vervangt backendtypeparameters in de gebruikersgerichte model- en tensor-API door dispatch via het gekozen device. Daardoor draagt applicatiecode niet langer overal een B: Backend-parameter mee. Voor eigen kernels blijft de backendtrait bestaan; de release voegt een #[backend_extension]-route toe om zulke operaties in dispatch en fusion in te hangen.

De directe winst moet vooral kortere rebuilds opleveren. Burn rapporteert in twee eigen release-buildproeven een daling van 28,42 naar 4,57 seconden voor een CNN-wijziging en van 14,73 naar 1 seconde voor een transformerwijziging. Daarnaast noemt de release adaptieve memory pools, graph replay, aangepast autotunen, LoRA/QLoRA-adaptatie, ONNX-export en uitgebreidere remote-computeondersteuning.

Dit is een inhoudelijke API-migratie, geen gegarandeerde 15× versnelling voor elk Rust-project. De gemelde trainingswinst varieert in de eigen CUDA-tests op een RTX 4050 Laptop GPU sterk: 1,80× throughput voor de CNN tegenover 1,04× voor de transformer. Ook verdwijnt met AutodiffBackend een deel van de compiletime-checking richting runtime. Test daarom eerst build, eigen backendextensies, devicekeuze, geheugenprofiel en trainingspariteit vóór een brede upgrade. Burn 0.22: API-, kernel- en benchmarkdetails · Lobsters-discussie

Verder nog

  • Python 3.15: JIT valt op in een smalle RC3-meting. Een vergelijking van Python 3.15.0rc3 met 3.10–3.14, PyPy, Node en Rust ziet voor gewone CPython slechts kleine verschillen met 3.14 in twee CPU-gebonden scripts. In dezelfde opzet was de 3.15-JIT bij single-threaded Fibonacci 1,20× sneller dan de reguliere 3.15-build en bij bubble sort 1,28×; free-threading wint vooral in de vier-threadtests. Het gaat om twee kunstmatige programma’s, drie runs en één Gentoo-laptop — dus een interessant richtingaanwijzer, geen algemene upgradebelofte. Methode en tabellen · Lobsters-discussie

Deze update is gegenereerd met GPT-5.6 Terra.