Infernix kiest eigen cachepad voor lokale Qwen-inference; kennisupdates en GGUF-training in beweging

Infernix presenteert een nieuwe, smalle runtime voor Qwen 3.8 op RTX-50-GPU’s, met een eigen verdeling van experts en cache over VRAM, RAM en SSD. Daarnaast komen er twee experimentele bouwblokken bij: een lokale agentharness die kleine modellen rond hun contextgrens organiseert, en onderzoek naar gerichte kennisupdates in conditionele geheugenlagen.

Infernix combineert expertcache, RAM en SSD voor Qwen 3.8

Infernix is een nieuwe C++/CUDA-engine voor Qwen 3.8 op één RTX-50-serie-GPU, afgestemd op een RTX 5090. Voor Flash Next bewaart het project gerouteerde experts in pinned systeemgeheugen, houdt het veelgebruikte experts in VRAM, laat het een deel van misses op de CPU uitvoeren en leest het de n-gramtabel vanaf NVMe. Voor de 27B-variant gebruikt het een prefixcache in GPU, RAM en een bestand dat een restart kan overleven.

Dat is een concreet nieuw runtimepad naast de eerder behandelde cachewerkzaamheden in llama.cpp en Strata: Infernix combineert expertresidency met persistente contextcache, speculative decoding en OpenAI-, Anthropic- en constrained-decoding-API’s. Praktisch interessant voor lokale agentworkflows is vooral dat de engine expliciet toolcalls, kapotte toolcall-herstel en meerdere gelijktijdige requests adresseert — niet alleen een losse decodebenchmark.

De claims vragen wel om voorzichtigheid. De maker vergelijkt Flash Next met Strata op één Windows-machine met een RTX 5090, 96 GB DDR5 en PCIe Gen5 x8, maar gebruikt daarbij verschillende quantisaties en native artefacten. In een eigen agentic replay meldt hij gemiddeld 5,9 tegenover 32,9 seconden tot de eerste token en 7,8 tegenover 22,3 minuten totale looptijd; dat is geen zuivere engine-onlyvergelijking. De repository waarschuwt bovendien zelf dat het hobbyontwikkeling is en dat veel documentatie AI-gegenereerd is. Zie dit dus als een interessante, inspecteerbare proefroute voor precies deze hardwareklasse; valideer tokenpariteit, lange context, PCIe-druk en toolgedrag eerst zelf. Repository, architectuur en benchmarkopzet · Reddit-discussie

Atomic Agent bouwt lokale agents rond cachehergebruik en begrensde context

De makers van Atomic Agent beschrijven een desktopagent die kleine lokale modellen als uitgangspunt neemt. De kernkeuzes zijn een byte-identieke promptprefix voor systeeminstructies en tools, sessiestaat buiten het model, samenvatten bij een volle context en grammar-constrained JSON-toolcalls. Browserinvoer zou als compacte accessibility tree binnenkomen in plaats van als screenshot.

Dat is vooral een bruikbaar harnesspatroon: een vaste prefix kan KV-cachehergebruik sterk verbeteren, maar is kwetsbaar voor ogenschijnlijk onschuldige wijzigingen zoals een andere toolvolgorde of tijdstempel. Een reactie stelt daarom terecht voor om per beurt de prefixhash te controleren. De post zegt dat een Qwen3.5-4B-chat van 128K tokens met TurboQuant op één M5-machine 800 MB cache gebruikte in plaats van 4 GB; ook de gemelde daling van antwoordstart van minuten naar circa een seconde is een eigen meting, geen onafhankelijke benchmark.

De desktopbuild vraagt volgens de maker bevestiging voor schrijfacties en commando’s, maar dat vervangt geen OS-sandbox of egressbeleid. Bovendien staat anonieme gebruiksanalytics standaard aan, al zegt de maker dat inhoud, bestandspaden en API-sleutels niet worden verstuurd en dat dit uit kan. Voor wie kleine modellen agenttaken laat doen is dit vooral een goede lijst om op de eigen harness toe te passen: cache-invarianties testen, tooloutput kort houden, loopdetectie inbouwen en permissies niet aan de modelprompt overlaten. Ontwerp, beperkingen en Reddit-discussie

EngramEdit onderzoekt wijzigbare feiten zonder het hele model te hertrainen

De preprint EngramEdit richt zich op modellen met conditionele memory: n-grams kiezen daarbij embeddings uit een geheugentabel naast de gewone transformergewichten. De auteurs willen feiten aanpassen door juist die gedeelde embeddinglagen te wijzigen, terwijl zij veelgebruikte embeddings zwaarder beschermen om neveneffecten op andere kennis te beperken.

Interessant aan die richting is de onderhoudsvraag: als kennis niet alleen diffuus in de transformer zit, kan een gerichte correctie in beginsel kleiner en beter afgrensbaar zijn dan opnieuw fine-tunen. De auteurs claimen bijna perfecte edit-succes, werking bij nieuwe formuleringen en ongeveer driemaal de accuracy van hun sterkste baseline bij chain-of-thought-prompts. Maar dit zijn resultaten uit een preprint; de Reddit-post en één reactie zijn geen onafhankelijke reproductie of bewijs dat tabellen veilig verwisselbaar zijn in algemene productiemodellen.

De code en modelartefacten maken het wel een concreet onderzoeksobject. Wie zulke geheugenlagen inzet, zou niet alleen de nieuwe feitelijke claim testen, maar ook paraphrases, meerstapsvragen, oude feiten, veelgebruikte n-grams en regressie op niet-gerelateerde kennis. Paper · code · Reddit-signaal

Verder nog

• Git SHA-256 met submodules vraagt een expliciete mapping: waar de namiddagupdate van vrijdag 2 oktober de overgang vooral als compatibiliteitsvraag behandelde, beschrijft een nieuwe praktijkhandleiding hoe fast-export- en fast-import-marks met --rewrite-submodules-from en --rewrite-submodules-to de object-ID’s van een gemigreerde submodule kunnen herschrijven. De auteur waarschuwt dat commits die niet meer vanaf actuele refs bereikbaar zijn apart moeten worden meegenomen, en noemt een in-place Forgejo-route zelf een hack die exacte commitlinks breekt. Test daarom in een kopie, inclusief alle submodules, mirrors, CI en handtekeningen. Handleiding · Lobsters-discussie
• LoRA boven een GGUF-basismodel voor Flash Next: een ontwikkelaar meldt een recept waarmee Qwen3.8 Flash Next met circa 40 GiB VRAM zonder CPU-offload wordt getraind, met de grote engramlaag op schijf. Hij koppelt dat aan eerste GGUF-ondersteuning in Transformers 5.18 en noemt 9,5 seconden per stap op Strix Halo bij chunks van 2.048 tokens. Dat zijn nog uitsluitend eigen cijfers en code; zie het als experimentele QLoRA-route, niet als een bewezen trainingsbaseline. Repository · Reddit-post