Splash 1.1.0 opent zijn modelinvoer; lokale beslismodellen en disk-tiering krijgen nieuwe proefpaden

Splash 1.1.0 verbreedt de lokale Apple-Silicon-route met GGUF-ondersteuning en MLX-import, terwijl de eerdere M1-kernelwinst nog altijd apart op eigen taken moet worden geverifieerd. Tegelijk verschijnen er twee smallere lokale AI-paden: een beslismodel dat in één forward pass meerdere vaste keuzes scoort, en een experimentele disk-tier voor MoE-experts die niet in RAM passen.

Splash 1.1.0 haalt GGUF en MLX naar dezelfde engine

Splash 1.1.0 is uitgebracht met ondersteuning voor GGUF-quants en het importeren van MLX-modellen, volgens de releaseverwijzing in de aankondiging. Daarmee wordt de engine minder afhankelijk van zijn eigen modelpakketten: wie al een lokale GGUF- of MLX-voorraad heeft, krijgt in beginsel een nieuw runtimepad om naast de bestaande stack te testen. Release · aankondiging

Dit is een daadwerkelijke volgende stap na de namiddagupdate van vandaag: daar ging het om een communityfork die M1-attention en MoE-kernels verving; 1.1.0 verandert nu de invoer- en compatibiliteitsroute van de officiële engine. Het maakt de eerder gemelde M1-snelheden niet automatisch overdraagbaar naar iedere GGUF of MLX-import. Quantformaat, draftmodel, cache, contextlengte en de gebruikte kernels kunnen de uitkomst veranderen.

Praktisch: behandel de import als een migratieproef. Vergelijk op dezelfde prompts niet alleen decode, maar ook koude prefill, lange sessies, toolcalling en uitkomstkwaliteit. Dat is belangrijker dan een piekgetal, zeker als een bestaande MLX- of GGUF-server al goed in een agentworkflow past.

Intern-Decision scoort meerdere vaste keuzes zonder tekstgeneratie

Intern-Decision verschijnt in 0,8B-, 2B- en 4B-varianten, met de 4B-versie als multimodaal, op Qwen3.5-4B gefinetuned beslismodel. Het neemt een gedeelde toestand, een schema met vragen en optioneel beelden in, en leest logits vóór vooraf aangebrachte antwoordplaatsen uit. Daardoor kan het per request meerdere antwoordverdelingen teruggeven zonder vrije tekst te genereren.

De interface ondersteunt keuzevragen, scores en binaire beslissingen; de documentatie begrenst een request op 1–16 vragen, maximaal 62 opties per vraag en standaard 8.192 inputtokens. Dat is bruikbaar voor bijvoorbeeld documenttriage, toolrouting of een vooraf gedefinieerde reviewstap: je krijgt een getypeerde verdeling terug in plaats van tekst die daarna opnieuw geparsed moet worden. Maar het is geen algemene agent of veiligheidsgrens; de antwoordruimte en de policy eromheen blijven door de integrator bepaald.

De modelkaart rapporteert voor 4B onder meer 44 ms mediane latency op één RTX 4090 via het lokale Hugging-Face-pad, plus eigen benchmarks en een afzonderlijk gekalibreerde temperatuur. Die cijfers zijn projectmetingen, geen onafhankelijke vergelijking. Opvallend is ook dat de enige genoemde backend voorlopig hf is. Meet dus vooral eigen foutkosten en calibratie — en houd onomkeerbare acties achter deterministische checks en expliciete goedkeuring. Modelkaart, gewichten en code · Reddit-discussie

Overspill probeert MoE-experts vanaf disk bruikbaar te houden

Overspill is een experimentele laag voor FreeToken die experts die niet comfortabel in RAM passen via disk toevoegt. De maker gebruikt mmap, de Linux-pagecache en madvise(WILLNEED) om gerouteerde experts eerder en parallel vanaf NVMe in te lezen. In de beschreven test bleven embedding- en outputlagen in RAM; de disk-route rekende de experts op de CPU.

Op één Windows/WSL2-machine met RTX 3060 12GB, Ryzen 9 7900, 64GB DDR5 en NVMe rapporteert de auteur voor een circa 85GB DeepSeek-V4-Flash-variant 2,8–3,4 tok/s, tegenover 0,4–0,5 tok/s in diens llama.cpp-opstelling en 1,1–1,2 tok/s in Colibri. De gewichten buiten de experts en de runtimes zijn daarbij niet bit-identiek. De auteur noemt zelf bovendien één request tegelijk, WSL2 en één machine; de cijfers hangen sterk af van AVX-512, RAM, SSD en pagecache.

Dit is een inhoudelijk vervolg op de namiddagupdate van dinsdag, waar een FreeToken-fork vooral extra modelpaden en een wisselvallig MTP-resultaat bracht. De nieuwe ontwikkeling is de disk-tier voor experts, niet een bewezen algemene versnelling. Interessant voor wie al met grote MoE’s buiten VRAM experimenteert, maar begin met koude én warme runs, controleer disk-I/O en vergelijk taakuitkomst; circa 3 tok/s blijft voor veel interactieve agenttaken een harde grens. Experiment en meetnotities

BeeNara probeert documentrouting ook te laten weigeren

BeeNara is een 332MB ONNX-cross-encoder voor lokale documentclassificatie met zelfgekozen mapnamen. Het onderscheidende ontwerp is een expliciete uitkomst ‘none fits’: wanneer geen aangeboden categorie passend genoeg is, moet de applicatie een document voor menselijke beoordeling kunnen vasthouden in plaats van het zelfverzekerd verkeerd weg te schrijven.

Volgens de maker draait het CPU-only in ongeveer 0,2–0,3 seconde per document, werkt het met Engelstalige en Duitstalige documenten en haalt het 96,8% recall wanneer de juiste map in de eigen benchmark ontbreekt. Een toelichting in de discussie maakt onderscheid tussen ‘geen categorie past’ en een ambigue voorspelling: bij meerdere plausibele categorieën kan de voorspellingsset eveneens naar review wijzen. Dat is voor een archiefworkflow nuttiger dan één hoogst scorende mapnaam, maar geen bewijs dat OCR-fouten, onbekende talen of slecht gescande documenten goed worden afgehandeld.

De benchmark en het model komen van de maker; er is geen onafhankelijke evaluatie beschikbaar in deze context. Test daarom op echte eigen documenten, met in het bijzonder bewust ontbrekende categorieën en een veilige inbox voor twijfelgevallen. Aankondiging en uitleg

Verder nog

• PipePipe is een harde NewPipe-fork met een andere advertentiekeuze: het Android-project staat los van NewPipe sinds 2022 en voegt onder meer SponsorBlock, Return YouTube Dislike, filtering en achtergrondweergave toe. De HN-discussie maakt de breuk concreet: NewPipe kiest er principieel voor sponsorsegmenten niet te blokkeren, terwijl PipePipe dat wel doet. Dat levert keuzevrijheid op, maar controleer zelf releases, cookies en de actuele compatibiliteit; een fork erft niet automatisch de veiligheids- of onderhoudsgaranties van het oorsprongsproject. Project · HN-discussie