Controleer inferentieprovenance; DeepSeek V4.1 Flash versnelt op M3 Ultra

Een Reddit-onderzoek beschuldigt inference-aanbieder CrofAI ervan andere, goedkopere modellen te hebben doorgestuurd dan klanten aanvroegen; de aantijgingen zijn hier niet onafhankelijk bevestigd. Voor lokale AI is er wel een gedetailleerde M3-Ultra-vork die DeepSeek V4.1 Flash volgens de maker aanzienlijk sneller draait, met reproduceerbare scripts.

Goedkope inference vraagt om provenancecontrole

Een Reddit-post stelt dat CrofAI verzoeken voor duurdere modellen via OpenRouter naar goedkopere modellen routeerde, soms tegen een veelvoud van de onderliggende prijs. De auteur beweert ook dat de dienst daarna offline ging. Dat zijn ernstige beschuldigingen, maar de beschikbare context bevat geen onafhankelijke audit, geen verifieerbare reactie van CrofAI en geen technische reproductie buiten de analyse van de melder. Behandel ze dus als een waarschuwing, niet als vastgesteld fraudeoordeel. Melding en onderbouwing van de auteur

De praktische consequentie is wél bruikbaar: vertrouw bij externe inference niet alleen op een modelnaam en prijs. Leg representatieve prompts, responskenmerken, modelmetadata en facturering vast, en draai waar mogelijk een bekende testset langs een tweede provider of een lokale referentie. Dat bewijst niet altijd welk model draaide, maar maakt onverwachte kwaliteits- of gedragsverschillen sneller zichtbaar.

DeepSeek V4.1 Flash: M3-Ultra-vork meldt 31–41 tok/s

Een gespecialiseerde fork voor DeepSeek V4.1 Flash op een M3 Ultra met 512GB geheugen meldt bij Q4-gewichten een decode-sprong van 16,6 naar 31,3 tok/s bij 8K context, en 28,3 tok/s bij 300K. Met de ingebouwde DSpark multi-token-drafter noemt de maker 41,3 tok/s in agentturns. De repository bevat scripts, hashes en vergelijkingsfixtures; onder greedy decoding zouden de outputs byte-identiek blijven aan upstream. Metingen, ontwerp en code

Interessant is vooral waar de winst vandaan komt: minder kleine Metal-dispatches, parallelle engram-fetches en een andere selectie voor compressed attention bij lange context. De grenzen zijn minstens zo belangrijk: dit is nadrukkelijk op één model, één quant en één machineklasse afgestemd; de gewichten vragen circa 300GB RAM en de optimalisaties zijn volgens de maker uitsluitend voor de M3 Ultra. Het is dus een sterk reproduceerbaar specialisme, geen algemene Mac-versnelling.

fast_float zoekt fix voor foutieve float16-parsing

Daniel Lemire wijst op een mogelijk exactheidsprobleem in fast_float bij het parsen naar float16_t: sommige numerieke strings zouden tussen twee representabele waarden vallen en niet altijd correct worden afgerond. De library wordt volgens zijn post onder meer gebruikt in GCC en MySQL; een bijdrager zegt inmiddels een eerste PR te hebben ingediend, die Lemire nog gaat beoordelen. Melding en PR-discussie

Dit is nog geen securityadvies of bevestigde upstream-fix. Voor teams die half-precision invoer parsen, is het wel een concrete reden om de issue/PR te volgen en grenswaarden in eigen tests op te nemen, in plaats van de melding meteen als brede corruptieclaim te behandelen.

Een computer-use-score meet mogelijk vooral de harness

In een vergelijking waarin GPT-5.6 Astra en Qwen3.8 Max een afbeelding in Paint moesten namaken, constateert Sebastian Raschka na kritiek dat de click-laag veel van de uitkomst kan bepalen. Hij meldt bovendien dat beide runs ongeveer twintig minuten duurden, terwijl pixelgelijkenis verschillende strategieën toch anders waardeerde. Vergelijking · nuancering over de harness · gelijke looptijd

Dat maakt dit geen bewijs dat een model beter is in computer use. Voor eigen agent-evaluaties ligt de les in de meetopzet: rapporteer naast eindscore ook wall-clock-tijd, aantal acties, foutsoorten en de gebruikte interactielaag. Anders kan een benchmark vooral de standaardstrategie van de harness belonen.

Verder nog

BirdNET-Go als e-inkobject: een maker koppelde een microfoon en de open-source vogelgeluidsclassifier BirdNET-Go aan een e-inkframe. Het scherm ververst alleen wanneer de gedetecteerde vogelset wijzigt en gebruikt ruim 800 publieke-domeinillustraties voor meer dan 400 soorten. Een aardig, concreet voorbeeld van een lokale classifier als onderdeel van een fysiek project. Show HN en toelichting