Financiële chatbots falen in consumententest; Bonsai 2 krijgt zwaardere praktijktegenwind

Een nieuw onderzoek naar financiële chatbotantwoorden is een waarschuwing voor iedereen die een model als persoonlijke adviseur inzet: de geteste modellen kregen per vraag vijf pogingen, maar de kopconclusie luidt dat antwoorden meestal fout zijn. Tegelijk groeit de afstand tussen Bonsai 2’s compacte benchmarkverhaal en gebruikerservaringen met lange, praktische taken. Voor lokale experimenten is er ook een veel vroegere, maar interessante route: een model dat tijdens training experts laat groeien en snoeien op 8GB VRAM.

Financiële chatbots: een antwoord is geen advies

Een door de Financial Times aangehaald onderzoek concludeert dat AI-chatbots op financiële consumentenvragen meestal verkeerde antwoorden geven. Volgens de in de HN-discussie geciteerde rapportmethode kreeg elke vraag vijf uitvoeringen per model — 600 antwoorden per model en in totaal meer dan 10.000 beoordeelde antwoorden — in een zero-shotopzet zonder voorbeelden, gesprekshistorie of herstelbeurt. Artikel via HN

Dat is vooral relevant voor productteams die een chatbot in een financiële flow, medewerkersportaal of klantenservice willen zetten. Een overtuigende formulering is geen controle op actuele belastingregels, persoonlijke uitzonderingen of rekenwerk. Houd daarom een bronverwijzing, datum en menselijke escalatie in de flow, en laat een model niet zelfstandig transacties of productkeuzes uitvoeren.

De beschikbare context bevat niet de volledige rapporttabel, de onderzochte modellen of iedere vraagcategorie; de kopconclusie is dus geen ranglijst van huidige chatproducten. Ook meet deze opzet basismodellen zonder browsing, rekenhulpmiddelen of herstelstappen. Dat zijn mogelijke verbeterlagen, maar geen vrijbrief: juist dan moeten bronselectie, toolrechten en verificatie aantoonbaar zijn.

Bonsai 2: compacte footprint blijft botsen met praktisch gedrag

Een gebruiker draaide Ternary Bonsai 2 op een RTX 4060 met 8GB VRAM en 16GB RAM, met reasoning uit en een eigen set van achttien vragen. De post rapporteert een hoge eigen score en benadrukt dat het model geheel in het VRAM past, maar de reacties melden juist herhaaldelijk loops, verwarring en zwakke beslissingen in praktische inzet. Een andere recente draad noemt als mogelijke inzet hooguit een specialistische fallback voor moeilijke taken, vanwege snelle degradatie bij grotere context en veel redeneertokens. Testopzet en reacties · ervaringen en afwegingen

Dat is een concreet vervolg op de einde-dagupdate van zaterdag 19 september, waarin Bonsai op vier UI-taken al fors meer tijd en outputtokens gebruikte dan een grotere Qwen-quant. De nieuwe ontwikkeling is niet nóg een leveranciersscore, maar een kleine 8GB-proef plus meerdere onafhankelijke gebruikerssignalen dat een goede compacte score niet automatisch een stabiele agent- of chatsessie betekent.

Trek er geen algemene kwaliteitsuitspraak uit: de 18 vragen zijn handgemaakt en handmatig beoordeeld, terwijl de negatieve ervaringen anekdotisch zijn. Wel is de testvolgorde duidelijk voor wie 8GB als harde grens heeft: meet eigen toolcalls en lange context naast een reguliere kleine MoE of quant, tel interrupts en outputvolume mee, en beoordeel niet alleen bestandsgrootte of tok/s.

Verder nog

• Mini-AGI probeert continueel trainen op een laptop: het open experiment laat tijdens een batch-1-datastroom MoE-experts toevoegen en ongebruikte experts verwijderen; de auteur traint op een RTX 3070 Laptop GPU met 8GB VRAM en zegt dat de gewichten nog niet klaar zijn. De maker erkent bovendien dat het huidige model te klein en onvoldoende getraind is voor generalisatieclaims. Interessant als inspecteerbare onderzoekshypothese over geheugen en groei, niet als bruikbaar basismodel. Show HN, code en discussie
• MCP als grens rond tools, niet slechts als API-omhulsel: een HN-discussie over de vraag of MCP overbodig is, levert een praktisch tegenargument op: laat een buitenste laag credentials beheren, alleen toegestane diensten verbinden en toolaanroepen loggen, in plaats van sleutels en een onbeperkte shell direct aan de agent te geven. Dat is een ontwerpkeuze, geen veiligheidsbewijs; de outer orchestrator blijft zelf een kritisch aanvalsoppervlak. Discussie
• Zet de onzekere laag aan de rand: het patroon ‘deterministische kern, niet-deterministische schil’ is een bruikbare manier om modelgegenereerde code te begrenzen: houd de kern zuiver en testbaar, en isoleer netwerk, tijd, randomisatie en I/O in een kleine schil. De discussie wijst terecht erop dat randomisatie niet altijd weg hoeft; een expliciete seed kan reproduceerbaarheid en testbaarheid terugbrengen. Artikel en HN-discussie