Ayhrual schreef: ↑1 mei 2026, 15:13 Ik denk niet dat de ECB of de FED de rente zullen verhogen. Inflatie is uiteraard een probleem, maar de wereldeconomieën presteren momenteel niet sterk.

KleineSpaarder schreef: ↑1 mei 2026, 15:25 stagflatie. Hoge inflatie met lage economische groei.

chesini schreef: ↑25 april 2026, 14:55 Omdat het hier af en toe ook over AGI gaat. (ref: Hands-On Large Language Models: Language Understanding and Generation
Engelstalige uitgave Jay Alammar (auteur), Maarten Grootendorst (auteur) ISBN-13 ‏978-1098150969)

In een notendop samengevat hoe een LLM Large Language Model te werk gaat.

1. De input tekst bvb "Hoeveel is 1 + 1" wordt opgesplitst in tokens (stukken tekst) - in dit geval 5 tokens

2. Elk token krijgt een tokenID - in dit geval 5 tokenIDs - de lijst van alle mogelijke tokens is de woordenschat van het model - bvb 128.000.
Tokens kunnen delen van een woord zijn, het zijn niet noodzakelijk volledige woorden.

3. Elk token krijgt een statische embeddingsvector. Deze vector heeft bvb 4096 gewichten die de basisbetekenis van het individuele token weergeven. Bvb is het een werkwoord? over welk domein gaat het? etc etc. De basisgewichten voor de ganse woordenschat van 128.000 tokens zijn bepaald tijdens het trainen van het model.

4. Aan elke token wordt de positioneringinfo in de specifieke input-zin toegevoegd.

5.Het specifieke verband tussen de tokens in de zin wordt bepaald. Hoe kijken de tokens in deze specifieke context/zin naar mekaar. Via het mechanisme bekend als self-attention. De waarden in de embeddingsvector worden aangepast. Dit gebeurt ook obv van gewichten die tijdens het trainen van het model bepaald zijn.

6.De feitenkennis/wereldkennis mbt tot elk token in de zin wordt aangevuld in de vector. Dwz dat de waarden in de embeddingsvector opnieuw worden aangepast. Dit gebeurt ook opnieuw obv gewichten die tijdens het trainen van het model bepaald zijn. Het eindresultaat is een contextuele embeddingsvector. Deze stap is ook gekend als Feed Forward FFD.

7.Voor elk token van de volledige woordenschat (128.000) wordt nu berekend wat de kans is dat dit token het volgende token in de zin zal zijn. En het token met de hoogste kans wordt weerhouden. In dit geval wordt dat dus "2".

Dus het model doet geen berekening van 1+1 = 2 maar voorspelt dat na "1+1" "2" volgt obv van de miljoenen voorbeelden in de trainingsdata.

Een model van vandaag heeft meer dan 1miljard gewichten. De gewichten van Gemini en GPT zijn bedrijfsgeheim. Maar los daarvan, zelfs al zou je ze kunnen bemachtigen, dan sta je wellicht nog niet ver. Want je weet niets over de gebruikte trainingsdata en testdata, je weet ook niets over de specificiteiten van het model.

Bij gelegenheid zullen we nog wat dieper ingaan op self-attention en feed forward. Deze stappen 5. en 6. zijn bekend als Transformer (Generative Pretrained Transformer GPT).

Je kan een en ander proberen volgen door de nodige vragen te stellen/stappen op te vragen aan het LLM zelf.