Prompt Engineering za poslovne korisnike

Probabilistički papagaj — i zašto to nije uvreda

LLM (Large Language Model) u suštini predviđa koji token (dio riječi) dolazi sljedeći, na osnovu statistike iz ogromne količine teksta. Ovo zvuči trivijalno — ali kada trenerirate na svom tekstu čovječanstva, te statistike enkodiraju ogromnu količinu znanja i vještina.

Šta je kontekstni prozor

Model 'vidi' samo ono što je u kontekstnom prozoru — tekst razgovora do tog trenutka. Claude 3.5 ima 200,000 tokena (~150,000 riječi). GPT-4o ima 128,000 tokena. Ovo direktno utiče na strategiju: dugi dokumenti moraju biti rezani ili sumirani prije unosa.