Claude 3.5 Sonnet

Přehled modelu Claude 3.5 Sonnet od Anthropic se zaměřením na technické parametry, podmínky použití a specifika provozu v AWS Bedrock.

Co je Claude 3.5 Sonnet

Claude 3.5 Sonnet je pokročilý model od Anthropic, zařazený do rodiny Claude 3.5. Umožňuje složitější úlohy — jako jsou vícekroková logika, analýza dokumentů, generování kódu, rozumění obrazu (v některých případech) a textová extrakce — a přitom se snaží udržet vyváženost mezi výkonem a odezvou. Amazon Web Services, Inc.+2Anthropic+2

Je nasazen prostřednictvím služby AWS Bedrock, což znamená, že uživatelé (firmy i vývojáři) model využívají přes cloudové API, nikoli že by museli model hostovat sami. Bedrock zajišťuje infrastrukturu, škálování, bezpečnost a správu modelu. Amazon Web Services, Inc.+2Amazon Web Services, Inc.+2

---

Technické parametry a schopnosti

Parametr / schopnost	Hodnota / popis
Model ID	anthropic.claude-3-5-sonnet-20240620-v1:0 — to je identifikátor, který je třeba zadat při volání modelu. Amazon Web Services, Inc.+2AWS Documentation+2
Kontextové okno (context window)	Základně 200 000 tokenů — to znamená, že model dokáže pracovat s velmi dlouhým vstupem najednou: velké dokumenty, příběhy, konverzace apod. Anthropic+2AWS Documentation+2
Modalita vstupu / multimodality	Model podporuje textový vstup a také obrázky – zvláště u vizuálních úloh (diagramy, grafy, text na obrázcích) je schopen je analyzovat. Amazon Web Services, Inc.+2Amazon Web Services, Inc.+2
Výstupy	Text / chat – tedy generuje odpovědi na textové vstupy; v režimu konverzace (Messages API) i v režimu jednorázového generování (Text Completion) podle použití. AWS Documentation+1
Podpora streamingu	Ano — model lze volat tak, že odpověď je doručována postupně, během generování. To umožňuje uživateli vidět výstup průběžně, ne až po skončení zpracování. To je užitečné pro delší odpovědi. AWS Documentation
Využití PDF dokumentů a citací	Model podporuje práci s dokumenty PDF a vytváření citací z těchto dokumentů, pokud jsou v promptu poskytnuty. AWS Documentation

---

Provoz a podmínky použití v AWS Bedrock

• Dostupnost modelu Model Sonnet 3.5 je uveden jako dostupný v AWS Bedrock. Uživatelé si musí zajistit, že mají v daném regionu službu dostupnou a modelu přístup (model access). Amazon Web Services, Inc.+1

• Volání API Používá se prostřednictvím operací jako InvokeModel nebo InvokeModelWithResponseStream (pro streaming). Pro konverzační aplikace se často využívá Messages API, které umožňuje předat historii chatu („role“: uživatel / asistent) předtím, než model vygeneruje odpověď. AWS Documentation

• System prompts Je možné využít tzv. systémové instrukce (system prompt) – např. definice role nebo stylu, v jakém má model odpovídat. To platí pro Sonnet i pro novější modely. AWS Documentation

• Maximální doba zpracování / timeout Modely Anthropic Claude mají limit pro inference volání, tj. maximální dobu, po kterou může požadavek běžet. Pro standardní operace je vhodné nastavit klientské timeouty (např. v SDK) dostatečně vysoko, zvláště pokud se pracuje s velmi dlouhým vstupem nebo vizuálními daty. AWS Documentation+1

• Regulace a bezpečnost Jelikož je Sonnet provozován v AWS Bedrock, AWS poskytuje prvky jako šifrování komunikace, šifrování dat v klidu (data at rest), kontrolu přístupu (Identity and Access Management – IAM), auditní logy apod. To je důležité zejména v podnikových nebo regulovaných prostředích. (Toto jsou obecné vlastnosti Bedrocku a platí i pro Sonnet.) Amazon Web Services, Inc.+1

• Regionální omezení Ne ve všech AWS regionech může být model dostupný. Uživatel by měl zkontrolovat, zda je model dostupný v regionu, kde provozuje svou aplikaci. AWS Documentation+1

---

Silné stránky a omezení

Silné stránky

• Velké kontextové okno umožňuje udržet smysl / návaznost v dlouhých dokumentech či konverzacích.

• Vysoká přesnost v náročnějších úlohách — rozumí složitým instrukcím, dokáže extrahovat data z vizuálů, dobře generuje a upravuje text či kód.

• Dobrý kompromis mezi výkonem a rychlostí — není to nejrychlejší model, ale nabízí lepší kvalitu než lehčí modely, při rozumném čekání.

• Flexibilita: můžete ho použít pro konverzační chatboty, jako i pro jednorázové generování či sumarizaci textu.

Omezení

• I když kontextové okno je velké, není nekonečné — pokud vstup (nebo historie konverzace) přesáhne daný limit, může být nutné části textu vypustit nebo jinak zkrátit.

• U velmi složitých vizuálních úloh nebo velmi rozsáhlých dokumentů může být odezva delší než u modelů optimalizovaných pro rychlost.

• Přístup a kapacita mohou být omezeny regionem nebo kvótami ze strany AWS; aplikace musí počítat s možností limitu volání, režimu čekání, případného frontování.