Hardvérová atestácia na end-to-end šifrovanú AI inferenciu
Hype? Je to naozaj bezpečné? Dáva to zmysel pre niektoré použitia, alebo je lokálna AI jednoznačne lepšia?
Obsahuje výsledky ...
> Skutočná medzera v použiteľnosti je volanie nástrojov (tool calling). E2EE cesta nedokáže preniesť štruktúrované parametre volania nástrojov, pretože API nepodporuje ich šifrovanie. Knižnica sa musí spoliehať na odhadovanie tool callov z čistého textu odpovede modelu, čo je zo svojej podstaty nespoľahlivé. Spustíte niečo agentické ako opencode cez toto, a vydrží to zopár výmen, potom sa to rozpadne. Toto je prvá vec, ktorú by som na mieste Venice riešil: šifrované volanie nástrojov, a E2EE cesta prestane byť kuriozitou a stane sa niečím, cez čo by ste mohli reálne denne bežať agentov.
To mi nějak nedává smysl - tools se přece vždy vykonávají na klientovi, pokud tam není nějaká ta vrstva kde v cloudu je ten agentní loop (Perplexity Computer, Codex, …). OpenCode je vždy jen na klientovi.
Jestli se ti tool calls po pár kolech rozbíjejí, tak to je vlastnost příliš hloupého modelu pro tools a bude se to stávat bez ohledu na to kde agent běží nebo jestli tam je omezení plynoucí z TEE.
Prakticky tools dobře zvládají až GLM 5.2 nebo Kimi 2.8. Ale překvapivě dobře (na tu velikost) fungují tools s Apple Foundation model co je v macOS a je velký jen asi 2b.
To mi nějak nedává smysl - tools se přece vždy vykonávají na klientovi, pokud tam není nějaká ta vrstva kde v cloudu je ten agentní loop (Perplexity Computer, Codex, …). OpenCode je vždy jen na klientovi.
Jestli se ti tool calls po pár kolech rozbíjejí, tak to je vlastnost příliš hloupého modelu pro tools a bude se to stávat bez ohledu na to kde agent běží nebo jestli tam je omezení plynoucí z TEE.
Prakticky tools dobře zvládají až GLM 5.2 nebo Kimi 2.8. Ale překvapivě dobře (na tu velikost) fungují tools s Apple Foundation model co je v macOS a je velký jen asi 2b.
1