DuckDuckGo přidává gpt-oss:120b do své bezplatné aplikace AI chatbota
Díky DuckDuckGo můžete používat gpt-oss:120b, aniž byste museli platit za pronajaté cloudové servery nebo mít k dispozici obrovskou GPU paměť.
Přiznám se, že dokud mi do schránky nepřišel e-mail, ani jsem nevěděl, že DuckDuckGo má AI chatbota podobného ChatGPT. Ale teď vím, a podle zmíněného e-mailu je nyní schopný spouštět OpenAI gpt-oss:120b LLM.
Tradičně je open source model, jako je tento, něco, co byste spouštěli lokálně prostřednictvím nástroje jako Ollama nebo LMStudio, ale díky DuckDuckGo ho nyní může kdokoli používat, používat soukromě a zdarma.
Proč je to důležité? Pokud byste si stáhli gpt-oss:120b se všemi jeho 120 miliardami parametrů, abyste jej mohli co nejlépe používat v Ollama, potřebovali byste více VRAM, než kolik byste získali ze dvou RTX 5090.
Má velikost 65 GB, takže pokud nemáte v serveru nějaký monstrózní GPU výkon, nebo něco jako počítač s AMD Strix Halo se všemi těmi krásnými sjednocenými pamětmi, je docela těžké to spustit na běžném spotřebitelském hardware.
Obzvlášť těžké běžet dobře.
Co Duck.ai poskytuje, je bezplatný přístup k tomuto modelu, ale používáte jejich servery, nikoli svůj vlastní počítač. Protože je poskytováno společností DuckDuckGo, firmou dobře známou svým závazkem k ochraně soukromí, je to pravděpodobně tak důvěryhodné, jak jen od online nástroje tohoto druhu můžete získat.
DuckDuckGo dokonce otevřeně uvádí, že všechny chaty jsou anonymizované, a podobně jako u jiných modelů zdarma nemusíte mít účet. Žádné registrace, žádná e-mailová adresa, stačí otevřít webovou stránku a začít klást otázky.
Tak jak to je? Je to rychlé. Jako by nebylo, když to pohání nějaký obrovský cluster hardwaru někde, kde to není u vás doma. Ve svém omezeném čase, kdy jsem s tím zatím experimentoval, se zdá být alespoň stejně rychlé při generování odpovědí jako model 20b na mé RTX 5090 — Duck.ai nezobrazuje počet tokenů za sekundu — ale s jedním rozdílem, o kterém si nejsem jistý, jak se k němu mám postavit.
Při používání gpt-oss:120b v Duck.ai nevidíte obsah myšlení, které se děje, jen se zobrazí odpověď. Čím déle používám gpt-oss na svém vlastním počítači, tím víc si začínám cenit možnosti vidět tyto informace.
Možná jsem jen já, ale je vždy zajímavé, a někdy i poučné, vidět, jak model vytvořil výstup, který poskytuje. V některých případech jsem takto zjistil, kde byly udělány chyby, a myslím, že je to cenná informace. Bylo by skvělé, kdyby Duck.ai tuto možnost dokonce nabízel v nastavení, zda ji zobrazovat nebo ne.
Také nemůžete nahrávat své vlastní soubory k použití s modelem. Některé z ostatních možností podporují nahrávání obrázků, ale pokud to dobře chápu, žádná neumožňuje nahrávat jiné soubory, jako jsou dokumenty nebo ukázky kódu. To je možná součástí ochrany soukromí, ale přidává to omezení toho, jak je můžete chtít použít.
Obecně je to ale opravdu dobré, a protože je to zabudované do webové aplikace, která se hodně podobá ChatGPT nebo Google Gemini, je to přívětivé a snadno použitelné. Vaše nedávné chaty se ukládají do bočního panelu a nastavení, která máte k dispozici pro úpravu způsobu, jak chcete, aby byly vaše odpovědi, jsou docela podrobná. To samozřejmě platí pro všechny modely, které používáte na Duck.ai, nejen pro gpt-oss:120b.
Možná jsem tady našel nový klenot ve svém vlastním AI arzenálu, ale abych to mohl rozhodnout, budu si s tím muset ještě víc pohrát. Prozatím jsem jen šťastný, že mohu zkusit gpt-oss:120b, aniž bych potřeboval farmu GPU. Nebo NVIDIA Blackwell Pro.