Streszczenia pisze AI z pełnych artykułów, a program sprawdza każdy cytat i liczbę w źródle. Jak to działa
benchmarkiThe Decoder18 października 2026ważność 6/10
Badacze z Microsoft i City University of Hong Kong opracowali Taste-Bench do oceny jakości decyzji agentów podczas długich zadań, a nie tylko tego, czy agent kończy zadanie. Benchmark zawiera 502 pytania o wybór między dwiema ścieżkami działania; zespół sprawdził 14 modeli, a najlepszy, GPT-5.6 Sol, osiągnął średnio 59,7%, przy 25% dla czystego zgadywania. Gdy kluczowa wskazówka była widoczna wcześniej, średnia dokładność wynosiła 62,3%, ale spadała do 21%, jeśli pojawiała się dopiero po dalszej pracy; większy budżet rozumowania prawie nie poprawiał wyniku.
Co z tego dla Ciebie: Możesz użyć oceny ścieżki jako wskazówki dla agenta przy kolejnych decyzjach: w opisanym teście porady wytrenowanego studenta zwiększyły skuteczność na zadaniach SWE-bench Pro.
Czytaj artykuł (The Decoder)
narzędziaSimon Willison19 października 2026ważność 5/10
Simon Willison zaktualizował llm-echo 0.5, wtyczkę debugującą LLM, która udostępnia model echo. Model echo nie uruchamia LLM, tylko zwraca podane mu prompty. Nowa wersja uwzględnia w symulowanych licznikach tokenów wywołania narzędzi, prompty systemowe i tokeny rozumowania.
Co z tego dla Ciebie: Do debugowania promptów możesz uruchomić `uvx --with llm-echo llm -m echo 'hi there' -o thinking 1 --usage` i sprawdzić wypisane użycie tokenów.
Czytaj artykuł (Simon Willison)
benchmarkiThe Decoder18 października 2026ważność 5/10
Czterech agentów Gemini 4 Argon pokonało Minecrafta bez udziału człowieka, samodzielnie zabijając Ender Dragona. Sesja trwała 27 godzin i 14 minut; agenci napisali łącznie 2 783 programy JavaScript, wymienili 229 wiadomości i zginęli 605 razy. Cała sesja kosztowała 1 620 USD według standardowej ceny Gemini 4 Argon, która zaczyna obowiązywać w 2027 roku.
Co z tego dla Ciebie: Przy testowaniu współpracy agentów możesz sprawdzić, czy sami dzielą zadania, ostrzegają się o zagrożeniach i zapisują błędy we wspólnej pamięci — takie zachowania opisano w tym eksperymencie.
Czytaj artykuł (The Decoder)
narzędziaSimon Willison19 października 2026ważność 4/10
Wydano llm-tools-datasette 0.1.1, poprawiając wtyczkę udostępniającą instancje Datasette modelowi LLM jako narzędzie. Problem pojawił się po przejściu LLM na httpx2: wtyczki korzystające z httpx bez bezpośredniej zależności od niego przestały działać, a llm-tools-datasette została już naprawiona.
Co z tego dla Ciebie: Jeśli używasz Datasette z LLM, możesz sięgnąć po poprawioną wtyczkę, która udostępnia instancje Datasette jako narzędzie.
Czytaj artykuł (Simon Willison)
