Tým Alquist Coder, složený ze studentů z Českého institutu informatiky, robotiky a kybernetiky (CIIRC) a Fakulty elektrotechnické (FEL) ČVUT v Praze, se umístil na skvělém druhém místě v mezinárodní soutěži Amazon Nova AI Challenge. V konkurenci více než devadesáti elitních univerzitních týmů z celého světa obstál jako jeden z nejlepších tzv. obranných týmů ve vývoji bezpečných AI nástrojů pro asistované programování.
Soutěž, která probíhala od ledna do června 2025, se zaměřila na jeden z klíčových problémů dneška - bezpečnost generativní umělé inteligence. Finále mělo podobu realistického turnaje, v němž se střetly týmy stavějící obranné mechanismy s těmi, kdo se je snažili prolomit. Cílem obranných týmů bylo vytvořit takové LLM modely, které generují kvalitní Python kód a současně minimalizují riziko zneužití kódu pro škodlivé účely. Vyhlášení výsledků soutěže se konalo v americkém Seattlu na konci července.
„Konkurence byla velmi silná a druhé místo je pro nás obrovským úspěchem," komentuje výsledek teamleader Ondřej Kobza z CIIRC ČVUT. „Myslím, že se nám podařilo sestavit skvělý tým a díky společné práci jsme dosáhli medailového výsledku. Diskuze s ostatními týmy i organizátory z Amazonu nám ukázaly, že se můžeme navzájem inspirovat zajímavými přístupy k řešení. Určitě vidíme velký prostor pro další práci v této oblasti," dodává Kobza.
Vítězové soutěže:
Obranné týmy:
- University of Illinois Urbana-Champaign
- České vysoké učení technické v Praze (Alquist Coder)
Útočné týmy:
- Purdue University
- Nova University Lisbon
AlquistCoder je složený z výzkumníků a studentů z Českého institutu informatiky, robotiky a kybernetiky (CIIRC) a z Centra umělé inteligence Fakulty elektrotechnické ČVUT (AIC FEL). Na vývoji se podíleli studenti Adam Černý (FEL) a Ivan Dostál (FIT) společně s výzkumníky Marií Rigaki a Murisem Sladićem z AIC FEL. Studentský tým vedl Ondřej Kobza (CIIRC). Odbornou podporu zajišťovali Jan Šedivý (CIIRC) a Sebastian Garcia (AIC FEL).
Každý z deseti finalistů získal od Amazonu 250 000 dolarů na podporu vývoje - včetně finančního grantu a přístupu k výpočetním službám Amazon Web Services. Vítězné týmy obdržely navíc dalších 250 000 dolarů, druhá místa získala 100 000 dolarů k rozdělení mezi členy týmu.
Zkušenost s přesahem do praxe
Přístup k pokročilým technologiím Amazonu umožnil českému týmu experimentovat s LLM modely včetně použití nejnovějších trénovacích metod a výzkumu v oblasti trénovacích dat. Získané poznatky a přístupy nejsou omezeny jen na soutěž, ale mají přímý dopad na vývoj bezpečných systémů AI pro průmyslové a veřejné aplikace.
„Účast v soutěži a možnost trénovat LLM modely v Amazonu v hodnotě stovek tisíc dolarů nám pomohly získat obrovské praktické zkušenosti. Trénink LLM modelů pro konkrétní doménu je nezbytné know-how, které využijeme ve vývoji reálných aplikací pro náš průmysl," říká Jan Šedivý, odborný garant týmu z CIIRC ČVUT.
Bezpečnost a použitelnost: rovnováha je klíč
Hodnocení týmů neprobíhalo jen na základě schopnosti zabránit chybám nebo útokům. Amazon záměrně penalizoval i modely, které příliš často odmítaly odpovědět nebo blokovaly neškodné požadavky. Týmy tak musely hledat jemné, promyšlené bezpečnostní strategie. Právě tato rovnováha mezi bezpečností a použitelností je zásadní pro nasazení AI v praxi.
Tým Alquist Coder v soutěži uplatnil vlastní obranný LLM model a zároveň navrhl útočného LLM agenta, který identifikoval jeho slabiny a generoval další data pro jemné dolaďování modelu.
„Z účasti jsme byli nadšení, protože jsme mohli zúročit naši expertizu v oblasti kyberbezpečnosti. Navrhli jsme red-teamingového agenta založeného na LLM, který útočil na náš obranný model a hledal v něm zranitelnosti. Byla to jedna z nejzábavnějších částí celé soutěže - spojili jsme znalosti z kyberbezpečnosti s technologiemi LLM a zpřesnili hodnocení modelu. Pomohlo nám to nejen najít slabiny, ale i vygenerovat více dat pro další trénink," dodává Muris Sladić, doktorand z AIC FEL.