Automating the research process with agentic large language models

Mladenić Grobelnik, Adrian (avtor), Robnik Šikonja, Marko (mentor), Rupnik, Jan (komentor)

Scientific discovery requires both creative hypothesis generation and rigorous experimental validation, processes that have historically demanded human expertise. Large Language Models (LLMs) demonstrate sophisticated reasoning and code generation capabilities, yet previous automation efforts have mostly addressed only isolated research tasks such as literature review or data analysis rather than the complete scientific process. The fundamental question remains whether computational systems can independently generate novel research hypotheses and execute experimental validation without human guidance. Here we show that ten specialized LLM agents operating across six sequential stages can complete entire research experiments from initial conception through experimental implementation to scientific paper production. The pipeline, tested in the domain of multi LLM agent Systems, generated multiple novel research contributions achieving performance improvements of up to 5\% over baseline methods while in some cases reducing computational costs, with results validated by domain researchers as methodologically sound and novel. While most previous systems required human-provided research questions or pre-defined experimental frameworks, our pipeline independently identifies research opportunities and designs appropriate validations, demonstrating that LLMs can automate hypothesis generation and testing. These findings, along with notable related work, indicate that barriers to scientific automation are now coordination challenges rather than reasoning limitations.

• Jezik: Angleški jezik
• Ključne besede: artificial intelligence, large language models, multi-agent systems, research automation, knowledge discovery
• Vrsta gradiva: Diplomsko delo/naloga
• Tipologija: 2.11 - Diplomsko delo
• Organizacija: FRI - Fakulteta za računalništvo in informatiko
• Leto izida: 2025
• PID: 20.500.12556/RUL-174624
• COBISS.SI-ID: 255557123
• Datum objave v RUL: 07.10.2025

Sekundarni jezik

• Jezik: Slovenski jezik
• Naslov: Avtomatizacija raziskovalnega procesa z agentnimi velikimi jezikovnimi modeli

Izvleček

Znanstvenoraziskovalni proces obsega tako ustvarjalno postavljanje znanstvenih hipotez kot tudi njihovo eksperimentalno preverjanje, za kar je bilo običajno potrebno strokovno znanje človeka. Veliki jezikovni modeli (VJM) kažejo napredne zmožnosti sklepanja in generiranja kode, vendar se je večina prejšnjih raziskav na področju avtomatizacije znanstvenoraziskovalnega procesa osredotočala le na posamezne raziskovalne naloge, kot sta pregled literature ali analiza podatkov, in ne na celoten znanstvenoraziskovalni proces. Temeljno vprašanje ostaja, ali lahko računski sistemi samostojno generirajo nove hipoteze in izvajajo poskuse brez človeškega nadzora. V nalogi pokažemo, da lahko nabor specializiranih agentov VJM, ki delujejo v šestih zaporednih korakih, izvede celoten proces od generiranja in izbire idej preko evalvacije do priprave znanstvenega članka. Sistem, preizkušen na raziskovalnem področju večagentnih sistemov VJM, je ustvaril nove raziskovalne prispevke, ki so dosegli do 5-odstotno izboljšanje zmogljivosti v primerjavi z osnovnimi metodami, v nekaterih primerih pa so zmanjšali računski strošek. Raziskovalci z omenjenega področja so rezultate potrdili kot metodološko ustrezne in inovativne. Medtem ko je večina prejšnjih sistemov potrebovala raziskovalna vprašanja od raziskovalcev ali vnaprej določene eksperimentalne postopke, naš sistem samostojno prepoznava raziskovalne priložnosti in implementira ustrezne eksperimente, s čimer dokazuje, da lahko VJM avtomatizirajo ustvarjalno postavljanje in preverjanje znanstvenih hipotez. Te ugotovitve kažejo, da ključni izziv pri avtomatizaciji znanstvenega raziskovanja niso več omejitve pri zmožnosti sklepanja, temveč koordinacija.

• Ključne besede: umetna inteligenca, veliki jezikovni modeli, več-agentni sistemi, avtomatizacija raziskav, odkrivanje znanja