De algemene conclusie van AGNCon en MCPCon is bemoedigend: onze huidige koers sluit goed aan bij bredere trends in de sector. Net als vele anderen bevinden we ons echter op een cruciaal kruispunt: het is niet langer voldoende om uitsluitend op AI-codeeragenten te vertrouwen voor het genereren van code.
Een nieuwe kijk op peer review en de pull request
Een van de opvallendste lezingen was „Pull Requests Are Dead, Long Live Peer Review“ door Dylan Ratcliffe. De sessie benadrukte hoe conventionele peer review in duigen valt wanneer AI 80–90% van een codebase genereert:
-
- Het probleem met door machines gegenereerde PR’s: een door een machine geproduceerde pull request biedt geen ruimte voor dialoog. Beoordelaars komen ertoe om codeverschillen te controleren in plaats van in gesprek te gaan met collega’s, waardoor het proces een vervelende klus wordt.
- De focus verleggen naar intentie: in plaats van de diff te evalueren nadat deze is gegenereerd, verschuift de beoordeling stroomopwaarts naar het door mensen geschreven plan en de intentie, nog voordat er code wordt geproduceerd. We beoordelen de onderliggende logica, waardoor de AI-agent de details kan implementeren.
- Geautomatiseerde validatie: PR’s worden automatisch getoetst aan het oorspronkelijke plan, waarbij alleen afwijkingen worden gemarkeerd voor menselijke beoordeling. Dit betekent een paradigmaverschuiving van een ‘do … while’-lus naar een ‘until’-model (zie afbeeldingen).
- AI is geen gelijke: https://www.notyourpeer.com/
- "Peer review" van een door AI gegenereerd pull-verzoek is eigenlijk helemaal geen peer review. We beoordelen geen collega. We controleren een machine. En dat voelt totaal anders.
Inzichten in het gedrag en de efficiëntie van agents
Verschillende sessies bevestigden opvallend gedrag in de praktijk en optimalisatiestrategieën bij het werken met codeeragenten:
- Tools zoals RTK (of "caveman") zijn verantwoordelijk voor ongeveer 15% van het tokenverbruik.
- Door over te stappen van Opus naar Sonnet bespaarde Datadog 650.000 dollar per maand zonder dat dit ten koste ging van de kwaliteit van de output.
Let wel: de presentator heeft het testprotocol niet verstrekt
Inzichten in MCP-evaluatie
GitHub maakt gebruik van offline evaluatie om wijzigingen aan de MCP-server te testen vóór de release. Benchmarks meten of LLM’s de juiste tools en argumenten selecteren, wat helpt bij het opsporen van regressies en het vervangen van subjectieve beoordelingen door meetbare resultaten.
URL: https://github.blog/ai-and-ml/generative-ai/measuring-what-matters-how-offline-evaluation-of-github-mcp-server-works/
Uitgelichte tools
Een intrigerende tool die werd getoond, was reboot.dev, die rechtstreeks in codeeragenten kan worden geïntegreerd. Deze tool introduceert een BDD-achtige aanpak door op het niveau van het domeinmodel te werken, waardoor teams door agenten gegenereerd werk kunnen valideren aan de hand van testbeschrijvingen in gewone taal.
Utilus. Do the work.