TL;DR
FinSkillBench (Bek, Bok, and Sun; arXiv:2608.18099) does not quiz models on finance. It scores whether an agent can actually do the work. Hand it a human-written skill pack (the procedure plus tested code) and mean scores go from 36.6% to 52.8%. Let the same agent write its own skills first: 36.6% to 37.1%. More time, more tokens, almost no lift. Same pattern in a deal room. Lock the formula. Do not let the model invent the waterfall on the call.
Key Takeaways
- 2,603 tasks, 12 jobs, 9 models, 17,820 scored runs. Portfolio construction +27.8 points. Risk +21.8. Reading the statements only +5.4.
- The math jobs moved most: unconstrained optimization 24.7% to 71.9%; spotting risks 2.3% to 33.2%. Stress tests stay hard even with a skill (1.7% to 28.1%).
- Self-written skills are not “the agent learned.” They are unreviewed code under a 12-turn budget.
- Same shape as M&A, VC, and PE: waterfalls, term sheets, cap tables, quality of earnings, WACC. Pick the wrong convention and the number is legally wrong.
The test is the job, not a quiz
FinSkillBench (Agent Skills workshop, ACM CAIS, San Jose, 26 May 2026) scores point-in-time tasks. Ground truth is hidden. A verifier grades the output. Three domains: portfolio construction (mean-variance, constraints, rebalancing, Black-Litterman), risk (mandates, identification, stress, remediation trades), and fundamentals (XBRL line items, Piotroski/Beneish, driver bridges).
Three setups, same tools and turn cap: no skill; a curated pack (Markdown plus validated Python, with full-precision numbers never round-tripped through the model); and self-generated (write 1–3 skill files, then use them).
A 30×30 covariance matrix is about 900 numbers. The paper’s failure mode is simple. The model dumps them into JSON. A digit flips. The “optimum” moves. Curated skills inject the matrix on the server. That one artifact is the whole argument.
36.6 to 52.8 vs 37.1
Drop the model that scored 0.000 on every run:
- No skill: 36.6%
- Curated: 52.8% (+16.2 points; 95% CI +15.2 to +17.1)
- Self-generated: 37.1% (+0.5 points; the interval includes zero)
An independent rerun (Hermes Agent, 8 models, 5,280 episodes) went the same way. Replication is the result, not a footnote.
This is not new in kind. Li et al., SkillsBench (Feb 2026; v4 Jun 2026): curated skills +16.2 points across 11 domains; self-generated −1.3. Healthcare +51.9. Finance now shows the same gap, on solvers instead of chat.
Where the deal actually breaks
Buy-side and corp-fin work has the same shape: pull as-of data, pick a convention, run a tested routine, emit something an auditor can check. “Just ask the model” is the no-skill arm.
Waterfalls (PE). Classic example: 8% pref, 20% catch-up, then 80/20. European vs American vs deal-by-deal is not a vibe. An agent that “writes a waterfall skill” mid-session will mix catch-up with whole-fund, or apply management-fee offsets twice. Ship Python with unit tests against a known $100m / 2.5x DPI case. Score the output against the LPA, not against how fluent the memo sounds.
Term sheets (VC). 1× non-participating vs 1× participating preferred changes founder proceeds by millions at an $80m exit on a $12m post-money round. Anti-dilution (broad-based weighted average vs full ratchet) is a formula. If the agent invents the weighted-average denominator (option pool in or out), you do not have a creative reading. You have a wrong cap table.
Cap table. Option-pool shuffle: a 15% pool carved pre-money vs post-money is a 3–5 point founder-dilution swing on a priced round. Same constraint problem as the benchmark, different labels. Curated skill: one function, one convention flag, golden-file tests.
Valuation. DCF is mean-variance’s cousin: WACC, net working capital, terminal method. Do not let the model write the WACC stack as prose. Pass rates, tax, and target gearing into a pinned calculator. Comps need an as-of date on the tape, or you have look-ahead. Same point-in-time rule the benchmark enforces.
Due diligence / quality of earnings. Working-capital peg, add-backs, revenue recognition. Closest analogues: risk identification (2.3% to 33.2% with skills) and earnings quality (+9.9 points). A diligence skill is a checklist plus extractors (bank recs, cohort tables), not “summarize the data room.”
M&A mechanics. Earnout on EBITDA vs revenue. R&W survival. NWC true-up. Each is a mandate monitor. Constraint monitoring already starts high (59.7%) and still gains +17.8 points with a skill. Put the SPA definition in the skill. Do not let the agent paraphrase “adjusted EBITDA.”
IPO Finance Agent (arXiv:2606.23032, Jun 2026): 1,000 S-1 diligence questions. Finance Agent v2’s harness produced no output on the SpaceX S-1. The document was too long. Contextual retrieval was the skill layer. Best public score ~79% (Qwen 3.7 Max). Finance Agent v2’s ceiling on 10-K/10-Q work was Gemini 3.5 Flash at 57.9%. Longer docs, same moral: the harness is the product.
Vals Finance Agent v2 still caps frontier models in the high-50s on multi-step filing work. Leaderboard IQ does not close a deal.
SkillsBench, FinSkillBench, IPO Agent: three labs, three task families, one finding. Models consume procedures. They do not author reliable ones inside the episode that needs them.
Do this on the next mandate
- Name the five objects the model is not allowed to invent: waterfall, conversion, dilution, WACC, SPA definition of earnings.
- Wrap each in a skill: short procedure, tested code, as-of inputs. Two or three modules beat a wiki (SkillsBench).
- Score against golden deals, not “the memo reads well.”
- If a vendor demo includes “the agent writes its own playbook,” that is the 0.5-point arm. Price it as a chatbot with extra latency.
My view
The expensive error in 2026 is treating a frontier model as a junior associate who will “figure out the LPA.” Associates use the LPA. Give the agent the same. Skills are the product. The model is the runtime.
Sources
Resumen
FinSkillBench (Bek, Bok y Sun; arXiv:2608.18099) no examina al modelo en finanzas. Mide si un agente puede hacer el trabajo. Dale un paquete de skills escrito por humanos (el procedimiento más código probado) y el score medio sube de 36.6% a 52.8%. Que el mismo agente escriba primero las suyas: 36.6% a 37.1%. Más tiempo, más tokens, casi nada de lift. En un deal room es lo mismo. Fija la fórmula. No dejes que el modelo invente el waterfall en la llamada.
Puntos clave
- 2,603 tareas, 12 trabajos, 9 modelos, 17,820 corridas calificadas. Construcción de portafolio +27.8 puntos. Riesgo +21.8. Leer los estados financieros, solo +5.4.
- Los trabajos de matemática se movieron más: optimización sin restricciones 24.7% a 71.9%; detectar riesgos 2.3% a 33.2%. El stress test sigue difícil aun con skill (1.7% a 28.1%).
- Una skill autoescrita no es “el agente aprendió.” Es código sin revisión bajo un tope de 12 turnos.
- Misma forma que M&A, VC y PE: waterfalls, term sheets, cap tables, quality of earnings, WACC. Elige mal la convención y el número es legalmente incorrecto.
La prueba es el trabajo, no un quiz
FinSkillBench (taller Agent Skills, ACM CAIS, San José, 26 de mayo de 2026) califica tareas a una fecha de corte. La verdad queda oculta. Un verificador pone la nota. Tres dominios: construcción de portafolio (media-varianza, restricciones, rebalanceo, Black-Litterman), riesgo (mandatos, identificación, estrés, trades de remediación) y fundamentales (partidas XBRL, Piotroski/Beneish, puentes de drivers).
Tres setups, mismas herramientas y tope de turnos: sin skill; un paquete curado (Markdown más Python validado; los números en precisión completa no pasan por el modelo); y auto-generado (escribe 1–3 archivos y luego úsalos).
Una matriz de covarianza 30×30 son unos 900 números. El modo de falla del paper es simple. El modelo los tira a JSON. Se mueve un dígito. El “óptimo” cambia. Las skills curadas inyectan la matriz en el servidor. Ese artefacto es todo el argumento.
36.6 a 52.8 vs 37.1
Quitando el modelo que sacó 0.000 en todas las corridas:
- Sin skill: 36.6%
- Curada: 52.8% (+16.2 puntos; IC 95% +15.2 a +17.1)
- Auto-generada: 37.1% (+0.5 puntos; el intervalo incluye cero)
Una réplica independiente (Hermes Agent, 8 modelos, 5,280 episodios) fue en la misma dirección. La réplica es el resultado, no una nota al pie.
No es un hallazgo aislado. Li et al., SkillsBench (feb 2026; v4 jun 2026): skills curadas +16.2 puntos en 11 dominios; auto-generadas −1.3. Salud +51.9. Finanzas ahora muestra el mismo gap, sobre solvers, no sobre chat.
Dónde se rompe el deal
El trabajo de buy-side y corp-fin tiene la misma forma: datos a una fecha, una convención, una rutina probada, un objeto que un auditor pueda checar. “Pregúntale al modelo” es el brazo sin skill.
Waterfalls (PE). Ejemplo clásico: pref. 8%, catch-up 20%, luego 80/20. Europeo vs americano vs deal-by-deal no es una intuición. Un agente que “escribe la skill del waterfall” a mitad de sesión mezcla catch-up con whole-fund, o aplica el offset de management fee dos veces. Entrega Python con tests contra un caso conocido de $100m / 2.5x DPI. Califica contra el LPA, no contra lo fluido que se lea el memo.
Term sheets (VC). 1× no participante vs 1× participante cambia el cheque al fundador por millones en un exit de $80m sobre una ronda de $12m post-money. Antidilución (promedio ponderado broad-based vs full ratchet) es una fórmula. Si el agente inventa el denominador (¿el option pool entra o no?), no tienes una lectura creativa. Tienes un cap table mal hecho.
Cap table. Option-pool shuffle: un pool de 15% pre-money vs post-money mueve 3–5 puntos de dilución del fundador en una ronda priced. Mismo problema de restricciones que el benchmark, otras etiquetas. Skill curada: una función, un flag de convención, tests contra archivos dorados.
Valuación. El DCF es primo de media-varianza: WACC, capital de trabajo neto, método terminal. No dejes que el modelo escriba el WACC en prosa. Pasa tasas, impuesto y apalancamiento objetivo a una calculadora fijada. Los comps necesitan fecha de corte en la cinta, o hay look-ahead. La misma regla de punto en el tiempo que el benchmark.
Debida diligencia / quality of earnings. Peg de capital de trabajo, add-backs, reconocimiento de ingresos. Análogos más cercanos: identificación de riesgo (2.3% a 33.2% con skills) y calidad de utilidades (+9.9 puntos). Una skill de diligencia es checklist más extractores (conciliaciones, cohortes), no “resume el data room.”
Mecánica de M&A. Earnout sobre EBITDA vs ingresos. Supervivencia de R&W. True-up de NWC. Cada uno es un monitor de mandato. El monitoreo de restricciones ya parte alto (59.7%) y aún gana +17.8 puntos con skill. Mete la definición del SPA en la skill. No dejes que el agente parafrasee “EBITDA ajustado.”
IPO Finance Agent (arXiv:2606.23032, jun 2026): 1,000 preguntas de diligencia sobre S-1. El harness de Finance Agent v2 no produjo salida sobre el S-1 de SpaceX. El documento era demasiado largo. La retrieval contextual fue la capa de skill. Mejor score público ~79% (Qwen 3.7 Max). El techo de Finance Agent v2 en 10-K/10-Q era Gemini 3.5 Flash a 57.9%. Documentos más largos, misma moraleja: el harness es el producto.
Vals Finance Agent v2 sigue capando modelos de frontera en los altos 50 en trabajo multi-paso sobre filings. El IQ de leaderboard no cierra un deal.
SkillsBench, FinSkillBench, IPO Agent: tres laboratorios, tres familias de tareas, un hallazgo. Los modelos consumen procedimientos. No escriben unos confiables dentro del episodio que los necesita.
En el próximo mandato
- Nombra los cinco objetos que el modelo no va a inventar: waterfall, conversión, dilución, WACC, definición de earnings en el SPA.
- Envuelve cada uno en una skill: procedimiento corto, código probado, insumos a una fecha. Dos o tres módulos ganan a un wiki (SkillsBench).
- Califica contra deals dorados, no contra “el memo se lee bien.”
- Si el demo del vendor incluye “el agente escribe su propio playbook”, ese es el brazo de 0.5 puntos. Precifícalo como chatbot con latencia extra.
Mi lectura
El error caro de 2026 es tratar al modelo de frontera como un asociado junior que “se va a leer el LPA.” Los asociados usan el LPA. Dale al agente lo mismo. Las skills son el producto. El modelo es el runtime.
Fuentes
