These guidelines are designed to aid teaching staff in developing clear and effective rubrics for our AI-supported grading platform
Core Principles
Conciseness
Clarity in rubric criteria is crucial for straightforward interpretation:
- Keep rubrics simple and clear to avoid misinterpretation
- Use one sentence per rubric without conjunctions
- Break complex rubrics into multiple separate items
- Acknowledge multiple valid solution approaches
Action Verbs
The choice of verbs significantly influences grading accuracy:
- Use precise verbs that reflect the required cognitive level
- Prefer “explicitly mentions” over “mentions” for required terms
- Use “implies” when indirect demonstration is acceptable
- Choose verbs that match the expected depth of understanding
Response Specificity
Clear expectations lead to consistent grading:
- Detail the expected depth of responses
- Clearly articulate the required level of detail
- Define specific criteria for partial credit
Improving Rubrics
Non-Explicit Requirements
Before:
“The answer mentions that increased costs are due to heightened regulation.”
After:
“The answer implies that increased costs are due to heightened regulation.”
Explicit Requirements
Before:
“The answer mentions the Exchange Rate Channel.”
After:
“The answer must explicitly mention ‘Exchange Rate Channel’.”
Breaking Down Complex Rubrics
Original:
“Explains the ‘implicit state guarantee’ and its investment behavior implications.”
Split into:
- “The answer explains ‘implicit state guarantee’.”
- “The answer describes how ‘implicit state guarantee’ encourages riskier investments.”
Real-World Examples
Simple Response Types
The following examples demonstrate well-performing rubrics from actual exams:
Situation Identification, Explanation, Creating Solution
Rubrics for one exercise where there are two options for identifying the situation, followed by a description of the situation, and a proposed solution for it.
| Rubric Content | |
|---|---|
| A.1 | In der Antwort wird die Situation als adverse Selektion bezeichnet |
| A.2 | Die Antwort erklärt Adverse Selektion so, dass dies darauf zurückzuführen ist, dass Personen mit einem höheren Krankheitsrisiko von einer Standardversicherungspolice mit einem festen Preis profitieren, was zu höheren Prämien führt und Personen mit geringerem Risiko benachteiligt. |
| A.3 | In der Antwort wird vorgeschlagen, dass die Krankenversicherer ihre Kunden überprüfen und differenzierte Verträge anbieten sollten, um das Problem der adversen Selektion zu lösen. |
| B.1 | In der Antwort wird die Situation als Moral Hazard bezeichnet |
| B.2 | Die Antwort erklärt Moral Hazard so, wenn Versicherte nach Vertragsabschluss absichtlich ungesünder leben, weil sie nicht für die finanziellen Folgen aufkommen müssen, was zu steigenden Versicherungskosten führt. |
| B.3 | Als Lösung für das Problem des Moral Hazard wird in der Antwort empfohlen, dass die Versicherungsnehmer signalisieren sollten, dass sie ein normales Risiko darstellen und nicht beabsichtigen, ungesünder zu leben, um die Versicherungskosten zu senken. |
Multiple Answer Options
Rubrics for an exercise where a set of options are correct, and a smaller set must be named (e.g., name two criteria for XY, with 5 possible criteria being correct).
| Rubric Content | |
|---|---|
| A | Die Antwort nennt den Schutz von Gläubigern und Einlegern als eines der Hauptziele der Bankenregulierung in der Schweiz. |
| B | Die Antwort nennt die Sicherheit und Stabilität des Schweizer Finanzsystems als ein Hauptziel der Regulierung. |
| C | Die Antwort nennt eine Marktstruktur ohne Wettbewerbsverzerrungen als ein Hauptziel der Bankenregulierung in der Schweiz. |
Agreeing/disagreeing with explanation
Rubrics for an exercise including a statement from a fictional person/newspaper, with the question being whether the statement is factually sound or not, and why.
| Rubric Content | |
|---|---|
| A | Die Antwort stimmt der Aussage von Andreas Artikel zu oder sagt Ja. |
| B | Die Antwort nennt als Grund für die Zustimmung, dass ein ausreichend weitverbreiteter Glaube oder Gerücht eines Liquiditätsproblems eine selbsterfüllende Prophezeiung ist, selbst wenn die Bank kein Solvenzproblem hat. |
Complex Response Types
The following example demonstrates a complex question with multiple valid solution paths:
Note: According to accuracy and precision analysis, the AI had lower performance on rubrics 6 and 11, indicating that the wording wasn’t the best.
Question: Mittels Zinssatzanpassungen kann eine Zentralbank die Geldpolitik massgebend beeinflus-sen und steuern. Gegeben ist ein Referenzzinssatz von 1.50%. Die Zentralbank entscheidet auf Basis der aktuellen wirtschaftlichen Lage, den Zinssatz um 0.50% anzuheben. Wie wirkt sich die Anhebung auf die Wirtschaftsleistung (Y) aus? Beschreibe drei verschiedene Trans-missionskanäle und deren Mechanismus.
| Rubric Content | |
|---|---|
| A.1 | Die Antwort nennt den Interest Rate Channel. |
| A.2 | Die Antwort beschreibt den Interest Rate Channel so, dass bei steigenden Zinsen die Investitionen abnehmen, und somit die Wirtschaftsleistung sinkt. |
| B.1 | Die Antwort nennt den Exchange Rate Channel. |
| B.2 | Die Antwort beschreibt den Exchange Rate Channel so, dass bei steigenden Zinsen die heimische Währung aufgewertet wird, somit die Netto-Exporte abnehmen, und somit die Wirtschaftsleistung sinkt. |
| C.1 | Die Antwort nennt den Asset Price Channel. |
| C.2 | Die Antwort beschreibt den Asset Price Channel so, dass bei steigenden Zinsen Anleihen attraktiver, und Aktien weniger attraktiv werden, und somit die Aktienpreise sinken. Die Antwort muss speziell auf eine der beiden folgenden Situationen eingehen: 1) Wenn Tobin’s q relativ hoch ist, müssen Firmen weniger Aktien emittieren um ihre Investitionen zu finanzieren. Somit steigen die Investitionen und die Wirtschaftsleistung steigt. 2) Wenn Tobin’s q relativ tief ist, müssen Firmen mehr Aktien emittieren um ihre Investitionen zu finanzieren. Somit sinken die Investitionen und die Wirtschaftsleistung sinkt. |
| C.3 | Die Antwort beschreibt den Asset Price Channel so, dass bei steigenden Zinsen Anleihen attraktiver, und Aktien weniger attraktiv werden, und somit die Aktienpreise sinken. Damit sinkt auch das Gesamtvermögen, somit die Konsumation von Gütern, und somit sinkt die Wirtschaftsleistung. |
| D.1 | Die Antwort nennt den Credit Channel. |
| D.2 | Die Antwort beschreibt den Credit Channel so, dass bei steigenden Zinsen weniger Bankkredite nachgefragt werden. Damit sinken die Investitionen und somit auch die Wirtschaftsleistung. |
| E.1 | Die Antwort nennt den Deposit Channel. |
| E.2 | Die Antwort beschreibt den Deposit Channel so, dass bei steigenden Zinsen Banken ihre Depositenzinsen relativ weniger stark anhebt. Damit steigt ihr Depositenspread und Kunden fragen weniger Depositen-Services nach, das heisst, das Wachstum des Depositenvolumens sinkt. Mit weniger Depositen hat die Bank weniger Ressourcen zur Kreditvergabe, somit wird das Wirtschafts- und Preiswachstum weniger stimuliert und sinkt. |