teachIRT::inf_plot_rasch(beta = 1)
Iteminformation und adaptives Testen
In der Vorlesung lernen Sie Informationsmaße für das Rasch-, 2PL-, und 3PL-Modell kennen. Je nachdem, welchem Ablauf die Vorlesung folgt, kann es sinnvoll sein, diesen Abschnitt zunächst zu überspringen und wiederzukehren, wenn die Vorlesung den Themenabschnitt behandelt hat.
Welchen Nutzen haben Informationsmaße für IRT-Modelle?
Lösung
Informationsmaße quantifizieren, wie stark die Unsicherheit um eine Personenparameterschätzung durch Vorgabe eines Items reduziert würde.
Das ist z.B. nützlich zur:
Itemselektion
adaptiven Vorgabe von Items
Testkürzung
In der Tabelle sind die Informationsmaße aus der Vorlesung noch einmal zusammengefasst.
Informationsmaße im Rasch- 2PL- und 3PL-Modell
| Modell | Item Information \(I_j(\theta)\) |
|---|---|
| Rasch | \(P(U_{ij} = 1 | ...) P(U_{ij} = 0 | ...)\) |
| 2PL | \(\alpha_j^2 P(U_{ij} = 1 | ...) P(U_{ij} = 0 | ...)\) |
| 3PL | \([\alpha_j^2 \frac{P(U_{ij} = 0 | ...)}{P(U_{ij} = 1 | ...)}][\frac{(P(U_{ij} = 1 | ...) - \gamma_j)^2}{(1-\gamma_j)^2}]\) |
Der folgende Plot zeigt die Informationsfunktion eines Rasch-skalierten Items mit einer Itemschwierigkeit von \(\beta = 1\).
Wie hängt dieser Plot mit den Formeln für Informationsmaße zusammen?
Lösung
Es wurde die Informationsfunktion des Rasch-Modells verwendet.
Auf der x-Achse sieht man Fähigkeitswerte.
Auf der y-Achse sieht man die dazugehörige Iteminformation.
Berechnen Sie \(I_j(-1)\) für ein Rasch-Modell mit \(\beta_j = 1\). Finden Sie den Wert im Plot aus Aufgabe (a) wieder?
Lösung
Gegeben:
\(\theta = -1\)
\(\beta_j = 1\)
Gesucht:
\(I_j(-1) = P(U = 1 | \theta, \beta_j) \cdot P(U = 0 | \theta, \beta_j)\)
Es ist
\(P(U = 1 | \theta, \beta_j) = \frac{1}{1 + e^{2}}\)
Und
\(P(U = 0 | \theta, \beta_j) = 1 - P(U = 1 | \theta, \beta_j)\)
Also ist die Information des Items bei einer Fähigkeit von \(\theta = -1\):
\(I_j(-1) = \frac{1}{1 + e^{2}} \cdot (1 - \frac{1}{1 + e^{2}}) \approx .10\)
Überprüfung mit teachIRT:
teachIRT::inf_rasch(theta = -1, beta = 1)[1] 0.1049936Kopieren Sie den folgenden Code in Ihre R IDE:
library(patchwork)
alpha <- 1
beta <- 0
gamma <- 0
p1 <- teachIRT::icc_3pl(
alpha = alpha,
beta = beta,
gamma = gamma
)
p2 <- teachIRT::inf_plot_3pl(
alpha = alpha,
beta = beta,
gamma = gamma
)
p1 / p2
Verändern Sie die Parameterwerte von \(\alpha\), \(\beta\) und \(\gamma\) und führen Sie den Code erneut durch. Versuchen Sie durch systematisches Austauschen der Parameterwerte zu erkennen, wie die Parameter jeweils die ICC und die Informationsfunktion beeinflussen. Notieren Sie Ihre Beobachtung.
Berechnen Sie die Information eines Items mit Hilfe des 3PL-Modells bei \(\theta_i = -0.5\). Der Rateparameter hat einen Wert von \(0.2\). Der Itemdiskriminationsparameter hat einen Wert von \(-1\). Der Itemschwierigkeitsparameter hat einen Wert von \(0.5\).
Lösung
Gegeben:
\(\theta_i = -0.5\)
\(\alpha_j = -1\)
\(\beta_j = 0.5\)
\(\gamma_j = 0.2\)
Gesucht:
\(I_j(\theta) = I_j(-0.5)\)
Es ist
\(P(U_{ij} = 1 | \theta_i, \alpha_j, \beta_j, \gamma_j)\)
\(=\gamma_j + (1 - \gamma_j) \cdot \frac{e^{(\alpha_j (\theta_i - \beta_j))}}{1 + e^{\alpha_j (\theta_i - \beta_j)}}\)
\(=0.2 + 0.8 \cdot \frac{e}{1 + e}\)
\(\approx .78\)
Zur Kontrolle:
teachIRT::p_3pl(
theta = -0.5,
alpha = -1,
beta = 0.5,
gamma = 0.2
)[1] 0.7848469Der Übersicht halber arbeiten wir mit dem gerundeten Zwischenergebnis weiter.
Es ist
\(I_j(-0.5)\)
\(=[\alpha_j^2 \frac{P(U_{ij} = 0 | ...)}{P(U_{ij} = 1 | ...)}][\frac{(P(U_{ij} = 1 | ...) - \gamma_j)^2}{(1-\gamma_j)^2}]\)
\(=[(-1)^2 \frac{(1-0.78)}{0.78}][\frac{(0.78 - 0.2)^2}{0.8^2}]\)
\(\approx 0.15\)
teachIRT::inf_3pl(
theta = -0.5,
alpha = -1,
beta = 0.5,
gamma = 0.2
)[1] 0.1465099Versuchen Sie zu antizipieren, wie die ICC und Informationsfunktion des Items aus der vorherigen Aufgabe aussehen. Überprüfen Sie Ihre Vermutung mit teachIRT::teachIRT::icc_3pl() und teachIRT::inf_plot_3pl().
Sie können sich die Argumente der Funktionen anzeigen lassen, indem Sie ein Fragezeichen davor setzen, z.B. ?teachIRT::inf_plot_3pl().
Lösung
ICC
teachIRT::icc_3pl(
alpha = -1,
beta = 0.5,
gamma = 0.2
)
Information
teachIRT::inf_plot_3pl(
alpha = -1,
beta = 0.5,
gamma = 0.2
)
Welche Formel würden Sie nutzen, um die Iteminformation eines Items im 3PL-Modell zu berechnen, dessen Itemparameter \(\alpha = 1\), \(\beta = -0.5\), und \(\gamma = 0\) sind?
Lösung
Man könnte die Informationsfunktion des Rasch-Modells verwenden, denn das 3PL-Modell wird für \(\alpha = 1\) und \(\gamma = 0\) zum Rasch-Modell.
Erinnern Sie sich zurück, wie aufwendig es war, bei den vorherigen Aufgaben die Information eines Items im 3PL-Modell zu berechnen. Mit diesem Trick können Sie beim händischen Rechnen viel Zeit sparen.
Wenn Sie ganz sicher gehen wollen, können Sie noch selbst zeigen, dass Sie in diesem speziellen Fall die Rasch-Information nutzen können. Diese Aufgabe ist eher für Studierende gedacht, die Spaß an einer zusätzlichen Matheaufgabe haben.
Zeigen Sie, dass die Information im 3PL Modell für \(\alpha = 1\) und \(\gamma = 0\) zur Information im Rasch-Modell wird.
Lösung
Der Übersicht halber nennen wir die Lösewahrscheinlichkeit \(p\) und die Nichtlösewahrscheinlichkeit \(q\).
Die Information im 3PL-Modell ist
\([\alpha_j^2 \frac{P(U_{ij} = 0 | ...)}{P(U_{ij} = 1 | ...)}][\frac{(P(U_{ij} = 1 | ...) - \gamma_j)^2}{(1-\gamma_j)^2}]\)
\(=[\alpha_j^2 \frac{q}{p}][\frac{(p - \gamma_j)^2}{(1-\gamma_j)^2}]\) (Mit der Definition von \(p\) und \(q\))
\(=[1^2 \frac{q}{p}][\frac{(p - 0)^2}{(1-0)^2}]\) (\(\alpha = 1\) und \(\gamma = 0\) einsetzen)
\(=\frac{q}{p} \cdot \frac{p^2}{1}\)
\(=\frac{p^2q}{p}\)
\(=pq\)
\(=P(U_{ij} = 1 | ...) \cdot P(U_{ij} = 0 | ...)\) (Wieder einsetzen)
Die letzte Zeile entspricht der Information im Rasch-Modell.
Testinformation
Zwei nützliche Eigenschaften der Item- und Testinformation sind ihre Additivität und ihr direkter Bezug zum Standardfehler einer Personenparameterschätzung.
In der Formel zur Testinformation wird die Eigenschaft der Additivität genutzt. Die Iteminformationen an einem Punkt der \(\theta\)-Achse lässt sich für jedes Item einzeln berechnen, \(I_j(\theta)\). Summiert man alle Iteminformationen, so erhält man die Testinformation bei \(\theta\):
\[\begin{equation} I(\theta) = \sum_{j = 1}^{m} I_j(\theta) \end{equation}\]
Ein Test enthält drei Items. Eine Reihe von Informationsschätzern ist bekannt: \(I_1(-1) = 0.18\), \(I_1(0.8) = 0.1\), \(I_2(-1) = 0.2\), \(I_3(2) = 0.2\), und \(I_3(-1) = 0.25\)
Berechnen Sie die Information des Tests bei \(\theta = -1\).
Lösung
\(I(-1)\)
\(= I_1(-1) + I_2(-1) + I_3(-1)\)
\(=0.18 + 0.2 + 0.25\)
\(=0.63\)
In der folgenden Formel können Sie sehen, dass der Standardfehler das inverse Konzept zur Iteminformation ist.
\[\begin{equation} SE(\hat{\theta}) = \frac{1}{\sqrt{I(\hat{\theta})}} \end{equation}\]
Man kann die Umformung zwischen Information und Standardfehlern in R plotten:
Was passiert mit dem Standardfehler einer Personenparameterschätzung, wenn die Information gegen \(0\) (vs. \(\infty\)) geht? Welche Konsequenz hätte das für das Konfidenzintervall um eine Personenparameterschätzung?
Lösung
Wenn die Information gegen \(0\) geht, geht der Standardfehler gegen \(\infty\).
Wenn die Information gegen \(\infty\) geht, geht der Standardfehler gegen \(0\).
Der obere Plot der folgenden Abbildung zeigt die Informationsfunktion eines Items im 2PL-Modell mit \(\alpha = 1.2\) und \(\beta = 0\). Im unteren Plot finden Sie die dazugehörigen Standardfehler. Die Standardfehler wurden mit der Umformungsfunktion berechnet.
Finden Sie den Verlauf der Plots plausibel? Versuchen Sie intuitiv nachzuvollziehen, wie die beiden Plots miteinander in Verbindung stehen.
Der Standardfehler um einen Personenparameter kann genutzt werden, um Konfidenzintervalle zu berechnen:
\[\begin{equation} KI = \hat{\theta} \pm z_{\alpha/2} \cdot SE(\hat{\theta}) \end{equation}\]
Die Testinformation bei \(\hat{\theta} = 1\) beträgt \(I(1) = 3\). Berechnen Sie das zweiseitige \(95\%\) Konfidenzintervall um den Personenparameter.
Lösung
Gegeben:
\(\hat{\theta} = 1\)
\(I(\hat{\theta}) = I(1) = 3\)
Gesucht:
\(KI = \hat{\theta} \pm z_{\alpha/2} \cdot SE(\hat{\theta})\)
Als erstes berechnen wir den Standardfehler:
\(SE(\hat{\theta}) = \frac{1}{\sqrt{I(\hat{\theta})}} = \frac{1}{\sqrt{3}}\)
Bei einem zweiseitigen \(95%\) Konfidenzintervall rechnen wir mit dem z-Wert \(1.96\) bzw. \(-1.96\) für die untere Grenze:
teachIRT::get_z(ci_alpha = 0.05, ci_direction = "both") lower upper
-1.959964 1.959964 Eingesetzt erhalten wir für die obere Grenze
\(KI_o = 1 + 1.96 \cdot \frac{1}{\sqrt{3}} \approx 2.13\)
und für die untere Grenze
\(KI_u = 1 - 1.96 \cdot \frac{1}{\sqrt{3}} \approx -0.13\)
Zur Ergebniskontrolle können wir teachIRT verwenden:
teachIRT:::ci_general(
theta = 1,
inf = 3,
ci_alpha = 0.05,
ci_direction = "both"
) lower upper
-0.1315857 2.1315857 Aufgaben zum Algorithmus adaptiven Testens
In der Vorlesung haben Sie einen Algorithmus zum adaptiven Testen kennengelernt (Prozessdiagramm mit lila Kästchen, “Ablauf des adaptiven Tests”). Die nächsten beiden Aufgaben beziehen sich auf diesen Algorithmus. Ich empfehle Ihnen sehr, diese Aufgaben nicht zu überspringen, denn hier kommt noch einmal vieles zusammen, was Sie im Laufe der Veranstaltung über IRT gelernt haben.
Verwenden Sie zur Bearbeitung beider Aufgaben den folgenden Itempool:
| \(j\) | \(\alpha_j\) | \(\beta_j\) | \(\gamma_j\) |
|---|---|---|---|
| 1 | \(0.8\) | \(-1.2\) | \(0.4\) |
| 2 | \(1.2\) | \(0.5\) | \(0.1\) |
| 3 | \(0.9\) | \(-0.8\) | \(0.2\) |
| 4 | \(1.0\) | \(0.3\) | \(0\) |
Sie befinden sich in Schritt 2. des Testalgorithmus (“Wähle und zeige das optimale nächste Item”). Welches Item sollte der adaptive Testalgorithmus als nächstes präsentieren?
Aktueller Fähigkeitsschätzer: \(\hat{\theta}_i = 0.5\)
Diese Aufgabe benötigt etwas Zeit. Lassen Sie sich nicht verunsichern, wenn Sie hier etwas länger dran arbeiten.
Lösung
Das optimale nächste Item ist in der IRT dasjenige, das beim aktuellen Fähigkeitsschätzer den höchsten Wert in der Informationsfunktion hat.
Es ist \(\hat{\theta}_i = 0.5\) gegeben.
Wir können die Parameter im vorgegebenen Itempool verwenden, um die Iteminformation beim gegebenen vorläufigen Fähigkeitsschätzer zu berechnen.
Item 1
Zunächst lohnt sich der Blick auf die Itemparameter. Item 1 hat einen Diskriminationsparameter, der ungleich 1 ist und einen Rateparameter, der ungleich Null ist. Entsprechend muss man hier die Informationsfunktion des 3PL-Modells verwenden. Los geht’s:
\[I_1(0.5)\]
\[= [\alpha_1^2 \frac{P(U_{i1} = 0 | ...)}{P(U_{i1} = 1 | ...)}][\frac{(P(U_{i1} = 1 | ...) - \gamma_1)^2}{(1-\gamma_1)^2}]\]
Die Formel erfordert eine Lösungwahrscheinlichkeit. Hier müssen wir die Formel aus dem 3PL-Modell verwenden.
\[P(U_{i1} = 1 | \theta_i = 0.5, \alpha_1, \beta_1, \gamma_1)\]
\[= \gamma_1 + (1 - \gamma_1) \cdot \frac{e^{\alpha_1 (\theta_i - \beta_1)}}{1+ e^{\alpha_1 (\theta_i - \beta_1)}}\]
\[= 0.4 + (1 - 0.4) \cdot \frac{e^{0.8 (0.5 - (-1.2))}}{1+ e^{0.8 (0.5 - (-1.2))}}\]
\[\approx 0.877\]
Dieses Zwischenergebnis runde ich der Übersicht halber. Es lohnt sich natürlich, die berechnete Lösungswahrscheinlichkeit mit teachIRT zu überprüfen:
teachIRT::p_3pl(theta = 0.5, alpha = 0.8, beta = -1.2, gamma = 0.4)[1] 0.8774558Das Ergebnis scheint zu stimmen. Aus der eben berechneten Lösungswahrscheinlichkeit ergibt sich leicht die Nichtlösewahrscheinlichkeit des Items.
\[P(U_{i1} = 0 | \theta_i = 0.5, \alpha_1, \beta_1, \gamma_1)\]
\[= 1 - P(U_{i1} = 1 | \theta_i = 0.5, \alpha_1, \beta_1, \gamma_1)\]
\[\approx 1 - 0.877 = 0.123\]
Auch dieses Zwischenergebnis können wir schnell mit teachIRT überprüfen:
1 - teachIRT::p_3pl(theta = 0.5, alpha = 0.8, beta = -1.2, gamma = 0.4)[1] 0.1225442Der Rundungsfehler tradiert sich natürlich auch in die Nichtlösewahrscheinlichkeit.
Die gerundete Löse- und Nichlösewahrscheinlichkeit kann man nun in die Informationsfunktion des 3PL-Modells einsetzen:
\[I_1(0.5)\]
\[= [\alpha_1^2 \frac{P(U_{i1} = 0 | ...)}{P(U_{i1} = 1 | ...)}][\frac{(P(U_{i1} = 1 | ...) - \gamma_1)^2}{(1-\gamma_1)^2}]\]
\[= [\alpha_1^2 \frac{0.123}{0.877}][\frac{(0.877 - \gamma_1)^2}{(1-\gamma_1)^2}]\]
(Löse- und Nichtlösewahrscheinlichkeiten einsetzen)
\[= [0.8^2 \frac{0.123}{0.877}][\frac{(0.877 - 0.4)^2}{(1-0.4)^2}]\]
(Itemparameter einsetzen)
\[\approx 0.06\]
Das Endergebnis kann man wieder mit teachIRT überprüfen.
teachIRT::inf_3pl(theta = 0.5, alpha = 0.8, beta = -1.2, gamma = 0.4)[1] 0.05659933Damit haben wir die Information von Item 1 beim vorläufigen Fähigkeitsschätzer \(\hat{\theta}_i = 0.5\) berechnet.
Item 2
Weiter geht es mit Item 2. Auch hier liegen ein Diskriminationsparameter ungleich 1 und ein Rateparameter ungleich 0 vor. Entsprechend muss man auch hier die Informationsfunktion des 3PL-Modells verwenden. Die Schritte sind also die gleichen wie bei Item 1, nur die Itemparameter ändern sich.
\[I_2(0.5)\]
\[= [\alpha_2^2 \frac{P(U_{i2} = 0 | ...)}{P(U_{i2} = 1 | ...)}][\frac{(P(U_{i2} = 1 | ...) - \gamma_2)^2}{(1-\gamma_2)^2}]\]
Wieder ist eine Lösungswahrscheinlichkeit erforderlich. Diesmal hat die Lösungswahrscheinlichkeit eine viel schönere Form und wir erhalten auch ohne Taschenrechner ein exaktes Ergebnis:
\[P(U_{i2} = 1 | \theta_i = 0.5, \alpha_2, \beta_2, \gamma_2)\]
\[= \gamma_2 + (1 - \gamma_2) \cdot \frac{e^{\alpha_2 (\theta_i - \beta_2)}}{1+ e^{\alpha_2 (\theta_i - \beta_2)}}\]
\[= 0.1 + (1 - 0.1) \cdot \frac{e^{1.2 (0.5 - 0.5)}}{1+ e^{1.2 (0.5 - 0.5)}}\]
\[= 0.1 + 0.9 \cdot \frac{1}{2}\]
\[= 0.1 + \frac{0.9}{2}\]
\[= 0.1 + 0.45\]
\[= 0.55\]
Die Überprüfung mit teachIRT bestätigt das Ergebnis:
teachIRT::p_3pl(theta = 0.5, alpha = 1.2, beta = 0.5, gamma = 0.1)[1] 0.55Die exakte Nichtlösewahrscheinlichkeit beträgt
\[P(U_{i2} = 0 | \theta_i = 0.5, \alpha_2, \beta_2, \gamma_2) = 1 - 0.55 = 0.45\]
1 - teachIRT::p_3pl(theta = 0.5, alpha = 1.2, beta = 0.5, gamma = 0.1)[1] 0.45Die Lösungs- und Nichlösewahrscheinlichkeiten kann man nun in die Formel für die Iteminformation einsetzen:
\[I_2(0.5)\]
\[= [\alpha_2^2 \frac{P(U_{i2} = 0 | ...)}{P(U_{i2} = 1 | ...)}][\frac{(P(U_{i2} = 1 | ...) - \gamma_2)^2}{(1-\gamma_2)^2}]\]
\[= [\alpha_2^2 \frac{0.45}{0.55}][\frac{(0.55 - \gamma_2)^2}{(1-\gamma_2)^2}]\]
\[= [1.2^2 \frac{0.45}{0.55}][\frac{(0.55 - 0.1)^2}{(1-0.1)^2}]\]
\[\approx 0.29\]
teachIRT::inf_3pl(theta = 0.5, alpha = 1.2, beta = 0.5, gamma = 0.1)[1] 0.2945455Damit haben wir auch die Information von Item 2 beim vorläufigen Fähigkeitsschätzer berechnet.
Item 3
Das Vorgehen bei Item 3 ist das gleiche wie bei Items 1 und 2. Die gesuchte Iteminformation ist:
\[I_3(0.5)\]
\[= [\alpha_3^2 \frac{P(U_{i3} = 0 | ...)}{P(U_{i3} = 1 | ...)}][\frac{(P(U_{i3} = 1 | ...) - \gamma_3)^2}{(1-\gamma_3)^2}]\]
Die Lösungswahrscheinlichkeit ist
\[P(U_{i3} = 1 | \theta_i = 0.5, \alpha_3, \beta_3, \gamma_3)\]
\[= \gamma_3 + (1 - \gamma_3) \cdot \frac{e^{\alpha_3 (\theta_i - \beta_3)}}{1+ e^{\alpha_3 (\theta_i - \beta_3)}}\]
\[= 0.2 + (1 - 0.2) \cdot \frac{e^{0.9 (0.5 - (-0.8))}}{1+ e^{0.9 (0.5 - (-0.8))}}\]
\[\approx 0.81\]
Überprüfung mit teachIRT:
teachIRT::p_3pl(theta = 0.5, alpha = 0.9, beta = -0.8, gamma = 0.2)[1] 0.810516Die gerundete Nichtlösewahrscheinlichkeit ist entsprechend
\[P(U_{i3} = 0 | \theta_i = 0.5, \alpha_3, \beta_3, \gamma_3)\]
\[1 - P(U_{i3} = 1 | \theta_i = 0.5, \alpha_3, \beta_3, \gamma_3)\]
\[\approx 1 - 0.81 = 0.19\]
Setzt man die gerundeten Lösungs- und Nichtlösewahrscheinlichkeiten sowie die Itemparameter in die Informationsfunktion ein, so erhält man die Iteminformation von Item 3 beim vorläufigen Fähigkeitsschätzer:
\[I_3(0.5)\]
\[= [\alpha_3^2 \frac{P(U_{i3} = 0 | ...)}{P(U_{i3} = 1 | ...)}][\frac{(P(U_{i3} = 1 | ...) - \gamma_3)^2}{(1-\gamma_3)^2}]\]
\[= [\alpha_3^2 \frac{0.19}{0.81}][\frac{(0.81 - \gamma_3)^2}{(1-\gamma_3)^2}]\]
\[= [0.9^2 \frac{0.19}{0.81}][\frac{(0.81 - 0.2)^2}{(1-0.2)^2}]\]
\[\approx 0.11\]
Die Überprüfung mit teachIRT bestätigt das Ergebnis:
teachIRT::inf_3pl(theta = 0.5, alpha = 0.9, beta = -0.8, gamma = 0.2)[1] 0.1102834Item 4
Bei Item 4 ist der Diskriminationsparameter gleich 1 und der Rateparameter gleich 0. Entsprechend vereinfacht sich die Informationsfunktion des 3PL-Modells zur Informationsfunktion des Rasch-Modells. Das haben Sie in einer vorherigen Aufgabe sogar schon selbst gezeigt. Hier können wir dieses Ergebnis verwenden.
\[I_4(0.5)\]
\[= P(U_{i4} = 1 | ...) P(U_{i4} = 0 | ...)\]
\[= \frac{e^{\theta_i - \beta_j}}{1 + e^{\theta_i - \beta_j}} \cdot \frac{1}{1 + e^{\theta_i - \beta_j}}\]
\[= \frac{e^{0.5 - 0.3}}{1 + e^{0.5 - 0.3}} \cdot \frac{1}{1 + e^{0.5 - 0.3}}\]
\[\approx 0.25\]
Die Überprüfung mit teachIRT bestätigt das Ergebnis:
teachIRT::inf_rasch(theta = 0.5, beta = 0.3)[1] 0.2475166Sehr Misstrauische können natürlich auch die Informationsfunktion vom 3PL-Modell zur Überprüfung verwenden:
teachIRT::inf_3pl(theta = 0.5, alpha = 1, beta = 0.3, gamma = 0)[1] 0.2475166Damit liegt nun auch die letzte Iteminformation beim vorläufigen Fähigkeitsschätzer vor.
Vergleich der Items
Wir haben nun die Iteminformation aller Items beim vorläufigen Fähigkeitsschätzer berechnet:
\[I_1(0.5) \approx 0.06\]
\[I_2(0.5) \approx 0.29\]
\[I_3(0.5) \approx 0.11\]
\[I_4(0.5) \approx 0.25\]
Den höchsten Informationsgewinn kann man also erwarten, wenn man der Person als nächstes Item 2 vorgibt.
Sie befinden sich in Schritt 5. des Algorithmus zum adaptiven Testen. Ist das Abbruchkriterium erfüllt? Verwenden Sie die berechneten Iteminformationen aus der vorherigen Aufgabe.
Aktueller Fähigkeitsschätzer: \(\hat{\theta} = 0.5\)
Abbruchkriterium mit \(95\%\) CI beidseitig: \(|CI_{\text{unten}} - CI_{\text{oben}}| <= 2\)
Bisher dargebotene Items: \([2, 3, 4]\)
Lösung
In dieser Aufgabe müssen wir ein Konfidenzintervall um den vorläufigen Fähigkeitsschätzer berechnen und überprüfen, ob die Intervallänge kleiner oder gleich \(2\) ist.
Erneut ist \(\hat{\theta} = 0.5\) vorgegeben.
Das Konfidenzintervall berechnet man in der IRT so:
\[KI = \hat{\theta} \pm z_{\alpha/2} \cdot SE(\hat{\theta})\]
Wir benötigen also noch den z-Wert und den Standardfehler \(SE(\hat{\theta})\).
Den z-Wert kann man in einer z-Tabelle nachschlagen. Hier verwende ich die Funktion get_z aus teachIRT:
teachIRT::get_z(ci_alpha = 0.05, ci_direction = "both") lower upper
-1.959964 1.959964 Der gerundete z-Wert beträgt \(1.96\).
Die Formel für den Standardfehler ist
\[SE(\hat{\theta})\]
\[=\frac{1}{\sqrt{I(\hat{\theta})}}\]
Im Nenner dieser Formel steht die Testinformation. Diese ergibt sich aus der Summe der Itemformationen. Aus der Aufgabe kann man entnehmen, dass bisher die Items 2, 3 und 4 vorgegeben wurden. Entsprechend kann man einsetzen
\[=\frac{1}{\sqrt{I_2(\hat{\theta}) + I_3(\hat{\theta}) + I_4(\hat{\theta})}}\]
Die Informationswerte bei \(\hat{\theta} = 0.5\) haben Sie schon in der vorherigen Aufgabe berechnet. Diese setze ich hier nun ein:
\[=\frac{1}{\sqrt{I_2(0.5) + I_3(\hat{0.5}) + I_4(\hat{0.5})}}\]
\[=\frac{1}{\sqrt{0.29 + 0.11 + 0.25}}\]
\[=\frac{1}{\sqrt{0.65}}\]
Nun haben wir alle Bestandteile, die zur Berechnung des Konfidenzintervalls benötigt werden:
\[KI = \hat{\theta} \pm z_{\alpha/2} \cdot SE(\hat{\theta})\]
\[= 0.5 \pm 1.96 \cdot \frac{1}{\sqrt{0.65}}\]
Es resultiert das Intervall \([-1.94, 2.94]\) (konservativ gerundet).
Das Konfidenzintervall können wir mit teachIRT überprüfen:
teachIRT::ci_3pl(
theta = 0.5,
alpha = c(1.2, 0.9, 1),
beta = c(0.5, -0.8, 0.3),
gamma = c(0.1, 0.2, 0),
ci_alpha = 0.05,
ci_direction = "both"
) lower upper
-1.926662 2.926662 Die Abweichung ergibt sich erstens dadurch, dass die eingesetzen Testinformationswerte aus der vorherigen Aufgabe bereits gerundet sind und zweitens daraus, dass die Funktion teachIRT::ci_3pl exakt rechnet, statt konservativ zu runden.
Mit dem berechneten Intervall kann man nun überprüfen, ob das Abbruchkriterium erfüllt ist. Wir berechnen daher die Länge des Konfidenzintervalls. Es ist
\[|CI_{unten} - CI_{oben}|\]
\[=|-1.94 - 2.93|\]
\[=|-4.87|\]
\[=4.87 > 2\]
Das Intervall ist nach Vorgabe der drei Items länger als \(2\). Das Abbruchkriterium ist daher noch nicht erfüllt. Der adaptive Testalgorithmus sieht also vor, weitere Items vorzugeben.
Das waren die letzten Aufgaben zur IRT in diesem Übungsheft. Wenn Sie bis hierhin alle Aufgaben bearbeitet haben, ist das schon ein toller Meilenstein! :-)