Accuracy of Re-estimation of the National Assessment of Academic Ability (Parent Questionnaire and Long-Term Trend Survey) Using Multidimensional Item Response Theory and Plausible Values

In the "Parent Questionnaire" and "Long-Term Trend Survey" of the National Assessment of Academic Ability conducted by the Ministry of Education, Culture, Sports, Science and Technology, there is a problem that not all data from the Parent Questionnaire can be used for analyzing....

Full description

Saved in:
Bibliographic Details
Published inJapanese Journal for Research on Testing Vol. 20; no. 1; pp. 73 - 89
Main Author Kawaguchi, Toshiaki
Format Journal Article
LanguageJapanese
Published The Japan Association for Research on Testing 2024
日本テスト学会
Subjects
Long-term Trend Survey
Multidimensional Item Response Theory
National Assessment of Academic Ability
Parent Questionnaire
Plausible Values
Simulation Study
シミュレーション
保護者に対する調査
全国学力・学習状況調査
多次元項目反応モデル
推算値法
経年変化分析調査
Online AccessGet full text
ISSN1880-9618
2433-7447
DOI10.24690/jart.20.1_73

Cover

Abstract In the "Parent Questionnaire" and "Long-Term Trend Survey" of the National Assessment of Academic Ability conducted by the Ministry of Education, Culture, Sports, Science and Technology, there is a problem that not all data from the Parent Questionnaire can be used for analyzing. This is because the data from the Long-Term Trend Survey are sampled by subject area. To overcome this problem, a method has been proposed to re-estimate academic ability by combining data from the Parent Questionnaire, the Long-Term Trends Survey, and the National Assessment of Academic Ability using multidimensional item response theory and plausible values. In this article, I confirm the accuracy of this estimation method through a simulation study.In conclusion, I found that this method can effectively recover population parameters such as mean and standard deviation of subpopulations, correlation coefficients between socioeconomic status (SES) and academic achievement, as well as coefficients derived from regression analyses.
AbstractList In the "Parent Questionnaire" and "Long-Term Trend Survey" of the National Assessment of Academic Ability conducted by the Ministry of Education, Culture, Sports, Science and Technology, there is a problem that not all data from the Parent Questionnaire can be used for analyzing. This is because the data from the Long-Term Trend Survey are sampled by subject area. To overcome this problem, a method has been proposed to re-estimate academic ability by combining data from the Parent Questionnaire, the Long-Term Trends Survey, and the National Assessment of Academic Ability using multidimensional item response theory and plausible values. In this article, I confirm the accuracy of this estimation method through a simulation study. In conclusion, I found that this method can effectively recover population parameters such as mean and standard deviation of subpopulations, correlation coefficients between socioeconomic status (SES) and academic achievement, as well as coefficients derived from regression analyses. 文部科学省が実施する全国学力・学習状況調査の「保護者に対する調査」「経年変化分析調査」には，経年変化分析調査が教科ごとに独立に実施されているため，保護者に対する調査のデータを活かしきることができないという課題がある。本稿は，その改善策として提案されている全国学力・学習状況調査の悉皆調査のデータを組み合わせ，多次元項目反応モデルと推算値法を利用して受検者の学力を再推定するという方法の有効性を，シミュレーションを用いて検討した。 結論として，この手法は下位集団の平均や標準偏差，SESと学力の相関係数，回帰分析の係数について，ほぼ適切に母集団のパラメータを復元できることが明らかになった。教科間の相関係数を過大推定する傾向は見られたものの，その誤差はMLEやEAP，あるいは素点を利用した場合に比べれば小さい。
In the "Parent Questionnaire" and "Long-Term Trend Survey" of the National Assessment of Academic Ability conducted by the Ministry of Education, Culture, Sports, Science and Technology, there is a problem that not all data from the Parent Questionnaire can be used for analyzing. This is because the data from the Long-Term Trend Survey are sampled by subject area. To overcome this problem, a method has been proposed to re-estimate academic ability by combining data from the Parent Questionnaire, the Long-Term Trends Survey, and the National Assessment of Academic Ability using multidimensional item response theory and plausible values. In this article, I confirm the accuracy of this estimation method through a simulation study.In conclusion, I found that this method can effectively recover population parameters such as mean and standard deviation of subpopulations, correlation coefficients between socioeconomic status (SES) and academic achievement, as well as coefficients derived from regression analyses.
Author Kawaguchi, Toshiaki
Author_FL 川口 俊明
Author_FL_xml – sequence: 1
  fullname: 川口 俊明
Author_xml – sequence: 1
  fullname: Kawaguchi, Toshiaki
  organization: University of Teacher Education Fukuoka
BackLink https://cir.nii.ac.jp/crid/1390019204223664128$$DView record in CiNii
BookMark eNo9UT1v2zAQJQoHqJtk7M6hQzvI4YcskUMHwWhTA07zpWQVKPJk05CogKQK6Lflz1Wyi97wDnf38N7h7hNauN4BQp8pWbE0k-TmqHxcMbKiVc4_oCVLOU_yNM0XaEmFIInMqPiIrkM4EkI4p2tGsyV6L7QevNIj7hv8BAmEaDsVbe_mRjwA_n2qVIuLECCEDlycR4VWBjqrcVHb1sYRf31Qfp49DrNG75yyHrByBu96t09K8B0uJ4bBz4P_A-M3_BKs2-O7oY3W2Ek3nH22EbpplfDWuwC4PEDvx5POQ6uGYOsW8KtqJ5crdNGoNsD1v3yJyp8_ys2vZHd_u90Uu-QouEhYo41gdU6oypVoZGN01pi1yQSRtWRzaEUBGF8LohuZS5ZRZmSumdY1ofwSfTnLOmsrbWekXBJCJSMpYzzLUsrERPt-ph1DVHuo3vx0SD9W01usbqGa_1MxUtEZcv6_rw_KV-D4X81zj0w
ContentType Journal Article
Copyright 2024 The Japan Association for Research on Testing
Copyright_xml – notice: 2024 The Japan Association for Research on Testing
DBID RYH
DOI 10.24690/jart.20.1_73
DatabaseName CiNii Complete
DatabaseTitleList

DeliveryMethod fulltext_linktorsrc
DocumentTitleAlternate 全国学力・学習状況調査（保護者に対する調査・経年変化分析調査）における多次元項目反応モデルと推算値法の有効性の検証
DocumentTitle_FL 全国学力・学習状況調査（保護者に対する調査・経年変化分析調査）における多次元項目反応モデルと推算値法の有効性の検証
EISSN 2433-7447
EndPage 89
ExternalDocumentID article_jart_20_1_20_73_article_char_en
GroupedDBID ALMA_UNASSIGNED_HOLDINGS
JSF
RJT
RYH
ID FETCH-LOGICAL-j838-2fcd82b701a7a8f9fdc6fd5d6809b922222ca1ee23580cf9792612d97c2ccb013
ISSN 1880-9618
IngestDate Thu Jun 26 22:43:42 EDT 2025
Wed Sep 03 06:30:45 EDT 2025
IsDoiOpenAccess true
IsOpenAccess true
IsPeerReviewed false
IsScholarly false
Issue 1
Language Japanese
LinkModel OpenURL
MergedId FETCHMERGED-LOGICAL-j838-2fcd82b701a7a8f9fdc6fd5d6809b922222ca1ee23580cf9792612d97c2ccb013
OpenAccessLink https://www.jstage.jst.go.jp/article/jart/20/1/20_73/_article/-char/en
PageCount 17
ParticipantIDs nii_cinii_1390019204223664128
jstage_primary_article_jart_20_1_20_73_article_char_en
PublicationCentury 2000
PublicationDate 2024
PublicationDateYYYYMMDD 2024-01-01
PublicationDate_xml – year: 2024
  text: 2024
PublicationDecade 2020
PublicationTitle Japanese Journal for Research on Testing
PublicationTitleAlternate Japanese Journal for Research on Testing
PublicationTitle_FL Japanese Journal for Research on Testing
PublicationYear 2024
Publisher The Japan Association for Research on Testing
日本テスト学会
Publisher_xml – name: The Japan Association for Research on Testing
– name: 日本テスト学会
References Monseur, C., & Adams, R. (2009). Plausible values: How to deal with their limitations. Journal of applied measurement, 10(3), 320-334.
苅谷剛彦（1995）．大衆教育社会のゆくえ－学歴主義と平等神話の戦後史 中公新書
Hartig, J., & Höhler, J. (2009). Multidimensional IRT models for the assessment of competencies. Studies in Educational Evaluation, 35(2-3), 57-63.
川口俊明（2023）．経年変化調査と保護者調査を組み合わせる，国立大学法人福岡教育大学 「学力調査を活用した専門的課題分析に関する調査研究」研究報告書－保護者に対する調査の結果を活用した家庭の社会経済的背景（SES）と学力との関係に関する調査研究，88-103． https://www.mext.go.jp/content/20230601-mxt_chousa02-000029720-1.pdf
Wu, M. (2005). The role of plausible values in large-scale surveys. Studies in educational Evaluation, 31(2-3), 114-128.
国立大学法人福岡教育大学（2023）．「学力調査を活用した専門的課題分析に関する調査研究」研究報告書－保護者に対する調査の結果を活用した家庭の社会経済的背景（SES）と学力との関係に関する調査研究．https://www.mext.go.jp/content/20230601-mxt_chousa02-000029720-1.pdf
国立大学法人お茶の水女子大学（2023）．保護者に対する調査の結果を活用した専門的な分析－保護者に対する調査の結果を活用した効果的な学校等の取組やコロナ禍における児童生徒の学習環境に関する調査研究－．https://www.mext.go.jp/content/20230601-mxt_chousa02-000029720-3.pdf
光永悠彦（2017）．テストは何を測るのか－項目反応理論の考え方 ナカニシヤ出版
文部科学省 総合教育政策局調査企画課学力調査室（2023）．令和3年度『全国学力・学習状況調査』経年変化分析調査テクニカルレポート（改訂版） 文部科学省． https://www.nier.go.jp/21chousakekkahoukoku/kannren_chousa/pdf/21keinen_tech_01.pdf
Sirin, S. R. (2005). Socioeconomic status and academic achievement: A meta-analytic review of research. Review of educational research, 75(3), 417-453.
松岡亮二（2019）．教育格差－階層・地域・学歴 ちくま新書
Robitzsch, A. Kiefer. T., & Wu, M. (2024). TAM: Test Analysis Modules. R package version 4.2-21, https://CRAN.R-project.org/package=TAM.
Akabayashi, H., Nozaki, K., Yukawa, S., & Li, W. (2020). Gender differences in educational outcomes and the effect of family background: A comparative perspective from East Asia. Chinese Journal of Sociology, 6(2), 315-335.
伊佐夏実（2023）．ジェンダーと地域規模による学力格差の実態把握，国立大学法人福岡教育大学 「学力調査を活用した専門的課題分析に関する調査研究」研究報告書－保護者に対する調査の結果を活用した家庭の社会経済的背景（SES）と学力との関係に関する調査研究－，38-55． https://www.mext.go.jp/content/20230601-mxt_chousa02-000029720-1.pdf
袰岩晶・篠原真子・篠原康正（2019）．PISA調査の解剖－能力評価・調査のモデル 東信堂
川口俊明（2020a）．学力調査の政治 教育社会学研究，106，55-76
神谷悠一（2022）．差別は思いやりでは解決しない－ジェンダーやLGBTQから考える 集英社新書
Scharl, A., & Zink, E. (2022). NEPSscaling: plausible value estimation for competence tests administered in the German National Educational Panel Study. Large-scale Assessments in Education, 10(1), 28.
Grilli, L., Pennoni, F., Rampichini, C., & Romeo, I. (2016). Exploiting TIMSS and PIRLS combined data: multivariate multilevel modelling of student achievement. Ann. Appl. Stat. 10 (4), 2405-2426.
廣田英樹（2023）. PIAACのPlausible Valuesの理解のために－Plausible Valuesを用いる理由とその算出方法 国立教育政策研究所紀要, 152, 71-87.
Wu, M., Tam, H. P., & Jen, T. H. (2016). Educational measurement for applied researchers. Theory into practice. Springer.
川口俊明（2020b）．全国学力テストはなぜ失敗したのか－学力調査を科学する 岩波書店
Welmond, M. J., & Gregory, L. (2021). Educational underachievement among boys and men. World Bank.
References_xml – reference: 光永悠彦（2017）．テストは何を測るのか－項目反応理論の考え方 ナカニシヤ出版．
– reference: 文部科学省 総合教育政策局調査企画課学力調査室（2023）．令和3年度『全国学力・学習状況調査』経年変化分析調査テクニカルレポート（改訂版） 文部科学省． https://www.nier.go.jp/21chousakekkahoukoku/kannren_chousa/pdf/21keinen_tech_01.pdf
– reference: 川口俊明（2023）．経年変化調査と保護者調査を組み合わせる，国立大学法人福岡教育大学 「学力調査を活用した専門的課題分析に関する調査研究」研究報告書－保護者に対する調査の結果を活用した家庭の社会経済的背景（SES）と学力との関係に関する調査研究，88-103． https://www.mext.go.jp/content/20230601-mxt_chousa02-000029720-1.pdf
– reference: Sirin, S. R. (2005). Socioeconomic status and academic achievement: A meta-analytic review of research. Review of educational research, 75(3), 417-453.
– reference: 神谷悠一（2022）．差別は思いやりでは解決しない－ジェンダーやLGBTQから考える 集英社新書．
– reference: Welmond, M. J., & Gregory, L. (2021). Educational underachievement among boys and men. World Bank.
– reference: Wu, M. (2005). The role of plausible values in large-scale surveys. Studies in educational Evaluation, 31(2-3), 114-128.
– reference: Grilli, L., Pennoni, F., Rampichini, C., & Romeo, I. (2016). Exploiting TIMSS and PIRLS combined data: multivariate multilevel modelling of student achievement. Ann. Appl. Stat. 10 (4), 2405-2426.
– reference: Hartig, J., & Höhler, J. (2009). Multidimensional IRT models for the assessment of competencies. Studies in Educational Evaluation, 35(2-3), 57-63.
– reference: 松岡亮二（2019）．教育格差－階層・地域・学歴 ちくま新書．
– reference: Monseur, C., & Adams, R. (2009). Plausible values: How to deal with their limitations. Journal of applied measurement, 10(3), 320-334.
– reference: Wu, M., Tam, H. P., & Jen, T. H. (2016). Educational measurement for applied researchers. Theory into practice. Springer.
– reference: Akabayashi, H., Nozaki, K., Yukawa, S., & Li, W. (2020). Gender differences in educational outcomes and the effect of family background: A comparative perspective from East Asia. Chinese Journal of Sociology, 6(2), 315-335.
– reference: 国立大学法人福岡教育大学（2023）．「学力調査を活用した専門的課題分析に関する調査研究」研究報告書－保護者に対する調査の結果を活用した家庭の社会経済的背景（SES）と学力との関係に関する調査研究．https://www.mext.go.jp/content/20230601-mxt_chousa02-000029720-1.pdf
– reference: 川口俊明（2020a）．学力調査の政治 教育社会学研究，106，55-76．
– reference: 袰岩晶・篠原真子・篠原康正（2019）．PISA調査の解剖－能力評価・調査のモデル 東信堂．
– reference: Robitzsch, A. Kiefer. T., & Wu, M. (2024). TAM: Test Analysis Modules. R package version 4.2-21, https://CRAN.R-project.org/package=TAM.
– reference: 苅谷剛彦（1995）．大衆教育社会のゆくえ－学歴主義と平等神話の戦後史 中公新書．
– reference: 伊佐夏実（2023）．ジェンダーと地域規模による学力格差の実態把握，国立大学法人福岡教育大学 「学力調査を活用した専門的課題分析に関する調査研究」研究報告書－保護者に対する調査の結果を活用した家庭の社会経済的背景（SES）と学力との関係に関する調査研究－，38-55． https://www.mext.go.jp/content/20230601-mxt_chousa02-000029720-1.pdf
– reference: 川口俊明（2020b）．全国学力テストはなぜ失敗したのか－学力調査を科学する 岩波書店．
– reference: Scharl, A., & Zink, E. (2022). NEPSscaling: plausible value estimation for competence tests administered in the German National Educational Panel Study. Large-scale Assessments in Education, 10(1), 28.
– reference: 廣田英樹（2023）. PIAACのPlausible Valuesの理解のために－Plausible Valuesを用いる理由とその算出方法 国立教育政策研究所紀要, 152, 71-87.
– reference: 国立大学法人お茶の水女子大学（2023）．保護者に対する調査の結果を活用した専門的な分析－保護者に対する調査の結果を活用した効果的な学校等の取組やコロナ禍における児童生徒の学習環境に関する調査研究－．https://www.mext.go.jp/content/20230601-mxt_chousa02-000029720-3.pdf
SSID ssj0003315216
ssib032248331
ssib044754517
Score 1.9650359
Snippet In the "Parent Questionnaire" and "Long-Term Trend Survey" of the National Assessment of Academic Ability conducted by the Ministry of Education, Culture,...
SourceID nii
jstage
SourceType Publisher
StartPage 73
SubjectTerms Long-term Trend Survey
Multidimensional Item Response Theory
National Assessment of Academic Ability
Parent Questionnaire
Plausible Values
Simulation Study
シミュレーション
保護者に対する調査
全国学力・学習状況調査
多次元項目反応モデル
推算値法
経年変化分析調査
Title Accuracy of Re-estimation of the National Assessment of Academic Ability (Parent Questionnaire and Long-Term Trend Survey) Using Multidimensional Item Response Theory and Plausible Values
URI https://www.jstage.jst.go.jp/article/jart/20/1/20_73/_article/-char/en
https://cir.nii.ac.jp/crid/1390019204223664128
Volume 20
hasFullText 1
inHoldings 1
isFullTextHit
isPrint
ispartofPNX Japanese Journal for Research on Testing, 2024, Vol.20(1), pp.73-89
journalDatabaseRights – providerCode: PRVHPJ
  databaseName: ROAD: Directory of Open Access Scholarly Resources
  customDbUrl:
  eissn: 2433-7447
  dateEnd: 99991231
  omitProxy: true
  ssIdentifier: ssib044754517
  issn: 1880-9618
  databaseCode: M~E
  dateStart: 20160101
  isFulltext: true
  titleUrlDefault: https://road.issn.org
  providerName: ISSN International Centre
link http://utb.summon.serialssolutions.com/2.0.0/link/0/eLvHCXMwnV3NjtMwELa6y4ULAgFigUU-cABVWVLH-fGxQotWCBCHgPYWOY69tCopKo2QOPBivAyPwsw4TlNYoWV7sCqncd3Ol5nx_DL2NE-1xT7aUSa1jWRtXaRUbiIXOynr3KWGCpi-fZedfZCvz9PzyeTXKGqp29Yn5vuleSXXoSrMAV0xS_Y_KDssChPwHugLI1AYxivReG5Mt8F-7VRRJMKCGZ8HFZCiF4Opbz4U4CTVMwTFzyk0lhz-7zXVaSIDKNzT6kXvWXizbi-iEhj4lOJngdVsqImymvpwA0rhbbBJgC_wQdZ_dAtg7K3tk_99UsJKd_AEruz0o151ffBiUIxBaGMzzOAfp_DHEBaIHo0S99WLWRQQ-pu-wEYuBLj1108LUIXHJgyxM15S-huuPwbjP7_Ac2lgOhG2qvFCjOaETJIol758Z2DtIv4Lwp5P-_YpQeKry2SJQMMBNTHYYMztyawKN-2V5-6JX-HHKgEnKhzypArzmDwHWD1gN0QOuhAGl_44DRwPuKkskp0fFqsvyrQ_cKIuAddAv6IUufCbfaFY2t2L8d5AhVrCgQIrRRy0i8VISypvs1s98fjcb-sOmyz1XfYz4JSvHd_DKU4ATnnAKd_hFC8FnPIep_yZRynfQykHbPEBpZxQyj1Kn3PCKP8ToxwxygNGuccorTNglHuM3mPlq9Py5VnUNw2JlgXIbuFMU4g6j2c614VTrjGZa9ImK2JVK4Evo2fWYoZ4bJzKFdbQa4A9CWPQJ3CfHbbr1j5gXGhR27hROhZaFibWcVqjn1wLm8xcrY9Y5v_w6osvDFNdEQtH7BgIVJkFjnACo2MW1uJLskyCvvjwugs_Yjfx8fIWwsfscLvp7DHozNv6CcHuN9yAz2U
linkProvider ISSN International Centre
openUrl ctx_ver=Z39.88-2004&ctx_enc=info%3Aofi%2Fenc%3AUTF-8&rfr_id=info%3Asid%2Fsummon.serialssolutions.com&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Ajournal&rft.genre=article&rft.atitle=Accuracy+of+Re-estimation+of+the+National+Assessment+of+Academic+Ability+%28Parent+Questionnaire+and+Long-Term+Trend+Survey%29+Using+Multidimensional+Item+Response+Theory+and+Plausible+Values&rft.jtitle=Japanese+Journal+for+Research+on+Testing&rft.au=Kawaguchi%2C+Toshiaki&rft.date=2024&rft.pub=The+Japan+Association+for+Research+on+Testing&rft.issn=1880-9618&rft.eissn=2433-7447&rft.volume=20&rft.issue=1&rft.spage=73&rft.epage=89&rft_id=info:doi/10.24690%2Fjart.20.1_73&rft.externalDocID=article_jart_20_1_20_73_article_char_en
thumbnail_l http://covers-cdn.summon.serialssolutions.com/index.aspx?isbn=/lc.gif&issn=1880-9618&client=summon
thumbnail_m http://covers-cdn.summon.serialssolutions.com/index.aspx?isbn=/mc.gif&issn=1880-9618&client=summon
thumbnail_s http://covers-cdn.summon.serialssolutions.com/index.aspx?isbn=/sc.gif&issn=1880-9618&client=summon