前回議事録を確認、3年間の活動纏め（成果報告書第2部）公開について報告し、来年度活動について議論した。特に、コロナ禍により出荷金額は減少傾向にあるものの、生体認証の利用シーンが増えてきていることを鑑み、①生体認証利活用パターン調査、②画像処理応用性能評価方法調査、③生体認証人材育成プログラム策定について検討していくものとしました。

【議題】

1. グループ長挨拶・事務局連絡
2. 前回議事録確認
3. 活動報告
4. 来年度の活動について
5. 今後の予定

本会議後、活動報告会の事前打ち合わせとして開催しました。活動報告会の講演者に主張点やポイントを紹介いただき、講演内容を確認しました。また、今年度活動に関する質疑や来年度以降の活動についてどのように紹介するかを打ち合わせた。さらに、来年度活動の内容を議論しました。

【議題】

1. グループ長挨拶・事務局連絡
2. 前回議事録確認
3. 活動報告
4. 来年度の活動について
5. 今後の予定

国際標準化の状況を伺うとともに、GPとｒＧＥＶでの分析結果報告を受け、GPとｒＧＥＶの併用や使い分けについて情報交換するとともに、既存方式（３のルール）との違いについて意見交換しました。

【議題】

1. グループ長挨拶・事務局連絡
2. 前回議事録確認
3. 関連活動報告
4. 検討課題・検討結果について
5. 来年度の活動と体制について
6. 今後の予定

国際標準化の状況を伺うとともに、信頼区間の分析結果報告を受け、今年度適用評価すべきことの明確化を図り、画像合成手法を用いた性能評価方法に関わる内容について、議論しました。

【議題】

1. グループ長挨拶・事務局連絡
2. 前回議事録確認
3. 関連活動報告
4. 検討課題・検討結果について
5. 来年度以降の活動について

国際標準化の状況を伺うとともに、統計解析モデルrGevの信頼区間の求め方について、実データ（公開データ）での評価結果を基に議論しました。ISO/IEC5152WD3日本コメントについて意見交換をおこなった。また、産業界への普及啓発として研修会の実施内容等についての議論も開始しました。さらに来年度の調査活動について意見を交換しました。

【議題】

1. グループ長挨拶・事務局連絡
2. 前回議事録確認
3. 関連活動報告
4. ISO/IEC5152WD3日本コメントについて

極値統計を用いた新しい精度評価方式の適用評価の検討課題と検討結果について議論、来年度以降の活動についても意見交換をおこなった。3年間行ってきた新しい精度評価方式についての適用評価を纏めていくものとしました。

【議題】

1. グループ長挨拶
2. 前回議事録確認・事務局報告
3. 関連活動報告
4. 検討課題・検討結果について
5. 国際標準化活動について
6. 今後の活動について

今年度初めてのグループ会を実施。昨年に引き続きコロナ禍でオンラインベースの会合で開催することとしました。今年度は３か年計画の国際標準化総仕上げの３年目。技術グループ会での適用評価検証により、計画通り国際標準化を委員会段階に達することを目標としました。

【議題】

1. グループ長挨拶
2. 前回議事録確認、報告事項
3. 昨年度の活動成果と今年度の活動計画について
4. WD2対応案について
5. 検討結果について

第23回技術グループ会3月10日（水）開催

1月の国際委員会で1stWD(ワーキングドラフト)から２nd WDに進むことが承認され、２nd WDについて議論しました。また、今年度の活動成果をまとめるとともに、来年度活動の検討を開始しました。また、次回を2021年4月22日(木)に開催するものとしました。

第22回技術グループ会1月7日（木）開催

1月の国際会議に向け、各国からいただいた1stWD(ワーキングドラフト)のコメント対応について議論しました。また、研修会で行った適用評価結果の良い例、悪い例について参加メンバーで検証し、今後の検討課題について議論しました。

【議事録】

2020年度精度評価研修会（10月～12月、5回開催）

新精度評価方法の国際標準化を支援する取り組みとして、評価手順の確認と極値統計利用のスキルアップを目的として、オープンソース統計解析ソフトRを用いた極値統計の研修会を実施しました。
Step１．Rの環境構築
Step２．対象データ(顔データ、歩容データ)の抽出と評価手順
Step３．rGEVを用いた精度評価結果
Step４．GPを用いた精度評価結果
Step５．精度評価結果の比較、適用評価レポートの書き方
また、その内容を3月の「会員向け講演会」で報告しました。

【会員向け講演会】マーケティンググループ/活動報告（3月）

第21回技術グループ会を11月12日(木)開催
今回のグループ会では、国際委員会へ提出したワーキングドラフト（WD）を踏まえ、検討課題を議論しました。特に、各国からの指摘事項について、どのように対応していくかを議論しました。また、精度評価研修会を開始したことを報告。どのようなデータセットを用いて、評価手順を検証するかを打合せました。

【議事録】

第20回技術グループ会を8月11日(火)に開催しました。
議題は以下の通りです。議事録は現在作成中です。

1. グループ長挨拶
2. 前回議事録確認、連絡事項
3. 関連活動の状況報告および課題
4. 技術グループ会活動について
5. 検討結果報告
6. 今後の予定

第20回精度評価技術グループ会 8月11日(火)開催
国際標準化に向け、２つの極値統計モデルを用いた精度評価手順について議論を重ねました。特に国際標準化で提案段階から作業段階へステップアップしたことを踏まえ、どのように普及啓発していくかについても検討、JAISAホームページで補足資料を掲載することとしました。

【議事録】【補足資料】

第19回技術グループ会を6月18日（木）に開催しました。
検討委員会およびSC37WG5から活動状況報告をいただき、 技術グループ会活動で行う適用評価の目的として、研究開発の目的はモダリティの拡大、GPとｒGevの使い方、評価手順などを研究開発してくこと。研究開発したものを産業界に広めるため、研修会を開いていくこと、そして、国際標準にすべきことを明確にしていくこととしました。これらの目的を達成するために、顔認証や歩容認証のデータに極値統計を適用評価していくこととしました。

[議事録] 第19回精度評価技術グループ会　議事録

[参考資料]

• 第19回精度評価技術グループ会資料綴り

第18回技術グループ会を4月23日（木）に新型コロナウイルスの感染拡大に伴い、Web会議(Zoom会議システムにて開催しました。2020年度を始めるにあたり、年間計画について審議しました。特に、本会自主活動(精度評価技術グループ会)、受託事業（検討委員会）および国内SC37WG５(小委員会)での役割分担を明らかとし、活動の連携体制を議論した。その結果、本会自主活動は主に研究開発的な議論を進め、検討委員会にて適用評価結果をオーソライズ、その結果を踏まえ、SC37WG５にて文書化、国際提案していくものしました。研究開発としては、顔認証や歩容認証などの適用評価を行うことにしました。

[議事録] 第18回精度評価技術グループ会　議事録

[参考資料]

• 第18回精度評価技術グループ会資料綴り

第17回技術グループ会を年3月5日(木)に開催しました。
1月国際会議決議に従い、日本からNWIPとしてフォーム４（申請書）、ベースドキュメント(スコープ等)の提出内容を議論しました。
また、2019年度の活動成果をまとめ、来年度の活動について検討した。今年度の成果は下記の通りです。

(1)SC３７国際会議(公開文書：N306)
Mitsutoshi Himaga, Shigefumi Yamada (Japanese national body/JISC)：An introduction of alternative Biometric Performance Testing and Reporting Methodology, ISO/IEC JTC1/SC37 Working Group 5 Biometric Testing and Reporting(2020.1.21)

(2) 電子情報通信学会 BioX研究会(2019年10月)
山田茂史 (富士通研究所)：少数サンプルによる生体認証精度評価方法提案への取り組み、電子情報通信学会バイオメトリクス研究会(2019.10.03)

(3)SBRA（2019年12月、ポスターセッション）
山田茂史 (JAISA)：少数サンプルによる生体認証精度評価方法提案への取り組み、第9回バイオメトリクスと認識・認証シンポジウム(2019.12.6)
鈴木彦太郎、日間賀充寿 (JAISA)：一般極値分布を用いた統計的外挿の検討、第9回バイオメトリクスと認識・認証シンポジウム（2019.12.6）

(4) 電子情報通信学会 BioX研究会(2020年３月)
日間賀充寿(JAISA)：［招待講演］統計的外挿による他人受入率推定方式の検討、電子情報通信学会バイオメトリクス研究会（2020.3.4）

[議事録] 第17回精度評価技術グループ会　議事録

[参考資料]

• 第17回精度評価技術グループ会資料綴り

第16回技術グループ会を1月16日（木）に開催しました。
1月20日からのSC37国際会議（ニューオリンズ会議）に備え、提案資料の最終案をチェックしました。特に、ｒGevとGPによる極値統計適用結果を示すこととし、米国NIST（National Institute of Standards and Technology）が公開している指紋データベース(被験者サンプル数6,000名)を使用、少ないサンプル数で同程度の性能評価ができたことを説明することとしました。

[議事録] 第16回精度評価技術グループ会　議事録

[参考資料]

• 第16回精度評価技術グループ会資料綴り１
• 第16回精度評価技術グループ会資料綴り２
• 第16回精度評価技術グループ会資料綴り３

第15回技術グループ会を12月3日(火)に開催しました。
前回に引き続き、極値統計の２分布について、統計数理研究所でのヒヤリング内容を含め、バイオメトリクス精度評価への適用検討を進めました。極値統計を悪用することができないようにすることも鑑み、QQプロットを評価結果として提示し、評価の正当性を示すことを評価基準に含めることとしました。これらのことを踏まえ、1月国際会議の提案資料について議論、大筋をまとめました。

[議事録] 第15回精度評価技術グループ会　議事録

[参考資料]

• 第15回精度評価技術グループ会資料綴り１
• 第15回精度評価技術グループ会資料綴り２

第14回技術グループ会を10月31日(木)に開催しました。
「精度評価時のサンプル数を削減する新しい精度評価方式」について、極値統計の２分布について検討を進めました。

①一般化パレート分布：Generalized Pareto Distribution (GP)
②一般化極値分布：Generalized Extreme Value Distribution (rGEV)

特に、極値統計手法による精度推定方式でのパラメータの決め方、やその診断結果(例えば、QQプロットでフィッティングしたグラフ)などとともに、国際標準化のスケジュールについて議論、１月国際会議の説明案（について検討しました。

[議事録] 第14回精度評価技術グループ会　議事録

[参考資料]

• 第14回精度評価技術グループ会資料綴り

９月２０日(金)に、第１３回精度評価技術グループ会を開催いたしました。
本技術グループで検討している「精度評価時のサンプル数を削減する新しい精度評価方式」について、スコープならびに次の両方式について検討をしました。

①一般化パレート分布とブートストラップ法の併用による精度推定方式
②極値統計手法による精度推定方式

また、検討により開発する少数サンプルを用いた精度評価方法の国際標準化に向けた検討も行いました。

[議事録] 第13回精度評価技術グループ会　議事録

[参考資料]

• 第13回精度評価技術グループ会資料綴り1
• 第13回精度評価技術グループ会資料綴り2
• 第13回精度評価技術グループ会資料綴り3

８月２３日(金)に、第１２回精度評価技術グループ会を開催いたしました。
本技術グループで検討している「精度評価時のサンプル数を削減する新しい精度評価方式」について、国際標準化に向けた取り組みスコープならびに次の両方式について検討をしました。

①一般化パレート分布とブートストラップ法の併用による精度推定方式
②極値統計手法による精度推定方式

[議事録] 第12回精度評価技術グループ会　議事録

[参考資料]

• 第12回精度評価技術グループ会資料綴り1
• 第12回精度評価技術グループ会資料綴り2

７月２６日(金)、第11回精度評価技術グループ会を開催いたしました。
本技術グループで検討している「精度評価時のサンプル数を削減する新しい精度評価方式」として、次の両方式について検討をしました。

①一般化パレート分布とブートストラップ法の併用による精度推定方式
②極値統計手法による精度推定方式

[議事録] 第11回精度評価技術グループ会　議事録

[参考資料]

• 第11回精度評価技術グループ会資料綴り1
• 第11回精度評価技術グループ会資料綴り2

６月５日(水)に、第１０回精度評価技術グループ会を開催いたしました。
本技術グループで検討している「精度評価時のサンプル数を削減する新しい精度評価方式」として、次の両方式について検討をしました。

①一般化パレート分布とブートストラップ法の併用による精度推定方式
②極値統計手法による精度推定方式

[議事録] 第１０回精度評価技術グループ会　議事録

[参考資料]

• 第１０回精度評価技術グループ会資料綴り1
• 第１０回精度評価技術グループ会資料綴り2

５月２４日(金)に、第９回精度評価技術グループ会を開催いたしました。
本技術グループで検討している「精度評価時のサンプル数を削減する新しい精度評価方式」として、次の両方式について検討をしました。

①一般化パレート分布とブートストラップ法の併用による精度推定方式
②極値統計手法による精度推定方式

[議事録] 第９回精度評価技術グループ会　議事録

[参考資料]

• 第９回精度評価技術グループ会資料綴り1
• 第９回精度評価技術グループ会資料綴り2

２月２２日(金)に、第８回精度評価技術グループ会を開催いたしました。
本技術グループで検討している「精度評価時のサンプル数を削減する新しい精度評価方式」として、次の両方式について検討をしました。

①一般化パレート分布とブートストラップ法の併用による精度推定方式
②極値統計手法による精度推定方式

[議事録] 第8回精度評価技術グループ会　議事録

[参考資料]

• 第8回精度評価技術グループ会資料綴り

１２月１８日(火)に、第７回精度評価技術グループ会を開催いたしました。
本技術グループで検討している「新しい精度評価方法」に関して「分布の裾野近似法の検討結果」について報告と検討をしました。

[議事録] 第7回精度評価技術グループ会　議事録

[参考資料]

• 第７回精度評価技術グループ会資料綴り

１０月３１日(水)に、第６回精度評価技術グループ会を開催いたしました。
本技術グループで検討している「新しい精度評価方法」に関して「分布の裾野近似法の適用性実験結果報告と検討」について検討しました。

[議事録] 第6回精度評価技術グループ会　議事録

[参考資料]

• 第６回精度評価技術グループ会アジェンダ
• 第５回精度評価技術グループ会議 議事録
• 第６回精度評価技術グループ資料（日本電気殿）
• 第６回精度評価技術グループ資料（富士通殿）
• 第６回精度評価技術グループ資料（モフィリア殿）
• 第６回精度評価技術グループ資料（日立殿）

８月１日(水)に、第５回精度評価技術グループ会を開催いたしました。
本技術グループで検討している「新しい精度評価方法」に関して「分布の近似手法」について検討しました。

[議事録] 第5回精度評価技術グループ会　議事録

[参考資料]

• 第５回精度評価技術グループ会アジェンダ
• 第４回精度評価技術グループ会議 議事録
• 第５回精度評価技術グループ資料（日立殿）
• 第５回精度評価技術グループ資料（日本電気殿）
• 第５回精度評価技術グループ資料（富士通殿）

６月１日(金)に、第４回精度評価技術グループ会を開催いたしました。
本技術グループで検討している「新しい精度評価方法」に関して「分布の近似手法」について検討しました。

[議事録] 第4回精度評価技術グループ会　議事録

[参考資料]

• 第４回精度評価技術グループ会アジェンダ
• 第３回精度評価技術グループ会議 議事録
• 第４回精度評価技術グループ資料（日立製作所殿）
• 第４回精度評価技術グループ資料（日本電気殿）
• 第４回精度評価技術グループ資料（モフィリア殿）

４月６日(金)に、第３回精度評価技術グループ会を開催いたしました。
本技術グループで検討している「新しい精度評価方法」に関してスコープと取り組み方法論と精度値の推定方法を検討しました。

[議事録] 第3回精度評価技術グループ会　議事録

[参考資料]

• 第３回精度評価技術グループ会アジェンダ
• 第２回精度評価技術グループ会議 議事録
• 第３回精度評価技術グループ資料（日立製作所殿）
• 第３回精度評価技術グループ資料（日本電気殿）
• 第３回精度評価技術グループ資料（モフィリア殿）
• 第３回精度評価技術グループ資料（富士通殿）

３月６日(火)に、第２回精度評価技術グループ会を開催いたしました。
本技術グループで検討している「新しい精度評価方法」に関する各参加者の知見をご紹介いただいた後、今後の取組み内容について話し合いました。

[議事録] 第2回精度評価技術グループ会　議事録

[参考資料]

• 第２回精度評価技術グループ会アジェンダ
• 第１回精度評価技術グループ会　議事録
• 参加者の知見紹介（富士通殿）
• 参加者の知見紹介（日立製作所殿）
• 参加者の知見紹介（日本電気殿）
• 参加者の知見紹介（モフイリア殿）

１月２４日(水)に、第1回精度評価技術グループ会を開催いたしました。
精度評価技術グループの設立経緯と背景の説明の後、本技術グループで今後取り組む「新しい精度評価方法」の検討に際しての「考慮事項」「取組み内容」「取組みスケジュール」「経費等」について話し合いました。
特に、オープンな議論・検討を促進するために必要な「知的所有権の扱い」について話し合い、参加者の合意内容を議事録に記載の上、順守して今後の活動に取り組むこととなりました。

[議事録] 第1回精度評価技術グループ会　議事録

[参考資料]

• 第１回精度評価技術グループ会アジェンダ
• 精度評価技術グループ活動趣旨
• 新しい精度評価方法の検討への取組みに際して
• 技術的、学術的な面からの解決策案_富士通研
• 知的所有権の扱いに関して