バイオメトリクス部会精度評価技術グループ活動報告|日本自動認識システム協会

バイオメトリクス部会 精度評価技術グループ活動報告

2022年度

6月第32回
精度評価技術
グループ会
2022年6月3日(火)開催10:00~12:00(参加9名)

今年度2回目、初回を振り返りつつ、今後の生体認証の国際標準について議論を行った。特にISO/IEC CD 5152(極値統計を用いた精度評価方法)について、各国コメントに対して意見交換した。また、今年度の活動(画像合成応用)についても、合成画像の特徴や標準化の可能性について議論した。

【議題】

  1. 1. グループ長挨拶・事務局連絡
  2. 2. 前回議事録確認
  3. 3. 関連活動状況報告
    • (1)国際標準化状況報告
    • (2)生体認証利活用パターン調査
  4. 4-1. 5152対応
    • (1)Proposed Disposition of Commentsについて
  5. 4-2. 画像合成応用性能評価方法調査について
    • (1)調査項目と進捗状況
    • (2)文献調査報告
    • (3)基準開発検討
  6. 5. 今後の活動について
    • (1)調査委員委嘱・第1回委員会開催
    • (2)精度評価技術研修会(仮称)
4月第31回
精度評価技術
グループ会
2022年4月26日(木)開催15:00~17:00(参加9名)

今年度初めてのグループ会をオンライン開催。昨年度活動と今年度活動計画を打ち合わせた。生体認証の本格的な普及啓発を目指し、画像合成応用性能評価方法等の調査活動を開始する。この調査では、カタログスペックとフィールドスペックの差を検証する性能評価方法の調査を開始することとした。

【議題】

  1. グループ長挨拶・事務局連絡
  2. 前回議事録確認
  3. 国際標準化状況報告(5152、19795-10、9868、他)
  4. 今年度の精度評価技術グループ会の活動について
    • ①2022年度バイオメトリクス部会活動概要
    • ②生体認証利活用パターン調査
    • ➂画像処理応用性能評価方法調査
  5. 今後の予定(定期的な開催曜日・日時の調整)

2021年度

3月第30回
精度評価技術
グループ会
2022年3月24日(木)開催(参加8名)

前回議事録を確認、3年間の活動纏め(成果報告書第2部)公開について報告し、来年度活動について議論した。特に、コロナ禍により出荷金額は減少傾向にあるものの、生体認証の利用シーンが増えてきていることを鑑み、①生体認証利活用パターン調査、②画像処理応用性能評価方法調査、③生体認証人材育成プログラム策定について検討していくものとしました。

【議題】

  1. グループ長挨拶・事務局連絡
  2. 前回議事録確認
  3. 活動報告
  4. 来年度の活動について
  5. 今後の予定
2月第29回
精度評価技術
グループ会
2021年2月10日(木)開催(参加7名)

本会議後、活動報告会の事前打ち合わせとして開催しました。活動報告会の講演者に主張点やポイントを紹介いただき、講演内容を確認しました。また、今年度活動に関する質疑や来年度以降の活動についてどのように紹介するかを打ち合わせた。さらに、来年度活動の内容を議論しました。

【議題】

  1. グループ長挨拶・事務局連絡
  2. 前回議事録確認
  3. 活動報告
  4. 来年度の活動について
  5. 今後の予定
12月第28回
精度評価技術
グループ会
2021年12月23日(木)開催(参加7名)

国際標準化の状況を伺うとともに、GPとrGEVでの分析結果報告を受け、GPとrGEVの併用や使い分けについて情報交換するとともに、既存方式(3のルール)との違いについて意見交換しました。

【議題】

  1. グループ長挨拶・事務局連絡
  2. 前回議事録確認
  3. 関連活動報告
  4. 検討課題・検討結果について
  5. 来年度の活動と体制について
  6. 今後の予定
10月第27回
精度評価技術
グループ会
2021年10月21日(木)開催(参加8名)

国際標準化の状況を伺うとともに、信頼区間の分析結果報告を受け、今年度適用評価すべきことの明確化を図り、画像合成手法を用いた性能評価方法に関わる内容について、議論しました。

【議題】

  1. グループ長挨拶・事務局連絡
  2. 前回議事録確認
  3. 関連活動報告
  4. 検討課題・検討結果について
  5. 来年度以降の活動について
8月第26回
精度評価技術
グループ会
2021年8月26日(木)開催(参加8名)

国際標準化の状況を伺うとともに、統計解析モデルrGevの信頼区間の求め方について、実データ(公開データ)での評価結果を基に議論しました。ISO/IEC5152WD3日本コメントについて意見交換をおこなった。また、産業界への普及啓発として研修会の実施内容等についての議論も開始しました。さらに来年度の調査活動について意見を交換しました。

【議題】

  1. グループ長挨拶・事務局連絡
  2. 前回議事録確認
  3. 関連活動報告
  4. ISO/IEC5152WD3日本コメントについて
6月第25回
精度評価技術
グループ会
2021年6月24日(木)開催(参加8名)

極値統計を用いた新しい精度評価方式の適用評価の検討課題と検討結果について議論、来年度以降の活動についても意見交換をおこなった。3年間行ってきた新しい精度評価方式についての適用評価を纏めていくものとしました。

【議題】

  1. グループ長挨拶
  2. 前回議事録確認・事務局報告
  3. 関連活動報告
  4. 検討課題・検討結果について
  5. 国際標準化活動について
  6. 今後の活動について
4月第24回
精度評価技術
グループ会
2021年4月22日開催(参加7名)

今年度初めてのグループ会を実施。昨年に引き続きコロナ禍でオンラインベースの会合で開催することとしました。今年度は3か年計画の国際標準化総仕上げの3年目。技術グループ会での適用評価検証により、計画通り国際標準化を委員会段階に達することを目標としました。

【議題】

  1. グループ長挨拶
  2. 前回議事録確認、報告事項
  3. 昨年度の活動成果と今年度の活動計画について
  4. WD2対応案について
  5. 検討結果について

2020年度

3月精度評価技術
グループ会
参加者 8 名

第23回技術グループ会3月10日(水)開催

1月の国際委員会で1stWD(ワーキングドラフト)から2nd WDに進むことが承認され、2nd WDについて議論しました。また、今年度の活動成果をまとめるとともに、来年度活動の検討を開始しました。また、次回を2021年4月22日(木)に開催するものとしました。

01月精度評価技術グループ参加者 9 名

第22回技術グループ会1月7日(木)開催

1月の国際会議に向け、各国からいただいた1stWD(ワーキングドラフト)のコメント対応について議論しました。また、研修会で行った適用評価結果の良い例、悪い例について参加メンバーで検証し、今後の検討課題について議論しました。

議事録

12月精度評価研修会参加者 7 名

2020年度精度評価研修会(10月~12月、5回開催)

新精度評価方法の国際標準化を支援する取り組みとして、評価手順の確認と極値統計利用のスキルアップを目的として、オープンソース統計解析ソフトRを用いた極値統計の研修会を実施しました。
Step1.Rの環境構築
Step2.対象データ(顔データ、歩容データ)の抽出と評価手順
Step3.rGEVを用いた精度評価結果
Step4.GPを用いた精度評価結果
Step5.精度評価結果の比較、適用評価レポートの書き方
また、その内容を3月の「会員向け講演会」で報告しました。

【会員向け講演会】マーケティンググループ/活動報告(3月)

11月精度評価技術グループ参加者 9 名

第21回技術グループ会を11月12日(木)開催
今回のグループ会では、国際委員会へ提出したワーキングドラフト(WD)を踏まえ、検討課題を議論しました。特に、各国からの指摘事項について、どのように対応していくかを議論しました。また、精度評価研修会を開始したことを報告。どのようなデータセットを用いて、評価手順を検証するかを打合せました。

議事録

09月精度評価技術グループ参加者 9 名

第20回技術グループ会を8月11日(火)に開催しました。
議題は以下の通りです。議事録は現在作成中です。

  1. グループ長挨拶
  2. 前回議事録確認、連絡事項
  3. 関連活動の状況報告および課題
  4. 技術グループ会活動について
  5. 検討結果報告
  6. 今後の予定
08月精度評価技術グループ参加者 9 名

第20回精度評価技術グループ会 8月11日(火)開催
国際標準化に向け、2つの極値統計モデルを用いた精度評価手順について議論を重ねました。特に国際標準化で提案段階から作業段階へステップアップしたことを踏まえ、どのように普及啓発していくかについても検討、JAISAホームページで補足資料を掲載することとしました。

議事録】【補足資料

06月精度評価技術グループ参加者 9 名

第19回技術グループ会を6月18日(木)に開催しました。
検討委員会およびSC37WG5から活動状況報告をいただき、 技術グループ会活動で行う適用評価の目的として、研究開発の目的はモダリティの拡大、GPとrGevの使い方、評価手順などを研究開発してくこと。研究開発したものを産業界に広めるため、研修会を開いていくこと、そして、国際標準にすべきことを明確にしていくこととしました。これらの目的を達成するために、顔認証や歩容認証のデータに極値統計を適用評価していくこととしました。

[議事録] 第19回精度評価技術グループ会 議事録

[参考資料]

04月精度評価技術グループ参加者 9 名

第18回技術グループ会を4月23日(木)に新型コロナウイルスの感染拡大に伴い、Web会議(Zoom会議システムにて開催しました。2020年度を始めるにあたり、年間計画について審議しました。特に、本会自主活動(精度評価技術グループ会)、受託事業(検討委員会)および国内SC37WG5(小委員会)での役割分担を明らかとし、活動の連携体制を議論した。その結果、本会自主活動は主に研究開発的な議論を進め、検討委員会にて適用評価結果をオーソライズ、その結果を踏まえ、SC37WG5にて文書化、国際提案していくものしました。研究開発としては、顔認証や歩容認証などの適用評価を行うことにしました。

[議事録] 第18回精度評価技術グループ会 議事録

[参考資料]

03月精度評価技術グループ参加者 9 名

第17回技術グループ会を年3月5日(木)に開催しました。
1月国際会議決議に従い、日本からNWIPとしてフォーム4(申請書)、ベースドキュメント(スコープ等)の提出内容を議論しました。
また、2019年度の活動成果をまとめ、来年度の活動について検討した。今年度の成果は下記の通りです。

(1)SC37国際会議(公開文書:N306)
Mitsutoshi Himaga, Shigefumi Yamada (Japanese national body/JISC):An introduction of alternative Biometric Performance Testing and Reporting Methodology, ISO/IEC JTC1/SC37 Working Group 5 Biometric Testing and Reporting(2020.1.21)

(2) 電子情報通信学会 BioX研究会(2019年10月)
山田茂史 (富士通研究所):少数サンプルによる生体認証精度評価方法提案への取り組み、電子情報通信学会バイオメトリクス研究会(2019.10.03)

(3)SBRA(2019年12月、ポスターセッション)
山田茂史 (JAISA):少数サンプルによる生体認証精度評価方法提案への取り組み、第9回バイオメトリクスと認識・認証シンポジウム(2019.12.6)
鈴木彦太郎、日間賀充寿 (JAISA):一般極値分布を用いた統計的外挿の検討、第9回バイオメトリクスと認識・認証シンポジウム(2019.12.6)

(4) 電子情報通信学会 BioX研究会(2020年3月)
日間賀充寿(JAISA):[招待講演]統計的外挿による他人受入率推定方式の検討、電子情報通信学会バイオメトリクス研究会(2020.3.4)

[議事録] 第17回精度評価技術グループ会 議事録

[参考資料]

01月精度評価技術グループ参加者 9 名

第16回技術グループ会を1月16日(木)に開催しました。
1月20日からのSC37国際会議(ニューオリンズ会議)に備え、提案資料の最終案をチェックしました。特に、rGevとGPによる極値統計適用結果を示すこととし、米国NIST(National Institute of Standards and Technology)が公開している指紋データベース(被験者サンプル数6,000名)を使用、少ないサンプル数で同程度の性能評価ができたことを説明することとしました。

[議事録] 第16回精度評価技術グループ会 議事録

[参考資料]

2019年

12月精度評価技術グループ参加者 9 名

第15回技術グループ会を12月3日(火)に開催しました。
前回に引き続き、極値統計の2分布について、統計数理研究所でのヒヤリング内容を含め、バイオメトリクス精度評価への適用検討を進めました。極値統計を悪用することができないようにすることも鑑み、QQプロットを評価結果として提示し、評価の正当性を示すことを評価基準に含めることとしました。これらのことを踏まえ、1月国際会議の提案資料について議論、大筋をまとめました。

[議事録] 第15回精度評価技術グループ会 議事録

[参考資料]

10月精度評価技術グループ参加者 9 名

第14回技術グループ会を10月31日(木)に開催しました。
「精度評価時のサンプル数を削減する新しい精度評価方式」について、極値統計の2分布について検討を進めました。

①一般化パレート分布:Generalized Pareto Distribution (GP)
②一般化極値分布:Generalized Extreme Value Distribution (rGEV)

特に、極値統計手法による精度推定方式でのパラメータの決め方、やその診断結果(例えば、QQプロットでフィッティングしたグラフ)などとともに、国際標準化のスケジュールについて議論、1月国際会議の説明案(について検討しました。

[議事録] 第14回精度評価技術グループ会 議事録

[参考資料]

09月精度評価技術グループ参加者 8 名

9月20日(金)に、第13回精度評価技術グループ会を開催いたしました。
本技術グループで検討している「精度評価時のサンプル数を削減する新しい精度評価方式」について、スコープならびに次の両方式について検討をしました。

①一般化パレート分布とブートストラップ法の併用による精度推定方式
②極値統計手法による精度推定方式

また、検討により開発する少数サンプルを用いた精度評価方法の国際標準化に向けた検討も行いました。

[議事録] 第13回精度評価技術グループ会 議事録

[参考資料]

08月精度評価技術グループ参加者 8 名

8月23日(金)に、第12回精度評価技術グループ会を開催いたしました。
本技術グループで検討している「精度評価時のサンプル数を削減する新しい精度評価方式」について、国際標準化に向けた取り組みスコープならびに次の両方式について検討をしました。

①一般化パレート分布とブートストラップ法の併用による精度推定方式
②極値統計手法による精度推定方式

[議事録] 第12回精度評価技術グループ会 議事録

[参考資料]

07月精度評価技術グループ参加者 7 名

7月26日(金)、第11回精度評価技術グループ会を開催いたしました。
本技術グループで検討している「精度評価時のサンプル数を削減する新しい精度評価方式」として、次の両方式について検討をしました。

①一般化パレート分布とブートストラップ法の併用による精度推定方式
②極値統計手法による精度推定方式

[議事録] 第11回精度評価技術グループ会 議事録

[参考資料]

06月精度評価技術グループ参加者 7 名

6月5日(水)に、第10回精度評価技術グループ会を開催いたしました。
本技術グループで検討している「精度評価時のサンプル数を削減する新しい精度評価方式」として、次の両方式について検討をしました。

①一般化パレート分布とブートストラップ法の併用による精度推定方式
②極値統計手法による精度推定方式

[議事録] 第10回精度評価技術グループ会 議事録

[参考資料]

05月精度評価技術グループ参加者 7 名

5月24日(金)に、第9回精度評価技術グループ会を開催いたしました。
本技術グループで検討している「精度評価時のサンプル数を削減する新しい精度評価方式」として、次の両方式について検討をしました。

①一般化パレート分布とブートストラップ法の併用による精度推定方式
②極値統計手法による精度推定方式

[議事録] 第9回精度評価技術グループ会 議事録

[参考資料]

02月精度評価技術グループ参加者 8 名

2月22日(金)に、第8回精度評価技術グループ会を開催いたしました。
本技術グループで検討している「精度評価時のサンプル数を削減する新しい精度評価方式」として、次の両方式について検討をしました。

①一般化パレート分布とブートストラップ法の併用による精度推定方式
②極値統計手法による精度推定方式

[議事録] 第8回精度評価技術グループ会 議事録

[参考資料]

2018年

12月精度評価技術グループ参加者 8 名

12月18日(火)に、第7回精度評価技術グループ会を開催いたしました。
本技術グループで検討している「新しい精度評価方法」に関して「分布の裾野近似法の検討結果」について報告と検討をしました。

[議事録] 第7回精度評価技術グループ会 議事録

[参考資料]

11月精度評価技術グループ参加者 8 名

10月31日(水)に、第6回精度評価技術グループ会を開催いたしました。
本技術グループで検討している「新しい精度評価方法」に関して「分布の裾野近似法の適用性実験結果報告と検討」について検討しました。

[議事録] 第6回精度評価技術グループ会 議事録

[参考資料]

08月精度評価技術グループ参加者 8 名

8月1日(水)に、第5回精度評価技術グループ会を開催いたしました。
本技術グループで検討している「新しい精度評価方法」に関して「分布の近似手法」について検討しました。

[議事録] 第5回精度評価技術グループ会 議事録

[参考資料]

06月精度評価技術グループ参加者 7 名

6月1日(金)に、第4回精度評価技術グループ会を開催いたしました。
本技術グループで検討している「新しい精度評価方法」に関して「分布の近似手法」について検討しました。

[議事録] 第4回精度評価技術グループ会 議事録

[参考資料]

04月精度評価技術グループ参加者 8 名

4月6日(金)に、第3回精度評価技術グループ会を開催いたしました。
本技術グループで検討している「新しい精度評価方法」に関してスコープと取り組み方法論と精度値の推定方法を検討しました。

[議事録] 第3回精度評価技術グループ会 議事録

[参考資料]

03月精度評価技術グループ参加者 8 名

3月6日(火)に、第2回精度評価技術グループ会を開催いたしました。
本技術グループで検討している「新しい精度評価方法」に関する各参加者の知見をご紹介いただいた後、今後の取組み内容について話し合いました。

[議事録] 第2回精度評価技術グループ会 議事録

[参考資料]

01月精度評価技術グループ参加者 6 名

1月24日(水)に、第1回精度評価技術グループ会を開催いたしました。
精度評価技術グループの設立経緯と背景の説明の後、本技術グループで今後取り組む「新しい精度評価方法」の検討に際しての「考慮事項」「取組み内容」「取組みスケジュール」「経費等」について話し合いました。
特に、オープンな議論・検討を促進するために必要な「知的所有権の扱い」について話し合い、参加者の合意内容を議事録に記載の上、順守して今後の活動に取り組むこととなりました。

[議事録] 第1回精度評価技術グループ会 議事録

[参考資料]