Skip to content

[FEATURE] AI 비의존 API 추가 - #43

Merged
minsoo0506 merged 2 commits into
devfrom
feat/#42-no-ai
Jun 30, 2026
Merged

[FEATURE] AI 비의존 API 추가#43
minsoo0506 merged 2 commits into
devfrom
feat/#42-no-ai

Conversation

@minsoo0506

@minsoo0506 minsoo0506 commented Jun 25, 2026

Copy link
Copy Markdown
Contributor

요약

AI를 사용하지 않고 기존 신호 기반으로 분석 결과와 판정 사유 summary를 생성하는 no-AI 분석 API를 추가했습니다.

  • POST /api/v1/analyze/no-ai/sync 추가
  • AI 호출 없이 threat DB, GSB, domain/content 신호만으로 분석 가능하도록 pipeline 옵션 추가
  • AI 실패 시에도 신호 기반 summary를 반환할 수 있도록 공통 summary 생성 로직 추가
  • OpenAI provider 오류를 ai_request_failed, ai_parse_error, ai_disabled 등으로 구분

OpenPhish 최신 악성 URL 100건으로 AI 사용 API와 no-AI API를 비교했습니다.

  • AI 사용 API: 평가 대상 65건 중 62건 탐지, Recall 95.38%
  • no-AI API: 평가 대상 68건 중 44건 탐지, Recall 64.71%
  • 응답 불가 URL은 탐지율 분모에서 제외했습니다.

결과적으로 AI 사용 API가 no-AI API보다 탐지율이 30.67%p 높았습니다.
특히 no-AI API는 EXTERNAL_LINK_OVERUSE, SPA_SHELL, PII_COLLECTION_FORM, LOGO_ALT_IMPERSONATION, NEW_DOMAIN, NO_HTTPS, BRAND_IN_URL 같은 약한 신호 조합만 잡힌 경우 악성 판단 임계값에 도달하지 못하는 케이스가 많았습니다.

답변 내용도 차이가 있었습니다.

  • AI summary는 여러 신호를 종합해 “왜 위험한지”를 자연스럽게 설명하고, 사용자 입장에서 이해하기 쉬운 판정 이유를 제공합니다.
  • 신호 기반 summary는 AI 장애 시 fallback으로는 유효하지만, 조합이 복잡해질수록 문장이 기계적이고 맥락 설명이 부족해집니다.

따라서 사용자에게 제공하는 최종 판정 이유는 AI를 사용하는 것이 적절해 보입니다. 다만 AI 장애나 API 비용 제한 상황을 대비해 no-AI summary는 fallback 경로로 유지하는 것이 좋을 것 같습니다.

연관 이슈 및 Close 할 이슈

close #42

Pull Request 체크리스트

TODO

  • 최종 결과물을 확인했는가?
  • 의미 있는 커밋 메시지를 작성했는가?

@minsoo0506
minsoo0506 requested review from kbh0218 and sunm2n June 25, 2026 11:29
@minsoo0506 minsoo0506 self-assigned this Jun 25, 2026
@minsoo0506 minsoo0506 added test 테스트 코드 추가 및 업데이트 feature 새로운 기능/특징 labels Jun 25, 2026
@minsoo0506
minsoo0506 merged commit eafd723 into dev Jun 30, 2026
1 check passed
@minsoo0506
minsoo0506 deleted the feat/#42-no-ai branch June 30, 2026 06:17
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

feature 새로운 기능/특징 test 테스트 코드 추가 및 업데이트

Projects

None yet

Development

Successfully merging this pull request may close these issues.

[FEATURE] AI 비사용 분석 API 추가

2 participants