gov-scraper: 기업마당(bizinfo) Open API 소스 추가

- BizinfoApiSource: bizinfo.go.kr 자체 crtfcKey 사용, /uss/rss/bizinfoApi.do
- 페이지네이션 없음 → totCnt 파악 후 전체 일괄 요청(1,463건 검증)
- bsnsSumryCn(HTML) 본문 → stripHtml 로 태그 제거, 단일패스 적재(전건 DETAILED)
- reqstBeginEndDe "YYYY-MM-DD ~ ..." → 신청기간 파싱(706건), 텍스트형은 null
- util: stripHtml, parsePeriodRange 추가
- 데몬 4소스 가동: kstartup/bizinfo/mss/smes

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
This commit is contained in:
2026-06-11 06:33:27 +00:00
parent f2a8f30867
commit 82504e2261
5 changed files with 134 additions and 9 deletions

View File

@@ -71,12 +71,13 @@ pm2 logs gov-daemon
데몬 자체는 웹 검색을 못 하므로, 신규 소스 발굴은 Claude(WebSearch)가 수행해
`htmlSources.js` 또는 `gov_source` 에 등록한다. 후보 목록은 `docs/sources-catalog.md` 참조.
## 미완 / TODO
- **기업마당(bizinfo)**: 자체 인증키(`crtfcKey`, bizinfo.go.kr 별도 신청) 필요.
`.env``BIZINFO_CRTFC_KEY` 발급 후 어댑터 추가 예정. (data.go.kr 키와 별개)
- 지자체/부처 게시판 추가(GenericHtmlSource config).
## 구현된 소스
- `kstartup`(API), `mss`(HTML 게시판), `smes`(HTML 목록전용 — 상세는 팝업 전용이라 목록만 적재).
- `kstartup`(K-Startup Open API, ~29k건)
- `bizinfo`(기업마당 Open API, ~1.5k건 — 본문 포함 단일패스)
- `mss`(중기부 게시판 HTML)
- `smes`(중소벤처24 HTML 목록전용 — 상세는 팝업 전용이라 목록만 적재)
## TODO
- 지자체/부처 게시판 추가(GenericHtmlSource config).