gov-scraper: 기업마당(bizinfo) Open API 소스 추가
- BizinfoApiSource: bizinfo.go.kr 자체 crtfcKey 사용, /uss/rss/bizinfoApi.do - 페이지네이션 없음 → totCnt 파악 후 전체 일괄 요청(1,463건 검증) - bsnsSumryCn(HTML) 본문 → stripHtml 로 태그 제거, 단일패스 적재(전건 DETAILED) - reqstBeginEndDe "YYYY-MM-DD ~ ..." → 신청기간 파싱(706건), 텍스트형은 null - util: stripHtml, parsePeriodRange 추가 - 데몬 4소스 가동: kstartup/bizinfo/mss/smes Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
This commit is contained in:
@@ -71,12 +71,13 @@ pm2 logs gov-daemon
|
||||
데몬 자체는 웹 검색을 못 하므로, 신규 소스 발굴은 Claude(WebSearch)가 수행해
|
||||
`htmlSources.js` 또는 `gov_source` 에 등록한다. 후보 목록은 `docs/sources-catalog.md` 참조.
|
||||
|
||||
## 미완 / TODO
|
||||
|
||||
- **기업마당(bizinfo)**: 자체 인증키(`crtfcKey`, bizinfo.go.kr 별도 신청) 필요.
|
||||
`.env` 의 `BIZINFO_CRTFC_KEY` 발급 후 어댑터 추가 예정. (data.go.kr 키와 별개)
|
||||
- 지자체/부처 게시판 추가(GenericHtmlSource config).
|
||||
|
||||
## 구현된 소스
|
||||
|
||||
- `kstartup`(API), `mss`(HTML 게시판), `smes`(HTML 목록전용 — 상세는 팝업 전용이라 목록만 적재).
|
||||
- `kstartup`(K-Startup Open API, ~29k건)
|
||||
- `bizinfo`(기업마당 Open API, ~1.5k건 — 본문 포함 단일패스)
|
||||
- `mss`(중기부 게시판 HTML)
|
||||
- `smes`(중소벤처24 HTML 목록전용 — 상세는 팝업 전용이라 목록만 적재)
|
||||
|
||||
## TODO
|
||||
|
||||
- 지자체/부처 게시판 추가(GenericHtmlSource config).
|
||||
|
||||
Reference in New Issue
Block a user