# talkCrawler


## Summary

[Talk-ja -- OpenStreetMap Japanese talk](https://lists.openstreetmap.org/listinfo/talk-ja) の過去の記事をクロールして,
 ローカルデータベースに収集する。


## Development

* Used by NetBeans 8.2
* OpenJDK 8

## External library

* [hayashi.jar](https://osdn.net/projects/hayashilib/releases/) - hayashi lib
* [javax.json.jar](https://javaee.github.io/jsonp/) - JSON parser
* [commons-compress-1.18.jar](https://commons.apache.org/proper/commons-compress/download_compress.cgi) - Apache Commons Compress
* [postgresql-42.2.4.jar](https://www.postgresql.org/) - PostgeSQL JDBC driver

### build

### Development environment

![TalkCrawler.class](TalkCrawler.class.violet.png)

1. curl[monthly index](https://lists.openstreetmap.org/pipermail/talk-ja/) を取得する
2. 
3. 生成された「統計データ」と「ベクタタイル」を GitHub に プッシュ(push) する
4. ついでに、`Raspi3`にある「公開用のPostGIS」にも「データ」をコピーする


## 処理