主页面url
http://flights.ctrip.com/booking/BJS-KMG-day-1.html?DDate1=2017-09-22

获取数据url
http://flights.ctrip.com/domesticsearch/search/SearchFirstRouteFlights?DCity1=BJS&ACity1=KMG&SearchType=S&DDate1=2017-09-22&IsNearAirportRecommond=0&LogToken=c802fde883e64a3c8fba0e99e45d023c&rk=2.7090996922689414192821&CK=1D7795E4EB96B7578AA673D6EF346C33&r=0.2337708871934405872019

首次搜索
http://flights.ctrip.com/domestic/Search/FirstRoute/?ddate1=2017-09-22&ddate2=2017-09-22&dcity1=BJS&acity1=KMG
http://flights.ctrip.com/domestic/booking/BJS-KMG---D-adu-1/?dayoffset=1&ddate1=2017-09-22&ddate2=2017-09-22
重新搜索
http://flights.ctrip.com/booking/bjs-kmg---d-adu-1/?ddate1=2017-09-22&ddate2=2017-09-22 往返
http://flights.ctrip.com/booking/BJS-KMG-day-1.html?DDate1=2017-09-22 单程

往返
var url = "//flights.ctrip.com/domesticsearch/search/SearchRoundRecommend?DCity1=BJS&ACity1=KMG&SearchType=D&DDate1=2017-09-22&ACity2=BJS&DDate2=2017-09-22&IsNearAirportRecommond=0&LogToken=3c10647ccad04412a33567f25335875a&CK=97017DBB47A37AFE6BE4D99105F78AFE";
单程
var url = "//flights.ctrip.com/domesticsearch/search/SearchFirstRouteFlights?DCity1=BJS&ACity1=KMG&SearchType=S&DDate1=2017-09-22&IsNearAirportRecommond=0&LogToken=66c9c383c12f4dc685a9ad3e5834a7c4&CK=D6BF57FFFC0A4E89AF51CF7186A1944E";

根据直接获取json的url拿到数据解析后就能获得航班信息，这个url里有4个参数，需要从搜索主页的页面里获取
单程和往返的原理一样，就是往返多了一个返回日期，其他都一样

LogToken不变 r不变 CK有变化 rk用Math.random

LogToken
rk
CK
r 在主页面的第34行

LogToken和CK根据主页面24行的url可以得到，r值在主页面34行可以得到

获取的json数据的url，爬取数据用的url
单程
http://flights.ctrip.com/domesticsearch/search/SearchFirstRouteFlights?DCity1=BJS&ACity1=KMG&SearchType=S&DDate1=2017-09-22&IsNearAirportRecommond=0&LogToken=c96a69a7ca9142be9f0e3192f44f9f07&rk=1.445840834132689163412&CK=6A53EEBD27EBBE6785AF7951EC03EB1E&r=0.3795051054613884121115
往返
http://flights.ctrip.com/domesticsearch/search/SearchFirstRouteFlights?DCity1=BJS&ACity1=KMG&SearchType=D&DDate1=2017-09-22&ACity2=BJS&DDate2=2017-09-22&IsNearAirportRecommond=0&LogToken=584465ec999045db9a546e1ce6a04a3f&rk=4.057381591787214165342&CK=D76BF5FFFC0A4E89AF51CF7186A1944E&r=0.543402675163338674414

昨天天发现Tomcat占用2G物理内存，11G虚拟内存，感觉就起了一个web项目，而且是在内网，没几个人用呀。内存占用怎么这么高。

Tomcat使用的大多是默认配置。就改了个conf/context.xml server.xml

遇到问题了，先想想怎么解决，暂时能想到的是用分析工具分析一下了。我用的是jdk1.8.0_111， ${JAVA_HOME}/bin目录里有两个工具jmc.exe　jvisualvm.exe
这两个工具就是今天的主角了。用来监控JVM的。

　　我们都知道在一个循环内拼接字符串不能直接用+，而是要用StringBuilder或者StringBuffer代替。
　　但是在循环内拼接字符串影响会有多大呢，会对程序产生多大影响呢，是0.1s还是1s，还是… ，用数据来说话。

　　还有一个问题就是，循环内每次要输出一句话，用String+还是用StringBuilder好呢。
　　顺便也测一下。

电脑版：http://weibo.com
手机版wap版: https://weibo.cn/
手机app版：https://m.weibo.cn/

我采用的是爬取手机wap版，weibo.cn

最重要的是这四个参数：_T_WM、SUB、SUHB、SCF

爬取微博主要思路是登录后获取cookie，cookie可以一直用

一个账号1分钟爬取次数不要太快，尽量小于10次。

(1) 下载安装

(1.1) Linux/Unix

Redis对于Linux是官方支持的,普通安装、使用按照官方指导，5分钟以内就能搞定。详情请参考：Redis官网下载链接 http://redis.io/download

下载安装

wget http://download.redis.io/releases/redis-6.0.5.tar.gz
tar xzf redis-6.0.5.tar.gz
cd redis-6.0.5
sudo make

启动Redis Server

./src/redis-server redis.conf

** 启动Redis Client **

ZBMAC-C02PGMT0F:redis-6.0.5 weikeqin1$ ./src/redis-cli
127.0.0.1:6379>

(1.2) Windows

Redis官方是不支持windows的，只是 Microsoft Open Tech group 在 GitHub上开发了一个Win64的版本,项目地址是：项目地址
打开以后，可以直接使用浏览器下载，或者Git克隆。
https://github.com/MicrosoftArchive/redis/releases
在 Release 页面中，可以找到 msi 安装文件以及 .zip 文件
下载解压，在解压后的bin目录下有以下这些文件：

由于天眼查反爬措施较严，只写了思路，有部分内容没公开。仅供参考。

需要一万条左右的企业信息，然后就想到 天眼查 企查查 启信宝 去爬一点，发现天眼查做的比较好，然后就想从天眼查爬一点。
结果发现天眼查2017-06的时候改版了，改版以后全部使用https，而且反爬措施也严了。
如果不差钱，直接用天眼查提供的接口 https://open.tianyancha.com/

爬取的时候发现并没有想象的那么简单，然后再网上搜了搜，发现2017-06以前的博客代码都不能用了。2017-06以后的资料非常少。没办法，只能靠自己了。

2018-03-01 又改版了，改完感觉颜色没以前好看了。不过增加了一些功能。

如果是毕业写论文需要几万条数据，可以直接找我要，免得花费太多时间，Email: weikeqin.cn@gmail.com

为什么要写日志

举个简单的例子，你把项目写完后，交给客户，然后客户运行的时候出现问题，很紧急，你要解决这个问题，怎么办？

这就是写日志的原因，在程序出现问题的时候，日志可以第一时间定位到问题的所在，方便及时排查、解决问题。

在系统开发中，日志是很重要的一个环节，日志写得好对于我们开发调试，线上问题追踪等都有很大的帮助。但记日志并不是简单的输出信息，需要考虑很多问题，比如日志输出的速度，日志输出对于系统内存,CPU的影响等，为此，出现了很多日志框架，以帮助开发者解决这些问题。

对于中国的Neo4j学习者的一些推荐资料
Neo4j官网
Neo4j中文社区
neo4j亚太区技术专家 俞方桦 博士 中文社区文章
neo4j亚太区技术专家 俞方桦 博士 csdn文章
大白 知乎 回答

developer-manual
ogm-manual
java
rest-docs

NLP(Nature Language Processing)自然语言处理

funNLP https://github.com/fighting41love/funNLP

中英文敏感词、语言检测、中外手机/电话归属地/运营商查询、名字推断性别、手机号抽取、身份证抽取、邮箱抽取、中日文人名库、中文缩写库、拆字词典、词汇情感值、停用词、反动词表、暴恐词表、繁简体转换、英文模拟中文发音、汪峰歌词生成器、职业名称词库、同义词库、反义词库、否定词库、汽车品牌词库、汽车零件词库、连续英文切割、各种中文词向量、公司名字大全、古诗词库、IT词库、财经词库、成语词库、地名词库、历史名人词库、诗词词库、医学词库、饮食词库、法律词库、汽车词库、动物词库、中文聊天语料、中文谣言数据、百度中文问答数据集、句子相似度匹配算法集合、bert资源、文本生成&摘要相关工具、cocoNLP信息抽取工具、国内电话号码正则匹配、清华大学XLORE:中英文跨语言百科知识图谱、清华大学人工智能技术系列报告、自然语言生成、NLU太难了系列、自动对联数据及机器人、用户名黑名单列表、罪名法务名词及分类模型、微信公众号语料、cs224n深度学习自然语言处理课程、中文手写汉字识别、中文自然语言处理 语料/数据集、变量命名神器、分词语料库+代码、任务型对话英文数据集、ASR 语音数据集 + 基于深度学习的中文语音识别系统、笑声检测器、Microsoft多语言数字/单位/如日期时间识别包、中华新华字典数据库及api(包括常用歇后语、成语、词语和汉字)、文档图谱自动生成、SpaCy 中文模型、Common Voice语音识别数据集新版、神经网络关系抽取、基于bert的命名实体识别、关键词(Keyphrase)抽取包pke、基于医疗领域知识图谱的问答系统、基于依存句法与语义角色标注的事件三元组抽取、依存句法分析4万句高质量标注数据、cnocr：用来做中文OCR的Python3包、中文人物关系知识图谱项目、中文nlp竞赛项目及代码汇总、中文字符数据、speech-aligner: 从“人声语音”及其“语言文本”产生音素级别时间对齐标注的工具、AmpliGraph: 知识图谱表示学习(Python)库：知识图谱概念链接预测、Scattertext 文本可视化(python)、语言/知识表示工具：BERT & ERNIE、中文对比英文自然语言处理NLP的区别综述、Synonyms中文近义词工具包、HarvestText领域自适应文本挖掘工具（新词发现-情感分析-实体链接等）、word2word：(Python)方便易用的多语言词-词对集：62种语言/3,564个多语言对、语音识别语料生成工具：从具有音频/字幕的在线视频创建自动语音识别(ASR)语料库、构建医疗实体识别的模型（包含词典和语料标注）、单文档非监督的关键词抽取、Kashgari中使用gpt-2语言模型、开源的金融投资数据提取工具、文本自动摘要库TextTeaser: 仅支持英文、人民日报语料处理工具集、一些关于自然语言的基本模型、基于14W歌曲知识库的问答尝试–功能包括歌词接龙and已知歌词找歌曲以及歌曲歌手歌词三角关系的问答、基于Siamese bilstm模型的相似句子判定模型并提供训练数据集和测试数据集、用Transformer编解码模型实现的根据Hacker News文章标题自动生成评论、用BERT进行序列标记和文本分类的模板代码、LitBank：NLP数据集——支持自然语言处理和计算人文学科任务的100部带标记英文小说语料、百度开源的基准信息抽取系统、虚假新闻数据集、Facebook: LAMA语言模型分析，提供Transformer-XL/BERT/ELMo/GPT预训练语言模型的统一访问接口、CommonsenseQA：面向常识的英文QA挑战、中文知识图谱资料、数据及工具、各大公司内部里大牛分享的技术文档 PDF 或者 PPT、自然语言生成SQL语句（英文）、中文NLP数据增强（EDA）工具、英文NLP数据增强工具 、基于医药知识图谱的智能问答系统、京东商品知识图谱、基于mongodb存储的军事领域知识图谱问答项目、基于远监督的中文关系抽取、语音情感分析、中文ULMFiT-情感分析-文本分类-语料及模型、一个拍照做题程序、世界各国大规模人名库、一个利用有趣中文语料库 qingyun 训练出来的中文聊天机器人、中文聊天机器人seqGAN、省市区镇行政区划数据带拼音标注、教育行业新闻语料库包含自动文摘功能、开放了对话机器人-知识图谱-语义理解-自然语言处理工具及数据、中文知识图谱：基于百度百科中文页面-抽取三元组信息-构建中文知识图谱、masr: 中文语音识别-提供预训练模型-高识别率、Python音频数据增广库、中文全词覆盖BERT及两份阅读理解数据、ConvLab：开源多域端到端对话系统平台、中文自然语言处理数据集、基于最新版本rasa搭建的对话系统、基于TensorFlow和BERT的管道式实体及关系抽取、一个小型的证券知识图谱/知识库、复盘所有NLP比赛的TOP方案、OpenCLaP：多领域开源中文预训练语言模型仓库、UER：基于不同语料+编码器+目标任务的中文预训练模型仓库、中文自然语言处理向量合集、基于金融-司法领域(兼有闲聊性质)的聊天机器人、g2pC：基于上下文的汉语读音自动标记模块、Zincbase 知识图谱构建工具包、诗歌质量评价/细粒度情感诗歌语料库、快速转化「中文数字」和「阿拉伯数字」、百度知道问答语料库、基于知识图谱的问答系统、jieba_fast 加速版的jieba、正则表达式教程、中文阅读理解数据集、基于BERT等最新语言模型的抽取式摘要提取、Python利用深度学习进行文本摘要的综合指南、知识图谱深度学习相关资料整理、维基大规模平行文本语料、StanfordNLP 0.2.0：纯Python版自然语言处理包、NeuralNLP-NeuralClassifier：腾讯开源深度学习文本分类工具、端到端的封闭域对话系统、中文命名实体识别：NeuroNER vs. BertNER、新闻事件线索抽取、2019年百度的三元组抽取比赛：“科学空间队”源码、基于依存句法的开放域文本知识三元组抽取和知识库构建、中文的GPT2训练代码、ML-NLP - 机器学习(Machine Learning)NLP面试中常考到的知识点和代码实现、nlp4han:中文自然语言处理工具集(断句/分词/词性标注/组块/句法分析/语义分析/NER/N元语法/HMM/代词消解/情感分析/拼写检查、XLM：Facebook的跨语言预训练语言模型、用基于BERT的微调和特征提取方法来进行知识图谱百度百科人物词条属性抽取、中文自然语言处理相关的开放任务-数据集-当前最佳结果、CoupletAI - 基于CNN+Bi-LSTM+Attention 的自动对对联系统、抽象知识图谱、MiningZhiDaoQACorpus - 580万百度知道问答数据挖掘项目。

比较好的文章

中文自然语言处理可能是 NLP 中最难的？
未来数据领域的珠穆朗玛峰之中文自然语言处理

比较好的个人博客

Poll的笔记
计算广告与机器学习

http://www.cnblogs.com/jerrylead/tag/Machine%20Learning/ Machine Learning
http://www.javashuo.com/tag/NLP/list-7.html
http://www.cnblogs.com/DianaCody/

国内自然语言处理产品

百度自然语言处理
https://cloud.baidu.com/product/nlp
腾讯文智

阿里巴巴

环境：
Windows XP sp2
MS SQL Server 2OOO sp1
MySql 5.0.41

1：MSSQLServer数据库导入到MySql数据库

步骤：

1.安装mysql数据库的ODBC驱动，mysql-connector-odbc-3.51.23-win32.msi，下载并安装。

2.在Mysql中创建数据库实例。

3.打开控制面板 –> 管理工具 –> 数据源ODBC，在用户DSN中添加一个MySQL ODBC 3.51数据源。

4.在登录login选项卡中输入数据源名称Data Source Name，此处输入MysqlDNS（也可以自己随便命名，
只要在后面导入数据的时候选择正确的数据源名字就行），然后输入服务器Server，用户User，密码Password，
输入正确后选择要导入的数据库，Database选择你需要导入的数据库。
在连接选项connect options中根据需要设置MySql使用的端口port和字符集Character Set。

注：字符集一定要和Mysql服务器相对应，如果Mysql使用了gbk字符集，则一定要设置字符集为gbk，
否则导入到Sql Server可能会出现问号乱码。

5.打开sql server企业管理器，选择该数据库，单击右键选择所有任务 –> 导出数据。

6.‘选择数据源’为默认，‘选择目的’为刚刚安装的mySQL数据源，用户/系统DSN为MysqlDNS。
在‘指定表复制或查询’中选择‘从源数据库复制表和视图’，在‘选择源表和视图’里，选择需要导入的表，
即可将数据从MSSQLServer数据库导入到MySql数据库中。

2：MySql数据库导入到MSSQL数据库中

1.安装mysql数据库的ODBC驱动，mysql-connector-odbc-3.51.19-win32.msi

2.打开控制面板\管理工具\数据源ODBC，在用户DSN中添加一个MySQL ODBC 3.51数据源。

3.在登录login选项卡中输入数据源名称Data Source Name，此处输入MysqlDNS;然后输入服务器，
用户User，密码Password，输入正确后选择要导入的数据库。
在连接选项connect options中根据需要设置MySql使用的端口port和字符集Character Set。

注：字符集一定要和Mysql服务器相对应，如果Mysql使用了gbk字符集，则一定要设置字符集为gbk，
否则导入到Sql 可能会出现问号乱码。

4.打开sql server企业管理器，新建一数据库MySql。选择该数据库，单击右键选择所有任务\导入数据。

5.选择数据源为其它(ODBC数据源)，用户/系统DSN为MysqlDNS。其余根据向导进行，
即可将数据从MySql数据库导入到MSSQL数据库中

References

[1] Mysql和SqlServer互相转换