这篇博客记录语言信息处理课的Topic作业

Topic

观点一：如果将数据库的大小扩大一百万倍甚至十亿倍，最终机器翻译能完美地翻译任何语言。。

观点二：再多的数据也不能让机器拥有理解能力

你认为呢？每次课后更新

1. 前言

这是本人第一次做Gitchat，非常荣幸能够将我这段时间对微博数据的抓取工作整理成这篇文章，分享给大家。最后，我也会讲述一下我对于爬虫的理解，以及爬虫工程师，这个大数据时代站在数据最源头的人，工作是什么样的，未来有什么发展。

前言

此前我发布了一篇博客微博爬虫，每日百万级数据，并且把代码开源在了Github上，然后就有很多人联系我，也有公众号转载了这篇文章。

不过对于微博爬虫，我还是心虚的，因为没有解决账号池的问题，所以每天百万级的数据，是有水分的。单单爬好友关系，这种简单数据可以达到百万级，如果爬关键词搜索的微博，或者一个人的全部微博，是达不到百万级数据这个量的。

不过既然已经埋了坑，就要填！所以自从写了那片文章以后，就一直想构建一个稳定的单机每日千万级的微博抓取系统。

值得庆祝的是，这个问题现在已经全面解决了！也对微博爬虫有了更深层次的认识！

前言

Ubuntu 报错 No space left on device
说明磁盘空间占满了，所以就需要找到是什么文件占用了磁盘，并且删除它.

系统简介

根据关键词对主流舆情网站进行数据抓取.

网站包括:weibo,facebook,twitter,YouTube

用途

当然是对这些主流网站做舆情监控和分析啊！！！

比如你想了解工商银行的服务态度，直接去抓取提到了工商银行的微博语料(文本，图片，视频)，然后基于这些语料做情感分析即可.

在线体验

演示视频

问题

需要在Python程序中创建一个新的进程，这个进程会完全独立的运行，不会说Python脚本结束了，这个进程也结束了.

前言

Pytorch相对于Tensorflow来说更适合做研究，主要原因就是Pytorch是动态图，也就是不用向Tensorflow一样先构建好计算图，然后在session中运算，这一点对于debug非常之不方便！

究竟有什么大的优点，贴一个知乎上的回答:

所以这篇博客主要记录Pytorch的入门code，具体入门是遵循莫烦的教程！

前言

爬虫原先一直想用免费的代理，但是实践表明，免费的东西，质量就是很差的.

恰好手上有好几台VPS，所以想自己搭建一个代理，这个自建的代理肯定就是好用的！

具体的方法是采用squid来搭建代理.

序列化

Python中可以通过pickle序列化一个内存中的对象/数据结构到文件中，并从文件中反序列化出这个对象。

序列化：

1
2
3
4

import pickle
data = [1,2,3]
with open('test.pkl', 'w') as f:
    pickle.dump(data, f)

xlsxwriter

这个包可以非常优雅的写Excel文件，注意只能写，不能读和修改。

官方文档：http://xlsxwriter.readthedocs.io/index.html