一个对人类友好的“爬虫” requests-html ——没有之一

使用Python开发的同学一定听说过Requsts库,它是一个用于发送HTTP请求获取网页内容的库。我们用Python做基于HTTP协议的接口测试,那么一定会首选Requsts,简单又强大。现在作者Kenneth Reitz 又开发了requests-html 用于做爬虫。HTML Parsing for Humans, 这句话是库作者(kennethreitz)原话, 体现出了这个库的人性化。

requests-html 是基于现有的框架 PyQuery、Requests、lxml、beautifulsoup4等库进行了二次封装,作者将Requests设计的简单强大的优点带到了该项目中。

该项目从3月上线到现在已经8K+的star了!

(更多…)

“数字资产会成为人类最大的资产”-区块链对公司的影响会是摧枯拉朽的

【开宗明义】这个演讲是上一个 “价值互联网”演讲的延续,两个核心概念,

第一,我从来不认为区块链是“下一代互联网”

就像100年前,在纽约的街头出现了汽车,这是一个全新的东西。《纽约时报》是这样来描述的:“这是一辆跑得比马还快的马车”。今天,我们很难去描述区块链的概念,只好说“这是下一代互联网”。桥是桥,路是路,我认为,区块链是一个全新的时代。

第二,区块链是人类历史上最大的数字化迁徙体系

由此,我们看到 “数字资产会成为人类最大的资产”-区块链对公司的影响会是摧枯拉朽的。

赵胜:区块链对公司的影响会是摧枯拉朽的

区块笔记侠2018-06-17

(更多…)

林奥杰:给艺术品一张身份证,为艺术品保驾护航 ——开启艺术品鉴证的云平台服务(《中国艺术金融》2017-10)

作者:林奥杰(北京艺鉴通科技有限公司总经理,中检学会艺术品鉴证质量溯源专业委员会、高级技术顾问)
来源:《艺术品鉴证·中国艺术金融》杂志2017-10

摘要:基于《中国艺术品资产化研究》(中卷)(西沐,2016)所提出的关于对中国艺术品资产鉴定综合服务体系图的整体设计,以及中国检验检疫学会会长魏传忠提出的“六位一体”艺术品鉴证质量溯源体系,本文提出构建“互联网+科技+艺术”的艺术品支撑服务体系,给艺术品一张身份证,为艺术品市场的繁荣保驾护航。

关键词:艺术品 质量溯源 公共服务平台 云计算 大数据标准体系 艺云融媒体

 

(更多…)

以太坊开发入门,完整入门篇

1月9日 发布,来源:me.tryblockchain.org

可能是目前为止最全的以太坊开发入门指南

翻译自:https://medium.com/@mattcondon/getting-up-to-speed-on-ethereum-63ed28821bbe

从入门到精通,干货篇。

必读,如果你:

  • 是一个专业的程序员
  • 如果你想了解以太坊当前可以做到什么程度,通过什么,如何做到。

预备知识:

  1. 你需要知道区块链的概念及实现一个无需信任的电子货币的运作原理。可以先看看长版,如果你觉得太长,可以看看短版。但我还是建议,看那个长的视频。
  2. 如果你是一名软件工程师,拥有软件开发的经验。能知道从系统、架构角度学一个东西,其实能倍增学习效果。
  3. 如果有一周的空闲时间。好了,下面开始就不再是废话了。
  4. 你需要了解merkle tree的基本概念,看他是如何做到防止信息篡改,以及信息自校验的(译者注:可以看我曾经翻译的以太坊官方的关于merkle tree的文章,http://me.tryblockchain.org/Ethereum-MerklePatriciaTree.html )。

不用必须读白皮书,只需要了解一些基本概念。但说实话,如果不读,不会相信这些概念,从而不能真正明白这些概念,所以读白皮书也许仍然是最快的方式。

我建议你完整的读一下本文,从一个较高的层面了解一下,然后再挑感兴趣的,一一钻研,也许要花几天时间哦。

你最后会发现,区块链就是建立在朴实无华的基本技术之上,一点也不神奇。虽然最近各种ICO把它炒得非常热。每个人都是站在巨人的肩膀上,如果你是程序员,你能对这些项目和技术,理解得更深。所以不要因为其它一些糟粕,而失去了一个提升自己的机会。

(更多…)

手机淘宝的技术–绿色、低功耗、低网耗

【奥呦】移动互联网时代,IOS和安卓移动平台要求的是“绿色、低功耗、低网耗”,大安装包,在很多只有1G内存的安卓低端机上,是很大的安装负担。从技术架构上,我们把手机淘宝打造成一个开放的插件平台,模拟web上按需加载的方式,成功将Android的安装包从40M缩减到27M。

“双12”别谈卖货了,我们来讲讲手机淘宝的技术

2014年“双十一”,开始三分钟总成交即超过10亿,而移动端占比超70%,毫无异议地宣告移动互联时代的到来。——在这个最高峰时段,提供顺畅的移动体验支持的,就是手机淘宝技术团队。从APP启动、到首页的加载、下单、支付……手机淘宝上购物流程完成时间,已经从年初的20多秒优化到9秒以内。
这也意味着,在任何一款主流机型上,用户点击手机淘宝都可以实现秒开。而在原来APP启动环节,消费者等待的时间,现在可以再完成一次商品购买。
移动时代的“双12”,不仅仅是疯狂购物,也是手机淘宝的“表演秀”,手机淘宝已经成为了全球最大的移动消费生活平台:转让闲置物品、跑腿服务、家庭保洁、电影票销售、汽车日常保养应有尽有。然而,前面的风光,背后却是更为复杂的技术问题。

张小龙的30条产品法则:满足贪嗔痴 极简能无敌

手机是肢体的延伸,和人是一体的(通过各种传感器);而PC是外物,即外部环境。移动互联网产品不是简单的PC到手机的移植。做没有web的移动互联网产品该怎么做?这对中国IT人来说是全新的课题。下面整理出的30条原则中,可以看到一些对于APP产品设计和推广的清醒认识,它们来自于微信创始人张小龙的演讲PPT,老汪编辑整理。

(更多…)

牛P正明是如何去IOE(IBM小型机、Oracle、EMC存储)的

【淘宝技术委员会期刊·二月-牛P日志】正明【老林读后】在政府终于开始对IOE动手的时候,突然想起来当年去IOE的牛人:章文嵩 博士。对于技术的执着追求和如其是的了解,是在章文嵩博士给我们分析他对于一个事情的看法:元数据的分析。当时我还不知道这就是牛P的正明,只知道眼前这个人就像打着少林拳的张无忌。说的轻松无比,其实背后有雄厚实力。

现在看看正明是如何从板卡和操作系统层面上来一步步搬开IOE三座大山的!free hit counters

【淘宝技术委员会期刊·二月-牛P日志】正明

子柳:感谢正明抽出宝贵时间接受我们的采访,从正明这一路走过来看,总的感觉就是“技术驱动人生”,正明已经把技术融进了骨子里。
发表于:2012年03月01日  15:06 转发 184
@淘宝正明:集团核心系统研发负责人,高级研究员。现为2012年“大淘宝技术委员会”会长,毕业于国防科学技术大学计算机专业,工学博士,曾任TelTel首席科学家,国防科技大学计算机学院副教授,RedHat 内核开发者,LVS 开源软件创始人,ChinaCluster 的共同创办者。

程序员编程生产力相差10倍意味着什么?

【导语】刘兰芳讲述的《岳飞传》最让人神往的就是岳王爷的朱仙镇大捷,岳家军赫赫有名的八百破十万。在我们的攻城师团队中,到底有没有以一当十,八百胜十万的可能?在我看来,完全有可能。每每看到一帮兄弟熬夜通宵还没有结果,心里一半是心疼,一半是可气。那还是想办法来锻炼一只精英团队吧。free hit counters

程序员编程生产力相差10倍意味着什么?

在软件工程研究中,被验证得最多的结论就是对于同等经验的两个不同程序员,在效率和质量上可能会有10倍的差距。研究人员还发现,这种差距也适用于团队级别上,也就是说在同一行业内的不同的团队也是如此。 (更多…)