12 11
用Go统计大文件小点滴

今天,团队里面的小伙伴说手头上有一些几个G以上的文件,需要统计文件里面的数据(文件里面的数据很简单都是Key:Value这样的组织形式)。然后咱俩随便抽了一个5G多的文件,用很普通的方式写了几行代码,流程是 读文件-->扫文件-->识别KV-->统计

然后程序跑了一趟,发现竟然要5分多钟。十分惊讶下,我想,明明很简单的逻辑的代码为什么要跑这么慢。然后我看了一下初版的代码,发现引起性能问题的几个点,分别是:

  • strconv的频繁使用
  • map[string]uint64形式的对象频繁调用
  • 为了识别KV,遍历文件时使用了 split 函数

下面是最开始的代码:

11 14
ATS缓存组件使用总结

一、简介

Apache Traffic Server基本可以用一句话概括:它不仅是HTTP代理服务器, 还是HTTP缓存服务器,且可以缓存任何字节流数据。

二、使用情况

由于是做电商,为了满足日常业务的发展,最初的nginx-proxycache的方式已经不能满足我们的大并发量而且大流量对象的缓存需要。这个时候我调研过squid、varnish等缓存代理,最后基于同行的使用报告和自己搭建使用一段时间后,最终我们就决定采用ATS作为缓存中心的核心层。具体的原因有以下几点:

10 29
C语言的限定符修饰问题

最近阅读 《Expert C Programming》,有一个问题是这样的:

foo(const char **p) {}

main(int argc, char **argv)
{
    foo(argv)
}

如果编译这段代码,编译器会发出一条警告信息如下:

warning: argument is incompatible with prototype

一般情况很多人会认为实参char *s 与形参 const char *p 应该是相容的,标准库中所有的字符串处理函数都是这样的。那么为什么 实参char **argv 与形参 const char **p 实际上不相容呢?

10 8
《程序员的自我修养》读书笔记

本文是《程序员的自我修养》的读书笔记之一,主要把相关知识点进行了梳理。

链接、装载等是操作系统中很基础也是很重要的一部分。我们需要掌握的东西很多,书中向我们灌输了理解linux里面的文件的ELF格式的重要性,我们从阅读《程序员的自我修养》前面的章节从学习ELF文件格式开始有助于更加了解日常编程看不到的东西:

  • 理解操作系统是如何让一段代码工作起来
  • 如何让不同的二进制模块协同工作
  • 理解整个系统的一个起点

本书最好是配合 《Linkers and Loaders》 一起深入阅读。

链接、装载、库是本书的三大核心点,看书的时候根据这三点的笔记整理如下:

后一页