ITeye博客

zhangyijun

hot66hot · 共 15 篇文章

nginx+lua+kafka实现日志统一收集汇总

转载请注明出处: http://hot66hot.iteye.com/blog/2291916 一:场景描述 对于线上大流量服务或者需要上报日志的nginx服务,每天会产生大量的日志,这些日志非常有价值。可用于计数上报、用户行为分析、接口质量、性能监控等需求。但传统nginx记录日志的方式数据会散落在各自nginx上,而且大流量日志本身对磁盘也是一种冲击。 我们需要把这部分nginx日志统一收集汇总起来,收集过程和结果需要满足如下需求: 支持不同业务获取数据,如监控业务,数据分析统计业务,推荐业务等。 数据实时性 高性能保证 二:技术方案 得益于openresty和kafka的高性能,我们可…

2016-04-17 15:53 · Distribution · nginx · lua · kafka · 评论(3)

Hystrix 使用与分析

转载请注明出处哈:http://hot66hot.iteye.com/blog/2155036 一:为什么需要Hystrix? 在大中型分布式系统中,通常系统很多依赖(HTTP,hession,Netty,Dubbo等),如下图: 在高并发访问下,这些依赖的稳定性与否对系统的影响非常大,但是依赖有很多不可控问题:如网络连接缓慢,资源繁忙,暂时不可用,服务脱机等. 如下图:QPS为50的依赖 I 出现不可用,但是其他依赖仍然可用. 当依赖I 阻塞时,大多数服务器的线程池就出现阻塞(BLOCK),影响整个线上服务的稳定性.如下图: 在复杂的分布式架构的应用程序有很多的依赖,都会不可避免地在某些时…

2014-11-12 16:36 · CoreJava · Distribution · 评论(22)

JVM日志和参数的理解

写这篇wiki的目的:最近在调整Hbase的JVM,翻了些文档和wiki,想写点东西,给自己和想了解jvm日志和参数的同 学提供些帮助. 一:理解GC日志格式,读GC日志的方法 1:开启日志 -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCDateStamps -Xloggc:/path/gc.log -XX:+UseGCLogFileRotation 启用GC日志文件的自动转储 (Since Java) -XX:NumberOfGClogFiles=1 GC日志文件的循环数目 (Since Java) -XX:GCLogFileSize=1M 控制G…

2014-06-04 12:29 · JVM · 评论(3)

redis-cluster研究和使用

最近研究redis-cluster,正好搭建了一个环境,遇到了很多坑,系统的总结下,等到redis3 release出来后,换掉memCache 集群. 转载请注明出处哈:http://hot66hot.iteye.com/admin/blogs/2050676 一:关于redis cluster 1:redis cluster的现状 reids-cluster计划在redis3.0中推出,可以看作者antirez的声明: http://antirez.com/news/49 (ps:跳票了好久,今年貌似加快速度了),目前的最新版本见: https://raw.githubuserconte…

2014-04-21 12:39 · redis · 评论(49)

分享MySQL操作规范

背景 主要介绍,日常线上mysql操作,需要注意的情况。包括字段类型,索引,数据表,上线alter table等规范和注意事项。 等级划分:建议,不推荐,禁止 所有规则总有例外,要灵活,辩证看待问题 创建sql规范 DATABASE 1,是否需要使用数据库? 不是所有的东西都需要存在DB中,临时数据,日志数据等不需要,合理使用HBase,memcached,Redis等 不仅仅只有RMDB 2,数据库划分? 目前一般是根据业务逻辑划分数据库。 如果是新业务需求,要合理考虑DB存放mysqld。 目前线上主要3台mysqld,按照业务重要程度来划分: 主库相关:DB33 S级业务数据:DB22…

2013-01-16 17:48 · MySQL · 评论(0)

MySQL 研究innodb_max_purge_lag分享

现象: 线上数据库每个表分配一个ibdata,但是总的ibdata文件很大,超过10G,用相关工具查看,大部分空间都是undo_log 分析了db33的ibdata1的记过 Total number of page: 2398464: 2.4M的page * 16K = 38G Insert Buffer Free List: 2659 B-tree Node: 5720 Freshly Allocated Page: 12725 Undo Log Page: 2352027 File Segment inode: 25333 可以看到绝大部分的空间,都是被undo log占用了.... 分…

2013-01-16 17:39 · MySQL · 评论(0)

Sphinx使用及近实时索引实现

Sphinx介绍 Sphinx是由一个开源的全文检索引擎,功能类似Lucune,用C++编写,可为其他应用提供高速、低空间占用、高结果相关度的全文搜索功能。Sphinx可以非常容易的与SQL数据库和脚本语言集成,当前系统内置MySQL和PostgreSQL数据库数据源的支持,也支持从标准输入读取特定格式的XML数据,通过修改源代码,用户可以自行增加新的数据源(例如:其他类型的DBMS的原生支持) Sphinx特性 1:Sphinx支持高速建立索引(可达10MB/秒,而Lucene建立索引的速度是1.8MB/秒) 2:高性能的搜索(在2--4GB的文本数据上,平均每次检索响应时间小于0.1秒)…

2013-01-04 15:24 · search · 评论(2)

如何建设好的工程师文化

写得非常好,值得细细品味。 英文原文: http://www.quora.com/Software-Engineering/What-makes-a-good-engineering-culture ======================== 分割线 ========================== 如何建立一个好的工程师文化,对任何一个技术团队都是一个挑战。很有幸看到了quora上的这篇文章。翻译如下: What makes a good engineering culture? 我最喜欢的一个面试问题是,在上家公司的工程师文化里,什么是你最喜欢的,什么是你最不喜欢的。 经历了数…

2012-11-27 17:09 · 工作 · 评论(1)

java测试工具-jmeter使用

JMeter介绍 JMeter是Apache下一个类似LoadRunner的开源性能测试项目,可用用来对静态的和动态的资源(如:files, Servlets, Perl scripts, Java Objects, Data Bases and Queries, FTP Servers)的性能进行测试. 可对以下类型服务进行性能测试: Web - HTTP, HTTPS SOAP Database via JDBC LDAP JMS Mail - POP3(S) and IMAP(S) 官方网站 http://jmeter.apache.org/ 基本概念 测试计划 : 使用JMeter进…

2012-11-21 16:54 · CoreJava · 测试 · 评论(0)

mysql中常用插入数据的语句说明:[insert into,replace into,insert ignore]

mysql中insert into,replace into,insert ignore into,on duplicate key update用法区别: insert into表示插入数据,数据库会检查唯一约束,如果出现重复会报错。语句后加入on duplicate key update发现重复时变为更新操作,在原有记录基础上,更新指定字段内容,其它字段内容保留。 replace into表示插入或替换数据,需求表中有PrimaryKey,或者unique索引,如果数据库已经存在数据,则用新数据替换,如果没有重复效果则和insert into一样,如果记录有多个字段,在插入的时候如果有的…

2012-11-20 13:53 · MySQL · 评论(0)

项目中使用Quartz集群分享

在公司分享了Quartz,发布出来,希望大家讨论补充. CRM使用Quartz集群分享 一:CRM对定时任务的依赖与问题 二:什么是quartz,如何使用,集群,优化 三:CRM中quartz与Spring结合使用 1:CRM对定时任务的依赖与问题 1)依赖 (1)每天晚上的定时任务,通过sql脚本 + crontab方式执行 #crm 0 2 * * * /opt/***/javafiles/***/shell/***_daily_stat.sql 30 7 * * * /opt/***/javafiles/***/shell/***_data_fix 30 0 * * * /opt/**…

2012-11-15 14:00 · Quartz · 评论(9)

Mysql中SQL使用总结(一)

现在的工作环境跟MySQL打的交道比较多,把平时工作中遇到的有意思SQL的部分总结一下. 知识来源:看书,工作总结,官方文档... 从哪开始呢,先从基本结构开始吧:ok let's go. 1:先看MySQL整体模块图: (图片取自MySQL核心技术) 从图中可以看出MySQL的模块职责分工明确,不愧是Monty团队20年的结晶.好产品是靠持续的汗水浇灌的啊(扯远了)。。。 其中MySQL语句大概分两种:SQL和命令 SQL无非就是DDL,DML,命令是mysql自身语法如:show , source ...等等. 用一条DML为例,连接管理器模块,线程模块,权限模块职责很明确此处略. 第一…

2012-01-11 16:05 · MySQL · 评论(0)

How to select the first least max top N rows from each group in SQL

从分组中选择极值查询/前N项查询 是经常会遇到的问题 ,下面通过简单举例展示这种SQL的写法 举例表 | type | variety | price | | apple | gala | 2.79 | | apple | fuji | 0.24 | | apple | limbertwig | 2.87 | | orange | valencia | 3.59 | | orange | navel | 9.36 | | pear | bradford | 6.05 | | pear | bartlett | 2.14 | | cherry | bing | 2.55 | | cherry …

2011-10-20 11:55 · MySQL · 评论(0)

上传一份PL/SQL Guides and reference中译版

在这里首先感谢CSDN的KNIGHTRCOM这位仁兄。 发一份PL/SQL Guides and reference中译版 想学习PL/SQL的同学可以download下来看看 如果对大家有用就给个良好吧 :D 。。。

2011-02-12 17:14 · Oracle · 评论(1)

基于kindeditor3.4的上传功能的JAVA实现

最近公司要换图文混排 ,发现kindEditor非常不错,下载 http://www.kindsoft.net/ 下来用了用,发现上传功能只有php的,郁闷。。。 没办法自己写一个。。。 upload.jsp <%@ page pageEncoding="gbk"%> <%@page import="java.util.*,java.io.*, org.apache.commons.fileupload.FileItem, org.apache.commons.fileupload.FileUploadException, org.apache.commons.fileupload.disk…

2010-02-22 12:03 · CoreJava · 评论(9)