转载：面向程序员的数据库访问性能优化法则

特别说明： 1、  本文只是面对数据库应用开发的程序员，不适合专业DBA，DBA在数据库性能优化方面需要了解更多的知识； 2、  本文许多示例及概念是基于Oracle数据库描述，对于其它关系型数据库也可以参考，但许多观点不适合于KV数据库或内存数据库或者是基于SSD技术的数据库； 3、  本文未深入数据库优化中最核心的执行计划分析技术。   读者对像： 开发人员：如果你是做数据库开发，

面向程序员的数据库访问性能优化法则 转载自:http://blog.csdn.net/yzsind/archive/2010/12/06/6059209.aspx 特别说明： 1、 本文只是面对数据库应用开发的程序员，不适合专业DBA，DBA在数据库性能优化方面需要了解更多的知识； 2、 本文许多示例及概念是基于Oracle数据库描述，对于其它关系型数据库也可以参考，但许多观点不适合于K...

在大型的互联网应用中，如果缓存的是大量的数据，可以考虑多级缓存数据 1.第一级cache：本地线程cache    每次将数据放入线程cache（利用ThreadLocal）中，可以避免同一个线程中对同一个缓存数据的访问   2.第二级cache：本地内存cache    利用appserver的内存，将数据放入本地的内存缓存，可以用的工具有EHCache   3.第三级cache：...

在有些业务背景下，需要cache防止并发的情况，然后cache却不能提供锁的功能，可以由应用代为实现   1.第一次存入cache的数据时，加一个modifiedTime的时间戳 2.下次更新的时候，必须保证取到当前的时间戳和cache中数据的时间戳一致，这样才可以更新；否则直接removecache，不要影响到正常业务。   其实，这种乐观锁的实现，和DB层的乐观锁实现原理是一样的，即...

在支撑大规模、高并发、高可用的互联网应用中，异步更新分布式缓存的应用已经越来越多了（为什么是异步更新缓存，因为异步不仅可以提高系统性能，而且提高系统的伸缩性和可用性），由于缓存的更新是异步的，可能由于多个更新缓存的并发线程而导致的脏数据。   举例，有下面2个线程A、B同时执行业务，执行完业务之后，会产生2个异步的线程A1、B1去更新缓存，在理想情况下，A1和B1应该保持顺序性，即A1先更新缓...

这篇没有任何技术含量，仅仅是一个良好的编程习惯   随着应用中缓存的业务数据越来越多，为了防止不同业务的key相互覆盖的情况，有个简单的办法，对不用的业务的数据分组，比如： 业务1 prefix1+key 业务3 prefix2+key 业务2 prefix3+key   这样之后，即时各个业务的key相同，也可以防止数据被相互覆盖的情况  ...

1.最明显的功能，排查线上问题。    平时遇到bug时，要相信“人走过，必留下痕迹”，没有什么事情是没有原因的。   2.报警    我们的系统越来越多，业务越来越多，不可能靠人肉每天查询日志以发现问题，还是要利用机器。    针对具体的业务，打印具体格式的日志，通过日志收集系统的规则，发现问题则向相关人员报警。怎么实现日志收集系统呢，可以每隔一段时间，从生产环境中获取指定日志，每次读...

敏捷包括TDD、重构、简单设计、持续集成等。 TDD确保编码前理解需要，并保持简单设计；同时TDD自身的大量自动化测试为持续集成提供了保证；在重 构代码时保证代码质量，达到简单设计。   敏捷思想提倡以人为本，持续改进，通过快速迭代实现频繁交互，保证与客户的沟通，减少对需求理解的 不一致，客户也可以及时调整需求来满足业务的变化。每一个迭代过程都是一个完整的瀑布流程，包括分 析、设计、编...

如果我们对一个比较复杂的模型做cache，会有如下需求： 1. 利用多个key去查询这一模型的cache 2. 继而要求可以利用多个key去删除cache时   如果按照最简单的模型，每个key对应一个cache数据，这样当某一个key对应cache中的数据变动时，另外一个key对应的cache数据必定成为脏数据。 举例：key1->cacheObject,key2->cac...

项目过去都3个多月了，也没系统的总结，今天总结一下   系统背景： 1.访问量大：每天承受20亿+服务调用 2.海量数据：核心表都是5亿条数据，而且每天还在以几十万的速度增加 3.之前架构：由于读写比例很高，已经采用分布式cache--db单点的架构 4.db负载高：在小机上，业务高峰期时，db的cpu的占用率曾达到70%-80%，响应明显变慢 5.业务特性：读写比例高，大部分业务可...

在我们的应用中，有一张表的查询量非常之大，高峰期时6000次/second查询，而且更新很少，于是我们的改造来了：   第一次优化： 方法：每次从cache中读取，如果cache中没有命中，则从DB读取，如果有值将此值放入cache中。 效果：上线后效果并不是特别明显，高峰期仍有3000次/second的查询，原因在哪里呢？此表只有700w的数据量，但是对于3亿用户，每个用户都要查询此表，...

在生产环境中，针对具体问题的追踪，没有debug，只有利用logger排查问题，这就要求我们打印logger，具体有哪些logger呢？   1.摘要日志    同步service层摘要日志，打印调用服务，入参，执行时间，执行结果    异步事件接收摘要日志，打印调用服务，入参，执行时间，执行结果    dal层摘要日志    intergration摘要日志    摘要日志，一般由...

在应用中，总有一些业务操作可能会引起大数据量的查询，基于应用健壮性的考虑，需要对这些业务控制起来。   思路：外围业务每次请求时，应用每次申请一个资源，当超过限定的资源总数时，不允许业务继续进行.       try{            applyResource();           do业务();        }        finally{             r...

AOP应用已经很广了，谈一谈平时工作用到的地方： 1. 打印摘要日志     打印调用服务时的调用的服务、方法、参数、执行结果、消耗时间 2. 详细的入参出参     打印调用服务时调用的参数列表，以及返回结果。基于日志量的考虑，对于频繁调用的查询类可能不需要打印；对于操作类服务，可以打印出入参出参 3. 性能监控     对于每个服务的调用、异步消息的处理、DAO的调用，以及对外围系...

Don’t Ask, Tell   先举一个计算工资的老例子. 不同的员工有各种不同的工资计算方法, 这种情况下如何为全公司的员工计算呢? 想想现实中的情况, 在公司可能有一个会计部,每到发薪的日子. 会计部就会把全公司的员工资料集中到一起, 看看张三是什么类型的员工, 如果是小时工就按小时工来计算,如果是办公室主任就按主任的方法来计算. 基于这样的考虑, 我们在建模的时候也会相应的建立一个类...

1.Serializable接口 只是一个表识接口，仅仅是告诉jvm这是一个可以序列化的接口。 2.serialVersionUID 只要这个UID的值不变，在序列化的版本中增加属性或者减少属性就不会报错；否则当版本变更后，再反序列会报错；如果自己不定义，每次在编译的时候，编译器会自动生成一个值，但是不能保证每次编译时的值都一样，所以务必自己定义！   3.readResolve、rea...

​ 是微软推出的，包含运行时（Runtime）、命令行工具（CLI）和编译器等。