ccnyou’s blog

【翻译】编写可测试代码的艺术（一）

2017-01-11T00:00:00+00:00

原文：http://misko.hevery.com/code-reviewers-guide/
按个人理解翻译，有哪里理解不对通过邮箱给我留意见: ccnyou@qq.com
还在持续翻译中，先发整体框架上来…

缺陷一：构造函数做太多工作

构造函数中去创建/初始化合作者，与其他服务通讯，初始化自己的逻辑状态，这些做法会移除插入测试所需要的接缝，强制子类/mock继承一些不想要的行为。构造函数中做太多的事情会阻碍测试模块初始化和更换合作者。

警告标志：

构造函数中或者在字段声明处出现 new 关键字。
构造函数中或者在字段声明处出现静态函数调用。
在构造函数中做任何字段赋值的事情。
在构造函数之后对象没有完全初始化(注意initialize方法)。
在构造函数中出现控制流(条件、循环逻辑)。
用代码做复杂的对象图构造而不是工厂模式或者构造器。
添加或者使用初始化块。

为什么这是缺陷

当你的构造函数不得不实例化和初始化它的合作者，这是一种不灵活和过早耦合的设计，这种构造函数剥夺了测试工具注入测试合作者的能力。

这违反了单一职责原则。
当合作者的构造与初始化混合时，它建议只有一种方式配置类，这会关闭可能以其他方式可用的重用机会。对象图创建是一个完全成熟的责任 - 首先这就不同于类的实例化。在构造函数中执行此类工作违反了单一责任原则。

很难直接测试
测试这种构造函数很困难。为了初始化一个对象，构造函数必须执行。如果构造函数做了很多工作，当你测试时候创建对象也将被迫做这些工作。如果构造函数访问了外部资源(例如文件，网络服务，数据库)，合作者的一点点改变都会反映在构造函数中，但是很可能会被遗漏，由于没有测试代码覆盖，因为构造太难测试。我们最终陷入了一个恶性循环。

子类化和重写函数测试依旧是有缺陷的
有时候构造函数自己只做一点点工作，但是委托了一个需要测试子类覆盖的方法。这可以解决很难构造这个问题，但是“子类化以测试”这个黑魔法应该作为最后采取的手段。另外，通过子类化，你会没法测试那些你覆盖了的方法。那些方法做了很多工作(记住 - 这是为什么它从一开始就被创建)，所以这或许应该被测试。

这会给你强加合作者
有时候你在测试一个对象，你不想实际创建它所有的合作者。例如，你不想要一个会跟MySQL服务器交互的MySqlRepository对象。然而，如果它们在你的被测试系统里面是直接用new MySqlRepositoryServiceThatTalksToOtherServers()创建，你将被迫使用这种重量级的对象。

这会移除测试所需要的”裂缝”
裂缝是指那些你可以切分你的代码库以移除依赖，能够实例化出小的，集中的对象。当你在构造函数中用 new XYZ()，你将没法得到一个不同的（子类）对象(看Michael Fathers的书《修改代码的艺术》了解更多关于裂缝的细节)。

即使你有多个构造函数这仍然是个缺陷(例如专门给测试写的”Test Only”构造函数)
创建一个单独的 “Test Only” 构造函数并没有解决这个问题。那些做了很多工作的构造函数依旧会被别的代码使用。即使你可以在隔离的环境测试这个对象(用测试特化的构造函数)，你将遇到其他用了很难测试的构造函数的类。当你遇到其他这种类的时候，你会感觉束手无策。

底线
这一切都要看使用隔离的或者测试的合作者创建类是否容容易。
* 如果这很难，你在构造函数做了太多的工作了！
* 如果这很简单，恭喜你自己吧。

当你在写对象代码的时候，需要一直思考这个对象有多难测试。是否可以通过你正在写的构造函数实例化它？(记住，这个类不会仅仅在你的测试代码被初始化。)

很多设计都充满了 “实例化其他对象或者从全局检索其他对象的对象，这些编程实践，如果缺少检查，会导致高耦合的设计，难以测试”。[J.B. Rainsberger, JUnit Recipes, Recipe 2.11]

识别这个缺陷

评估这些症状： * 是否用new 关键字创建了任何你想要在测试时候替换的对象？（通常不是简单的值对象） * 是否包含任何的静态方法调用？（记住：静态方法调用时不可mock的，也不可注入的，所以如果你看到 Server.init() 或者任何类似的，警钟就已经敲响了！） * 是否包含任何的条件或者循环逻辑？（每次实例化对象的时候，你都不得不成功地梳理逻辑，这回导致过多的初始化代码，不仅当你需要直接测试这个类，还包括测试跟它相关的类）

考虑一个基本的问题，当你写或者review代码时：我要怎么测试这些代码？

“如果答案不明显，或者测试代码看上去会很丑陋或者很难编写，这就是一个警告的信号。你的设计可能需要被修改；
改变一些东西直到代码容易被测试，通过你的努力你的设计最终会变得更好”
[Hunt, Thomas. Pragmatic Unit Testing in Java with JUnit, p 103 (somewhat dated, but a decent and quick read)]

【翻译】Objective-C开发中，哪些模块值得写单元测试？

2017-01-07T00:00:00+00:00

原文：https://ashfurrow.com/blog/whats-worth-unit-testing-in-objective-c/
按个人理解翻译，有哪里理解不对通过邮箱给我留意见: ccnyou@qq.com

哪些模块值得写单元测试？这是一个值得讨论的问题。

写后台的同学可能会mock整个数据库，仅仅是为了测试SQL语句是不是跟预期的”Hello, World”一致。你是否需要测得这么细？有可能不需要。那么你是否需要测试iOS App的每一行代码？绝对不需要。我们来讨论一下应该怎么选择测试的策略。

单元测试的主要目的是两点，第一点，在我看来是比较重要的，就是保证你的类写得比较小和高内聚。第二点就是用来自动测试了(废话)。这些其实非常有用，后面我会解释这是什么意思。

例如你写了一个类，从一些网络API获取数据，在开发过程做会对这些行为作一些假设，然后代码会依赖于这些假设。然后过了几个月之后，你忘了这些假设，然后改了这部分的代码，破坏了这些依赖，直到发布之后出了问题，你才意识到好像日了某种动物。

总的来说单元测试就是将那些你应该手动测试的工作自动化。这并不是说你需要对整个app覆盖单元测试，但是你应该在发布前完整测试一遍App。为什么所有测试都要手工来完成呢？

Matt Gemmell(《APIs design for iOS》的作者)曾经写道，“你发布app不会遇到任何bug” (thou shalt suffer no bugs to ship. thou = you, shalt = shall, 原文可以参考： http://www.itdadao.com/articles/c15a539631p0.html)，他后面解释说，不管你用什么机制来确保不发布bug出去都是可以的，只要你有了其中一种。例如单元测试，UI自动测试，手工测试，都是合适的。不过，手工测试要花费很多的时间，单元测试和UI自动测试都是非常快的。

所有这些问题都围绕一个主题：Objective-C开发中，哪些模块值得写单元测试？我们考虑一个架构设计得很好的app，它可以分成三部分：View，Model，Controller。

我说是三个部分么？我的意思是三……种。在需要依赖后台API接口的App上面，你会写一些网络的代码。有时候这些代码会从Model里面分离，有时候这些代码会包含在Model 里面。可以避免的话，网络交互代码不应该写在View或者Controller里面（一般都可以）。

Controller 和 View 的交互没办法完全用单元测试完成，UI自动测试的介入可以节省你的一些时间。这篇文章是讨论单元测试的啊啊啊我日！哪里才是单元测试的用武之地啊？

其实上面橙色框部分回答了这个问题：Model和网络交互部分。

在第一次写网络代码的时候，你可以轻松地写测试代码来验证你的假设。如果你的Model很小，你可能写完就直接干其他事了，根本不会觉得需要去测它。但是，这些Model会被别的地方创建和修改，(其实还会被同事添加特性和修改实现)，所以请务必要测试这些代码。

所以总结一下就是，用单元测试来测试Model和网络交互部分。如果有时间的话，用UI自动测试来测试其他的部分。或许手工测试UI交互部分更适合你的工作方式，特别是一些小型App。最后，用文档记录下单元测试和UI自动测试都没有覆盖的部分，这样你才能在发布前手工测试这部分。

Sqlite 删除逻辑上的重复记录

2017-01-04T00:00:00+00:00

有个会话的表没有加唯一约束，导致在某些情况下会出现数据重复的情况，直接在升级脚本加约束会有可能失败，所以需要在升级脚本删掉逻辑上面重复的记录，同时要保留第一条记录，然后再增加唯一约束。

先看表结构，一些无关的字段已经删除。

1
2
3
4
5
6
7
CREATE TABLE "YYSession" (
  [sessionId] INTEGER NOT NULL PRIMARY KEY AUTOINCREMENT, 
  [sessionTitle] CHAR,      // 会话标题
  [roleId] CHAR,            // 发送角色id
  [sessionType] INTEGER,    // 会话类型，如单聊，群聊
  [objectId] CHAR,          // 对方的id，如角色id，群id
);

从 google 搜索了一下，参考一些搜索结果，应该是这么写：

1
2
3
4
5
6
delete from YYSession where (roleId, objectId, sessionType) in
    (select roleId, objectId, sessionType from YYSession 
        group by roleId, objectId, sessionType having count(*) > 1)
and rowid not in 
    (select min(rowid) from YYSession 
        group by roleId, objectId, sessionType having count(*) > 1)

实际测试发现 Sqlite 不支持delete时候多个in查询，后面改成了这样：

1
2
3
4
5
6
delete from YYSession where (roleId || "-" || objectId || "-" || sessionType) in      
    (select roleId || "-" || objectId || "-" || sessionType from YYSession 
        group by roleId, objectId, sessionType having count(*) > 1)
and rowid not in 
    (select min(rowid) from YYSession 
        group by roleId, objectId, sessionType having count(*) > 1)

测试成功。

一次 “卡顿” 的优化

2016-12-20T00:00:00+00:00

最近因为有赛事，用户量一下子暴涨，然后 crash 率也暴涨，同时还有大量用户反馈卡顿，花了大量时间进行定位和优化，这里做一下总结。

离开 Profile 谈优化都是耍流氓。首先是从卡顿入手，在用Time Profiler圈出卡顿时段，点开主线程发现只有系统的函数。然后怀疑到内存问题，要么是泄漏要么是占用过高。然后挂起了 Allocations 测试内存。跑了接近20分钟，看图：

可以看到 CFString 占用非常高，点开发现是 FMDB 用的，并且没有泄漏。

那就肯定是没有触发释放时机了。为啥呢？这个要从 mrc 年代说起。当年的引用计数是手动管理的，我们自己调用了一次 alloc， (或者名字带有 alloc 的方法)，就需要自己调用一次 release，而这种 stringWithFormat: lowercaseStringWithLocale: 这种方法是在库函数里面分配的，不需要主动调 release，实际上它的分配是这样的：[[[NSString alloc] init] autorelease] 然后 autorelease 会在 autorelease pool 释放的时候一起释放。每一个线程都会有一个 autorelease pool，我们是在一个测试的死循环线程里面处理的消息，这个线程是没有机会被释放的。

结论就是，在被测试方法增加一个 @autoreleasepool，然后再定位新的问题。待续。。。

— 更新 —

后面定位内存问题，处理了部分自己的内存泄漏，大多数是block使用不当，还有部分是第三方组件，例如云通信自己的，随着使用时间增长，发现他们内部占用内存也会越来越高，怀疑是占用的内存没来得及释放，已经给他们反馈。别的SDK也有部分泄漏能更新的更新了处理，不能更新的自己改掉。

Xcode 7.x 升级 8.x awakeFromNib 警告处理脚本

2016-11-15T00:00:00+00:00

升级Xcode后会批量出现这种警告，Xcode 7.x之前版本没有提示。事实上也应该是要调 [super awakeFromNib] 的。于是写了个脚本批量替换：

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# author ervin

import sys
import os


def is_file_contains_sources(file_path):
    if ".m" in file_path:
        return True
    return False


def should_file_upgrade(file_content):
    if "(void)awakeFromNib" in file_content:
        if "[super awakeFromNib]" not in file_content:
            return True
    return False


def upgrade_file(file_path):
    with open(file_path, "rb") as f:
        file_content = f.read()
    if not should_file_upgrade(file_content):
        return
    file_content = file_content.replace("- (void)awakeFromNib {", "- (void)awakeFromNib {\n    [super awakeFromNib];")
    with open(file_path, "wb") as f:
        f.write(file_content)


def upgrade_files(root, files):
    for f in files:
        file_path = os.path.join(root, f)
        if not is_file_contains_sources(file_path):
            continue
        print "processing " + file_path
        upgrade_file(file_path)


def main():
    source_path = sys.argv[1]
    list_dirs = os.walk(source_path)
    for root, dirs, files in list_dirs:
        upgrade_files(root, files)


if __name__ == '__main__':
    if len(sys.argv) != 2:
        name = os.path.basename(sys.argv[0])
        print "Usage: {0} /path/to/source".format(name)
        exit(0)
    main()

Jekyll 配置 Pygments 语法高亮

2016-11-02T00:00:00+00:00

由于Github强制使用rouge语法高亮详情看这里，配置 Pygments 时候遇到了点问题，记录下。

1. 安装

安装可以参考这个博客 Mac 环境其实比较简单，直接敲命令就行:

easy_install pip
pip install pygments

2. 生成 css

上面博客给出的css生成命令是这个：
pygmentize -f html -a .highlight -S default > pygments.css
我选了 native 配色方案，然后生成之后换上去发现背景是白色的。
F12大法发现html的class是figure.highlight，于是命令改成:
pygmentize -f html -a figure.highlight -S native > pygments.css
成功覆盖css。

3.引入

先将生成的文件复制到路径:/assets/css/pygments.css
然后修改模板 /_includes/head.html，在main.css的后面增加一行：

<link rel="stylesheet" href="/assets/css/pygments.css">

更新 Jekyll，提交 Github，完成。

PS: 貌似 Github 的 CDN 有点慢？我提交了代码，刷新博客都是提示找不到这个css，过了好几分钟才正常。

Sqlite 删除指定的列

2016-10-24T00:00:00+00:00

最近由于APP数据库的升级错误，需要写修复代码，由于Sqlite并没有提供直接删除列的函数，需要自己做实现，这里简单记录下。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
/* 准备数据 */
drop table if exists YYTest;
drop table if exists YYTest_old;

/* 创建测试表，test_remove是我们要删除的 */
create table YYTest (id int, test_remove int);

/* 插入两个测试数据 */
insert into YYTest values (1, 1);
insert into YYTest values (2, 2);

/* stpe 1，重命名旧表 */
alter table YYTest rename to YYTest_old;
/* stpe 2，创建新表 */
create table YYTest (id int);
/* stpe 3，从旧表导数据到新表 */
insert into YYTest (id) select id from YYTest_old;
/* stpe 4，删除旧表 */
drop table YYTest_old;

上面是需要一个建表语句，可以写在一个 fix.sql 里面直接执行。但是有个坏处是需要多维护一份建表脚本(stpe 2)。

如果不想多维护这个建表脚本，可以在上层逻辑实现，而建表语句(scheme)可以通过 sqlite_master 导出。

代码如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
@implementation FMDatabase (Yoyo)

- (NSString *)yoyo_schemeOfTable:(NSString *)table {
    NSString* sql = [NSString stringWithFormat:@"select sql from sqlite_master where name=?"];
    NSString* scheme = nil;
    FMResultSet* rs = [self executeQuery:sql, table];
    if ([rs next]) {
        scheme = [rs stringForColumn:@"sql"];
    }
    [rs close];
    
    return scheme;
}

- (NSString *)yoyo_schemeByRemoveColumns:(NSArray *)columns scheme:(NSString *)scheme {
    NSRange beginRange = [scheme rangeOfString:@"("];
    NSRange endRange = [scheme rangeOfString:@")"];
    NSRange columnRange = NSMakeRange(beginRange.location + 1, endRange.location - beginRange.location - 1);
    NSString* columnsString = [scheme substringWithRange:columnRange];
    NSArray* columnComponents = [columnsString componentsSeparatedByString:@","];
    columnComponents = [columnComponents yoyo_copyIf:^BOOL(NSString* element) {
        for (NSString* column in columns) {
            if ([element rangeOfString:column].location != NSNotFound) {
                return NO;
            }
        }
        
        return YES;
    }];
    
    columnsString = [columnComponents componentsJoinedByString:@","];
    NSMutableString* result = [scheme mutableCopy];
    [result replaceCharactersInRange:columnRange withString:columnsString];
    
    return result;
}

- (BOOL)yoyo_removeColumns:(NSArray *)columns table:(NSString *)table {
    BOOL result = NO;
    NSArray* allColumns = [self yoyo_columnsOfTable:table];
    NSArray* removedColumns = [allColumns yoyo_arrayByRemoveElements:columns];
    
    // 1. dump 出表的 scheme
    NSString* tableScheme = [self yoyo_schemeOfTable:table];
    if (tableScheme.length <= 0) {
        return NO;
    }
    
    // 2. 删除对应列的语句
    tableScheme = [self yoyo_schemeByRemoveColumns:columns scheme:tableScheme];
    if (tableScheme.length <= 0) {
        return NO;
    }
    
    // 3. 改名成 table_old
    NSString* sql = [NSString stringWithFormat:@"alter table %@ rename to %@_old;", table, table];
    result = [self executeUpdate:sql];
    if (!result) {
        return NO;
    }
    
    // 4. 创建新表
    result = [self executeUpdate:tableScheme];
    if (!result) {
        return NO;
    }
    
    // 6. 将旧表数据导回去
    NSString* columnsString = [removedColumns componentsJoinedByString:@","];
    sql = [NSString stringWithFormat:@"insert into %@(%@) select %@ from %@_old;",
           table, columnsString, columnsString, table];
    result = [self executeUpdate:sql];
    if (!result) {
        return NO;
    }
    sql = [NSString stringWithFormat:@"drop table %@_old;", table];
    result = [self executeUpdate:sql];

    return result;
}

@end