IBM Bluemix
点击按钮，开始云上的开发！
developerWorks 社区
随着 Web 服务的广泛扩展，服务质量（quality of service，QoS）将变成一个判定服务提供者是否成功的重要因素。QoS 决定服务的可用性和效用，而这两方面都会影响到服务的普及。在本文中，我们将看一看各种 Web 服务 QoS 要求，影响 Web 服务性能的瓶颈，提供服务质量、事务性服务的方法以及一种使用服务代理测量 Web 服务响应时间的简单方法。
(), 软件工程师, IBM Software Labs，印度
Anbazhagan Mani 是位于印度的 IBM Software Labs 的软件工程师。他有 WebSphere 系列工具、XML、Java 技术、BPM、工作流和对象技术这些方面的工作经验。最近，他一直致力于 Web 服务 QoS、P2P 计算和“业务流程集成”（Business Process Integration）。可以通过
与他联系。
(), 软件工程师, IBM Global Services，印度
Arun Nagarajan 是位于印度的 IBM Global Services 的软件工程师。他以前曾从事 XML 和 Java 技术如 JavaBeans、J2EE 和 WebSphere。目前，他一直在从事不同的 Web 服务技术如 SOAP、WSDL、UDDI 等等。可以通过
与他联系。
动态电子商务的前景要求在因特网上无缝集成业务流程、应用程序和 Web 服务。由于因特网的动态性和不可预知性，在因特网上提供 QoS 是一个至关重要且意义重大的挑战。特征和需求极其不同的应用程序都争用不足的网络资源。通信模式的变化、拒绝服务攻击、基础构造失效的影响、Web 协议的低性能以及 Web 上的安全性问题这些因素产生了对因特网 QoS 标准的需求。通常，未解决的 QoS 问题会导致重要的事务性应用程序遭受无法接受的性能下降。随着 SOAP、UDDI 和 WSDL 之类的标准被所有主要的 Web 服务从事者采用，Web 服务的整个领域 ― 包括金融服务、高科技和媒体以及娱乐领域目前都正在开发。由于大多数 Web 服务将需要建立并遵守标准，QoS 将变成这些服务的重要卖点和区分点。QoS 涉及到一整套技术，这些技术根据可用的网络资源使服务请求者的需要与服务提供者的需要达成一致。谈到 QoS，我们指的是 Web 服务的非功能性属性，如性能、可靠性、可用性和安全性。Web 服务的 QoS 需求支持 Web 服务中的 QoS 的主要需求如下：可用性：可用性是质量的一个方面，指 Web 服务是否存在或是否已就绪可供立即使用。可用性表示服务可用的可能性。较大的值表示服务一直可供使用，而较小的值表示无法预知在某个特定时刻服务是否可用。与可用性有关的还有修复时间（time-to-repair，TTR）。
TTR表示修复已经失效的服务要花费的时间。理想情况下，较小的 TTR 值是合乎需要的。
可访问性：可访问性是服务质量的一个方面，表示能够为 Web 服务请求提供服务的程度。它可以表示为一种可能性尺度，用来表示在某个时间点上成功地实例化服务的成功率或机会。Web 服务可用但却无法访问这种情形是可能存在的。可以通过构建一个可高度伸缩的系统使 Web 服务得到很高的可访问性。
可伸缩性是指不管请求量如何变化，都能够始终如一地为请求服务的能力。
完整性：完整性是质量的一个方面，指 Web 服务如何维护交互相对于最初情况的正确性。 适当地执行 Web 服务事务会实现正确的交互。一个
事务是指一系列将被当作单个工作单元的活动。要使事务成功，必须完成所有的活动。如果一个事务未完成，那么所做的全部更改都被回滚。
性能：性能是 Web 服务质量的一个方面，可以根据吞吐量和延迟对其进行测量。吞吐量的值较大且延迟的值较小表示 Web 服务性能良好。
吞吐量表示在给定时间段内被服务的 Web 服务请求数。
延迟是发送请求和接收响应之间的往返时间。
可靠性：可靠性是 Web 服务质量的一个方面，表示能够维护服务和服务质量的程度。每月或每年的失效次数是衡量 Web 服务可靠性的尺度。在另一种意义上，可靠性是指服务请求者和服务提供者发送和接收的消息的有保证和有序的传送。
常规性: 常规性是质量的一个方面，指 Web 服务与规则、法律一致，遵循标准和已建立的服务级别协议。Web 服务使用许多标准，例如 SOAP、UDDI 和 WSDL。要正确调用服务请求者请求的服务，就必须严格遵守服务提供者所提供的正确版本的标准（例如，SOAP 版本 1.2）。
安全性：安全性是 Web 服务质量的一个方面，通过验证涉及到的各方、对消息加密以及提供访问控制来提供机密性和不可抵赖性。由于 Web 服务调用是发生在公共的因特网上，安全性的重要性已经有所增加。根据服务请求者的不同，服务提供者可以用不同的方法来提供安全性，所提供的安全性也可以有不同的级别。
启用 QoS 的 Web 服务
接口定义（WSDL）为服务指定了语法说明，但在语义和非功能性方面没做任何指定。启用 QoS 的 Web 服务需要面向 Web 服务的一种独立的 QoS 语言来回答下列问题：
什么是预期的延迟？什么是可接受的往返时间？程序员在开发调用 Web 服务的应用程序时要能够理解 Web 服务的 QoS 特征。
理想情况下，启用 QoS 的 Web 服务平台应该能够支持许多种不同类型的应用程序：
有不同的 QoS 需求使用不同类型的通信和计算资源在考虑有 QoS 意识的 Web 服务时，我们假设使用关于 QoS 的语句扩展了接口规范，这些语句可以被关联到整个接口，也可关联到个别操作和属性。对于服务请求者来说，这些语句描述了所要求的 QoS，该 QoS 与客户所要求的服务有关，而从服务提供者的角度来说，这些语句描述了所提供的 QoS，该 QoS 与服务器对象所提供的服务有关。
IBM 设计出的 Web 服务体系结构包含一个名为“端点描述”的独立的层，来向服务描述添加额外的语义，如 QoS 属性。QoS 协商与绑定的建立
在使用启用 QoS 的 Web 服务平台建立绑定期间，应该执行下列步骤：
服务请求者通过指定对 Web 服务接口的引用请求建立绑定。该请求还包含所要求的 QoS。QoS 中介者在 UDDI 中搜索服务提供者。QoS 中介者象下面描述的那样进行 QoS 协商。Web 服务 QoS 中介者将所提供的 QoS 与所要求的 QoS 进行比较并使用其内部信息来确定一个约定的 QoS。这个过程被称为 QoS 协商。如果 QoS 协商已经成功，则通知服务请求者和服务提供者协商已经成功，并且已经建立了一个绑定。从这个时刻起，这些对象就可以通过绑定进行交互了。Web 服务的性能瓶颈由于底层消息传递和传输协议的局限性，Web 服务会遇到性能瓶颈。然而，对公众普遍接受的协议（例如 HTTP 和 SOAP）的依赖却使它们成了必须承担的永久的负担。因此，理解这些局限性的工作方式就很重要。HTTP
HTTP 是一种尽力而为的传输服务。它是一个无状态的数据转发机制，往往会产生两个主要问题：
不保证数据包会被传输到目的地。不保证数据包到达的顺序。如果无可用的带宽，那么数据包就会被简单地废弃。随着运行在网络上的用户和数据量的增加，带宽显然是一个瓶颈。习惯上，许多应用程序都假设零延迟和无限带宽。而且，习惯上应用程序使用同步消息传递。当您在自己的计算机上运行应用程序时，同步的消息传递是没什么问题的；组件通信的延迟以几毫秒计。但是，对于 Web 服务来说，它们是通过因特网进行通信，这意味着延迟要以几十、几百甚至几千微秒计。虽然可以使用新设计的协议如“可靠 HTTP”（Reliable HTTP，HTTPR）、“块可扩展交换协议”（Blocks Extensible Exchange Protocol，BEEP）和“直接因特网消息封装”（Direct Internet Message Encapsulation，DIME），但这些用于 Web 服务传输的新协议（如 HTTPR 和 BEEP）的广泛采用还需要一些时间。因此，使用 Web 服务的应用程序设计人员在设计他们的系统时应该理解 Web 服务的性能问题，比如延迟和可用性。下面给出了一些改善 Web 服务性能的方法。使用异步消息队列依赖远程 Web 服务的应用程序可以使用消息排队来改善可靠性，但要以响应时间为代价。 一个企业内的应用程序和 Web 服务可以使用消息排队如“Java 消息传递服务”（Java Messaging Service，JMS）或 IBM MQSeries 进行 Web 服务调用。企业消息传递为整个企业内的关键数据异步交换提供可靠、灵活的服务。 消息队列有两个主要优势：
它是异步的：一个消息传递服务提供者可以在消息到达时向请求者传递消息，请求者不必为接收消息而请求消息。它是可靠的：消息传递服务可以确保一条消息被传递一次，且仅传递一次。将来，因特网上的
发布和订阅消息传递系统如 alphaWorks 上的 Utility Services 包可以用于 Web 服务调用（请参阅
专用 WAN 和 Web 服务网络对于依赖对其任务关键的 Web 服务的企业来说，使用专用 WAN／企业外部网和 Web 服务网络是一个合适的选择。这些专用网提供较短的网络延迟、较少的拥塞、可靠传递和不可抵赖性。但是，对某些企业来说，拥有一个专用网是很昂贵的。
SOAP 和性能
SOAP 是 Web 服务实际上的有线协议。SOAP 性能由于以下原因而降低：
从 SOAP 数据包抽取 SOAP 信封（envelope）比较耗时。使用 XML 解析器分析 SOAP 信封内包含的 XML 信息也很耗时。XML 数据的优化可能性不太大。SOAP 编码规则强制在所有发送和接收的 SOAP 消息中包含类型指定信息。以 XML 可接受的格式对二进制数据进行编码会导致因编码而增加的额外字节的开销，还有执行编码／解码的处理器开销。必须加载、实例化 XML 处理器，并为其提供 XML 数据。接下来必须发现方法调用参数信息。随着 XML 处理器为了支持更多的 XML 功能而发展，这会包括很多开销。SOAP 性能中 XML 解析器的角色大多数现有的 XML 解析器从代码规模、处理时间和内存占用来说都开销太大，因为这些解析器必须支持许多功能，如类型检查和转换、格式良好检查或者歧义解决。所有这些使得 XML 解析器需要更多的计算资源。一些应用程序可以考虑使用 XML 解析器的精简版，精简版的代码规模和内存占用都比较小。另外，目前的大多数 SOAP 实现都是基于“文档对象模型”（Document Object Model，DOM）的。DOM 解析器分析消息的速度本来就慢。可以使用基于 SAX 的 SOAP 实现来增加吞吐量、减少内存开销并改善可伸缩性。压缩 XMLSOAP 使用 XML 作为它的有效负载。如果我们考虑到数千条 SOAP 消息正在 Web 上传送， 那么网络带宽已经达到了极限。按 XML 的方法显示数据，数据大小通常会比以二进制格式显示相同的数据大得多，前者平均是后者的 400%。当必须快速传送消息时，消息大小的这种增长会产生一个很严重的问题，即它会导致数据传送时间的显著增加。一些应用程序设计应该考虑压缩的和高效的表示法。达到这一目标的其中一个方法是压缩 XML ― 特别是当压缩所需要的 CPU 开销小于网络延迟时。影响 Web 服务性能的其它因素还有其它因素会影响 Web 服务性能，这些因素是 Web 服务应用程序无法控制的，比如：
Web 服务器的响应时间和可用性。应用程序的最初执行时间，如 Web 应用程序服务器中 EJB/Servlet 的最初执行时 间。后端数据库或旧系统的性能。提供主动 Web 服务 QoS 的方法通过使用各种不同的常见方法，如服务请求的高速缓存和负载平衡，服务提供者可以主动向服务请求者提供很高的 QoS。在 Web 服务器级别上和 Web 应用程序服务器级别上都可以完成高速缓存和负载平衡。负载平衡区分各种类型通信的优先次序，并确保适当地按照每个请求所表现出的商业价值对待它。Web 服务提供者可以执行容量建模来创建一个请求流量、当前容量利用和结果 QoS 的自上而下的模型。服务提供者还可以根据通信量、不同应用程序服务类别的通信和来自不同来源的通信对 Web 服务通信进行分类。这将有助于理解为大量服务需求和将来的计划如对 Web 应用程序服务器和／或 Web 服务器进行负载平衡的容量和类型（例如，建立一个群集服务器站所需的服务器数目）提供好的 QoS 所需要的容量。服务提供者可以通过使用容量模型来确定不同的客户和服务类型所需的容量以及通过确保不同应用程序和顾客的正确 QoS 级别来提供
区别服务。例如，一个多媒体 Web 服务可能要求好的吞吐量，但一个银行 Web 服务可能要求安全性和事务性 QoS。
事务性 QoS
事务性 QoS 是指执行事务的可靠性和一致性级别。事务性 QoS 对于维护 Web 服务的完整性至关重要。事务对于业务流程保证一组相关的活动被当作一个工作单元并完成来说非常重要。如果执行事务时发生异常，就必须把事务恢复到一个一致的状态。这个属性被称为事务的“原子性”。除了原子性之外，从更严格的意义上来说，事务还应该满足一致性、孤立性和持久性等属性 。所有这四个属性被统称为“ACID”属性（请参阅
提供事务性 QoS 的方法有下面几种。最流行的方法是“两阶段提交”，这种方法传统上用在 Web 应用程序体系结构中。“两阶段提交”提供了一个事务协调器，它根据这样一种思想来控制事务 ― 不允许提交任何成分事务，除非它们能够全部提交。“Java 事务服务”（Java Transactional Service，JTS）、CORBA OTS 和大多数数据库管理系统中都使用这种使用事务协调器来确保原子性的方法。但在我们考虑涉及到 Web 服务的事务时，还有一些新的复杂之处。特定的应用程序或 Web 服务所使用的 Web 服务不仅归不同的各方所有，还常在 Web 上被远程分发。考虑到事务协调器不具备对全部资源的完全控制能力，在 Web 服务环境中拥有一个中央事务协调器（它可以指定规则并执行提交和回滚）实现起来是非常乏味的。另外，“两阶段提交”协议还包括一种或其它形式的资源锁定。较长时间地锁定资源会导致严重的可伸缩性问题。因此，即使有可能使用，也要特别注意确保资源未被长时间锁定。OASIS Business Transactions 技术委员会已经发布了“业务交易协议”（Business Transaction Protocol，BTP），该协议扩展了“两阶段提交”事务管理方法以满足使用 XML 在 Web 上交换数据的完全不同的贸易伙伴的需要。BTP 允许跨越多个企业的长期持久事务是正常 ACID 事务和非 ACID 事务（术语上称为“聚合”）。另一种被称为“补偿”的方法是基于这样一种思想 ― 一直允许提交事务，但在提交后可以取消它的影响和活动。例如，预定一次发货，如果还没开始所要求的发货流程，就可以取消这次发货。取消发货是补偿事务的一个示例；它补偿预定发货的最初事务。在补偿事务中，每个“真正的”事务都有一个相关联的“补偿”事务。 这个“补偿”事务元素描述了一种方法，这种方法是还原“真正的”事务造成的变化并返回到先前一致的状态。如果任何事务异常终止，调用者都会为先前提交的所有事务执行相应的补偿事务。与补偿事务相关的两个主要问题是：
与两阶段提交不同，补偿事务可能无法总是满足全部四个“ACID”属性 ― 这意味着一直有失效的可能。必须重新设计以前设计的两阶段提交事务来提供补偿方法。测量 Web 服务响应时间的一个简单方法通过在服务代理中添加一点额外的功能就可以开发一种测量 Web 服务性能特征的简单方法。Web 服务中的服务代理与 Java RMI 中的存根相似。它们包含特定于服务接口中的绑定的代码，从而对客户机隐藏了复杂的网络通信细节。例如，如果该绑定是一个 SOAP 绑定，那么服务代理将包含特定于 SOAP 的代码，这些代码可被客户机用来调用服务。开发一个能够测量响应时间的代理包括如下步骤：
根据 WSDL 服务定义文件生成服务代理。修改生成的服务代理，添加计时代码（请参阅
重新编译修改过的服务代理。开发一个客户机程序来创建一个服务代理对象并调用必需的方法。第一步：根据服务定义生成一个服务代理
一般情况下，服务代理不是由程序员写的。可以很容易地根据 WSDL 文件生成服务代理。Web Service Toolkit（包含 alphaWorks WSTK）提供生成服务代理的工具（请参阅
中给出了 EchoService 的一个样本 WSDL 服务定义。这是一个简单的 Web 服务，它回显在末尾附加了一个“Hello”的原始字符串。
清单 1：一个简单 EchoService 的 WSDL 文件&?xml version="1.0" encoding="UTF-8"?&
&definitions name="EchoService"
targetNamespace="/EchoService-interface"
xmlns="http://schemas.xmlsoap.org/wsdl/"
xmlns:soap="http://schemas.xmlsoap.org/wsdl/soap/"
xmlns:tns="/EchoService"
xmlns:xsd="http://www.w3.org/1999/XMLSchema"&
&message name="InechoRequest"&
&part name="meth1_inType1" type="xsd:string"/&
&/message&
&message name="OutechoResponse"&
&part name="meth1_outType" type="xsd:string"/&
&/message&
&portType name="EchoService"&
&operation name="echo"&
&input message="InechoRequest"/&
&output message="OutechoResponse"/&
&/operation&
&/portType&
&binding name="EchoServiceBinding" type="EchoService"&
&soap:binding style="rpc" transport="http://schemas.xmlsoap.org/soap/http"/&
&operation name="echo"&
&soap:operation soapAction="urn:echoservice-service"/&
&soap:body
encodingStyle="http://schemas.xmlsoap.org/soap/encoding/"
namespace="urn:echoservice-service"
use="encoded"/&
&soap:body
encodingStyle="http://schemas.xmlsoap.org/soap/encoding/"
namespace="urn:echoservice-service" use="encoded"/&
&/operation&
&/binding&
name="EchoService"&
&documentation&IBM WSTK 2.0 generated service definition file&/documentation&
&port binding="EchoServiceBinding" name="EchoServicePort"&
&soap:address location="http://localhost:8080/soap/servlet/rpcrouter"/&
&/service&
&/definitions&第 2 步：修改已生成的服务代理
即使机器生成的“服务代理”代码不应编辑，我们也不必太严格服从这个规则，可以添加几行代码。 这些添加的代码行实例化一个 Timer 对象以测量绑定到服务器和调用方法的时间。
中给出的样本代码对此进行了演示。
清单 2：修改过的服务代理（修改过的代码以红色显示）import java.net.*;
import java.util.*;
import org.apache.soap.*;
import org.apache.soap.encoding.*;
import org.apache.soap.rpc.*;
import org.apache.soap.util.xml.*;
import mytimer.T
public class EchoServiceProxy
private Call call = new Call();
private URL url =
private String SOAPActionURI = "";
private SOAPMappingRegistry smr = call.getSOAPMappingRegistry();
public EchoServiceProxy() throws MalformedURLException
call.setTargetObjectURI("urn:echoservice-service");
call.setEncodingStyleURI("http://schemas.xmlsoap.org/soap/encoding/");
this.url = new URL("http://localhost:8080/soap/servlet/rpcrouter");
this.SOAPActionURI = "urn:echoservice-service";
public synchronized void setEndPoint(URL url)
this.url =
public synchronized URL getEndPoint()
public synchronized java.lang.String echo
(java.lang.String meth1_inType1) throws SOAPException
if (url == null)
throw new SOAPException(Constants.FAULT_CODE_CLIENT,
"A URL must be specified via " +
"EchoServiceProxy.setEndPoint(URL).");
call.setMethodName("echo");
Vector params = new Vector();
Parameter meth1_inType1Param = new Parameter("meth1_inType1",
java.lang.String.class, meth1_inType1, null);
params.addElement(meth1_inType1Param);
call.setParams(params);
// Start a Timer
Timer timer = new Timer();
timer.start();
Response resp = call.invoke(url, SOAPActionURI);
// Stop the Timer
timer.stop();
// Print the response time by calculating the difference
System.out.println("Response Time = " + timer.getDifference());
// Check the response.
if (resp.generatedFault())
Fault fault = resp.getFault();
throw new SOAPException(fault.getFaultCode(), fault.getFaultString());
Parameter retValue = resp.getReturnValue();
return (java.lang.String)retValue.getValue();
}第 3 步：重新编译修改过的服务代理必须重新编译修改过的服务代理源文件，只要使用 javac 命令或其它任何编译器即可。第 4 步：开发一个客户机程序开发一个客户机应用程序，该应用程序可以使用服务代理来调用 Web 服务。它可以是一个简单的 Java 程序或一个基于 AWT/Swing 的 Java GUI 应用程序。结束语服务质量是企业对企业交易的一个重要条件，因此也是 Web 服务中的一个必需元素。 在 Web 服务应用程序的实现中需要满足各种 QoS 属性，比如可用性、可访问性、完整性、性能、可靠性、常规性和安全性。当您向 Web 服务加入事务性特征的需要时，属性会变得更加复杂。诸如 HTTP 和 SOAP 之类协议的一些局限性可能会阻碍 QoS 的实现，但有许多方法可以在 Web 服务中提供主动的 QoS。
参考资料 您可以参阅本文在 developerWorks 全球站点上的
请参与本文的
为 HTTP 实现了原子性。
还可将 Web 服务数据打包以便传送。
规范以理解 Web 服务中的数据编码。
了解更多关于
从 alphaWorks 下载
了解更多关于
了解更多关于 OASIS 组织的
了解更多关于消息排队和
看一看 IBM 的出版物并订阅
developerWorks: 登录
标有星（*）号的字段是必填字段。
保持登录。
单击提交则表示您同意developerWorks 的条款和条件。 查看条款和条件。
在您首次登录 developerWorks 时，会为您创建一份个人概要。您的个人概要中的信息（您的姓名、国家/地区，以及公司名称）是公开显示的，而且会随着您发布的任何内容一起显示，除非您选择隐藏您的公司名称。您可以随时更新您的 IBM 帐户。
所有提交的信息确保安全。
选择您的昵称
当您初次登录到 developerWorks 时，将会为您创建一份概要信息，您需要指定一个昵称。您的昵称将和您在 developerWorks 发布的内容显示在一起。昵称长度在 3 至 31 个字符之间。
您的昵称在 developerWorks 社区中必须是唯一的，并且出于隐私保护的原因，不能是您的电子邮件地址。
标有星（*）号的字段是必填字段。
(昵称长度在 3 至 31 个字符之间)
单击提交则表示您同意developerWorks 的条款和条件。 .
所有提交的信息确保安全。
文章、教程、演示，帮助您构建、部署和管理云应用。
立即加入来自 IBM 的专业 IT 社交网络。
为灾难恢复构建应用，赢取现金大奖。
static.content.url=/developerworks/js/artrating/SITE_ID=10Zone=SOA and web servicesArticleID=21574ArticleTitle=理解 Web 服务的服务质量publish-date=君，已阅读到文档的结尾了呢~~
质量及其测量教案,电阻的测量教案,电流的测量教案,建筑工程测量教案,测量教案,工程测量学教案,幼儿测量教案,长度和时间测量教案,土木工程测量教案,质量守恒定律教案
扫扫二维码，随身浏览文档
手机或平板扫扫即可继续访问
质量及其测量教案
举报该文档为侵权文档。
举报该文档含有违规或不良信息。
反馈该文档无法正常浏览。
举报该文档为重复文档。
推荐理由：
将文档分享至：
分享完整地址
文档地址：
粘贴到BBS或博客
flash地址：
支持嵌入FLASH地址的网站使用
html代码：
&embed src='/DocinViewer--144.swf' width='100%' height='600' type=application/x-shockwave-flash ALLOWFULLSCREEN='true' ALLOWSCRIPTACCESS='always'&&/embed&
450px*300px480px*400px650px*490px
支持嵌入HTML代码的网站使用
您的内容已经提交成功
您所提交的内容需要审核后才能发布，请您等待！
3秒自动关闭窗口【图文】摘要：质量是物质的一种基本属性,质量的分析和测量是认识_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
评价文档：
摘要：质量是物质的一种基本属性,质量的分析和测量是认识
上传于||文档简介
&&摘​要​：​质​量​是​物​质​的​一​种​基​本​属​性​,​质​量​的​分​析​和​测​量​是​认​识
大小：1.61MB
登录百度文库，专享文档复制特权，财富值每天免费拿！
你可能喜欢第495期：关于开发《思维品质测试》的一些建议_审辩式思维-爱微帮
&& &&& 第495期：关于开发《思维品质测试》的一…
&&第495期：关于开发《思维品质测试》的一些建议&谢小庆（北京语言大学）&21世纪，借助移动互联，借助搜索引擎，人们可以随时随地从网络上获取自己需要的特定知识。这时，不再是“知识就是力量”，而是“思维就是力量”。教育的任务不再是培养“有知识的人”，而是培养“会思维的人”，而是培养“有智慧的人”。教育的任务不再是向学生灌输一些特定知识，而是发展学生的思维品质。今天教学改革的一项主要任务是实现从“知识传授”向“能力发展”的转变。在能力发展中，主要是发展学生的思维能力，提高学生的思维品质。今天，成千上万的中小学老师在为挽救“小范进”们进行着艰辛的努力，在推动着教学改革。为此，他们付出了许多心血，承担了种种的压力。从事教学改革的校长和老师们面临着一个困惑：怎样说明新的教学方法达到了更好的教学效果？教学改革的效果如何体现？如果采用传统的“知识记忆测试”，往往不足以反映教学改革在发展学生交流表达、逻辑推理和审辩式思维（critical thinking）方面所取得的成效，不足以反映教学改革在提高学生核心素养方面的成效。因此，今天迫切需要一个测试学生核心素养的测试工具。我希望一些有心人能够致力于开发《思维品质测试》，满足今天一线从事教学改革的校长和教师们的需要。测试的开发者可以是学校，也可以是教育公益组织、教育培训机构，提供教育服务的商业公司。为此，我已经编写并公布了《小学生思维品质测试》和《初中生思维品质测试》的《试卷结构和命题说明》，并编写了面对小学生、初中生和成人的三份演示性的样卷，供相关机构参考。（见本公众号第18、19、288、440[上、下]和488期）今天，已经有一些机构开始认真考虑开发《思维品质测试》。这里，向这些机构提出一些具体的意见和建议，供他们参考。&测验开发流程&1、&&&确定测试的构念（construct）。例如：思维品质，审辩式思维，推理能力，问题解决能力，等等。就是说，确立“考什么”。2、&&&对构念进行描述。尽可能地对所测量的构念进行详细说明，分析和描述测量构念的组成要素，对各个要素进行描述，将各个要素描写为一些可以观测的行为。例如，将“思维品质”分解为阅读理解、言语表达、逻辑推理、审辩式思维等要素。继而，将“阅读理解”描写为字词知识积累，主旨概括，信息提取，细节辨认，文化背景判断，语气判断，合理推论等具体的可观察行为。就是说，对“考什么”进行详细的描述。3、&&&确定考试形式。基本的考试形式是“客观性选择题”和“主观性问答题”，后者也被称为“建构性（constructive）试题”。 前者虽然具有较大的可行性，不依赖于评分员，不存在评分误差，但测试的能力范围有限。在考查学生的思维品质方面，“主观性试题”具有更高的效度，可以考查出更复杂的能力。采用何种形式？需要斟酌权衡，需要在综合科学性和可行性的基础上做出选择。对此，本公众号第19期中第16-20题的语料中有较深入的讨论，可以参考。4、&&&确定考试方式。基本的考试方式是“纸笔考试”和“计算机人机对话考试”。也可以两种方式平行。目前我提供的《小学生测试》等样卷都是两种方式平行的考试。如果仅仅采用“计算机人机对话”的方式进行考试，题型可以大大丰富，可以在试题中引入图形、音频、视频资料，可以与考生进行丰富的互动，从而大幅度提高考试的可靠性（信度）和有效性（效度）。但是，测验开发成本会明显增大，施测过程也不如纸笔考试更便捷。对此，需要斟酌选择。5、&&&确定题型。在确定了考试形式和考试方式的基础之上，才可能确定题型。如果确定考试中包含主观性试题，题型就可以大大丰富，可以是问答题，写作题，案例题，情景模拟题，等等。如果确定考试以计算机人机对话方式进行，题型也可以大大丰富，可以运用多媒体技术使考试更接近真实的生活场景。在《初中生样卷》中，我最后确定了阅读理解、逻辑推理、事实判断、假设判断、论证评价和情景判断等共6种题型。6、&&&编写《命题说明书》。在组织命题之前，需要编写一份详细的《命题说明书》，对测试的构念、试卷结构、题型等进行详细的说明。此文件中需要包含例题。这份文件，实际上就是《测试蓝图》。7、&&&组织命题员队伍。开始的时候，可以吸收10-30人参加命题，最后，能够从中发现5-6名具有命题能力的命题员就很不错了。命题员队伍的组建可以是一个动态的优化过程。在命题实践中，不断吸收和发现命题人才，并对一些不具有命题能力的朋友说“再见”。8、&&&组织命题。分配命题任务，确定交题时间，与命题员签署命题协议和保密协议。在任务分配时，可以是要求一位命题员命制一套完整的试题，也可以要求一位命题员仅仅命制一种或两种题型。两种方式各有利弊，可以酌情处理。9、&&&组织审题专家队伍。组织一个包括4—7人的审题专家队伍。测试的质量很大程度上取决于这个审题专家队伍的水准。10、初审。将命题员命制的试题分送审题专家初审。一份试题分送两位专家各自单独审查。审题专家仅仅对每道题目做出“可用”、“可修改”和“不可用”评价。如果两位专家都对某道试题做出“不可用”的评价，该题即被淘汰，不再进入后续流程，11、&&会审。通过“初审”的试题，需要通过审题专家的“会审”：开会逐题审查。这一过程也被称为“打磨”或“磨题”。专家将从内容到文字逐题审查，审查的内容包括备择选想的迷惑性，答案的唯一性，表述的严谨性，文字的规范性，等等。审题专家需要“横挑鼻子竖挑眼”，需要“鸡蛋里面挑骨头”，需要不留情面。以往，在我们的审题会上经常出现审题专家之间激烈争论的场面。只有经过严格挑剔的“打磨”，试题的质量才可能达到较高水平。12、组卷。经过会审，按照测试“蓝图”，组成可以用于预测的试卷。13、预测。“智者千虑，偶有一失”。为了避免大的失误，需要在一个小样本群体中进行预测。预测样本应尽量是测试目标群体的一个具有代表性的样本。样本量越大，随机误差就越小，原则上说样本越大越好。一般。样本量应不低于100人，最好达到200人。14、对预测结果的统计分析。主要是对试题的难度、区分度和备择选项的选择比例进行分析。难度过高过低的题目需要放弃。负区分度的题目必须放弃，区分度（一般计算二列相关）低于0.2的题目通常会放弃。选择率低于2%的备择选项需要放弃或修改。同时计算试卷的难度、信度（一般用阿尔法系数）、峰度、偏度等。如果统计结果不理想，就需要考虑进行较大的修改。15、正式试卷定稿。根据预测结果删除过难、过易、低区分度的题目，修改缺乏迷惑性的备择选项，拼组正式试卷。有时候，可以用两份或多份预测试卷拼组成一份正式试卷。16、施测和积累测试数据。将正式试卷用于实际的测试服务。同时，开始收集和积累测试数据。在施测时，要尽量收集详细的测试数据，即每个学生在每道题上的答题信息，便于进一步的试题分析。同时，要尽量收集考生的相关信息，包括性别，年龄，就读学校，就读班级，就读学校的水平（普通、示范型，一本，211，985），就读班级的水平（普通班，实验班），专业（文理科）等等，便于以后的效度论证。17、分数等值。尽管在拼组试卷时我们力求保持不同试卷具有相似的难度，但是，实际上仍然很难避免不同试卷之间存在难度差异。因此，需要根据实测的结果对分数进行等值（equating）处理。对于相对容易的试卷，需要从原始分数中减去几分；对于相对偏难的题目，需要在原始分数上加上几分。只要样本量达到100人，就可以实现基于统计推断的分数等值。（具体方法可以参考我发表于《考试研究》杂志2005年第1期的《HSK和MHK的等值》一文）18、建立试卷库。积累了若干数量的经过分数等值处理的试卷，就可以建立起试卷库。根据需要，可以从试卷库中选取试卷开展实际的测试工作。在基于网络的计算机人机对话测试中，可以在考试中随机向考生提供不同的试卷。这样，在一个机房中参加考试的考生，可能会完成多份不同的试卷。座位相邻的两个考生，可能回答不同的试题。19、建立题库。当积累了足够的实测数据（最低限度每份试卷要达到500人，最好每份试卷达到1000人以上），就可以通过数学模型模拟技术建立起不同试卷中试题之间的分数可比性。这时，就可以开始建立题库。题库中的每道试题都具有可比的、统一的参数，这些参数不仅包含难度、区分度、猜测概率、信息量等统计参数，还可以包含一些刻画测试内容的标注参数。20、效度论证。在测试过程中，不断收集效度证据，对测试的效度进行论证，努力对测验分数做出普乐好（plausible）的解释。21、建立常模。在获得了足够的测试数据之后，可以逐步建立常模，从而对测试成绩做出更丰富的常模参照解释。常模可以包括不同性别，不同年龄，不同年级，不同地区的分常模。22、开发为每位考生量身定制的测试。建立题库之后，就可以实现为每位考生量身定制个性化的测试，开发适应性（adaptive）测试。不再向高水平的考生施测很容易的题目，也不再向低水平的考生施测很难的题目。针对不同水平的考生，施测不同水平的测试。这样，可以大大提高测试的可靠性（信度）。23、开发兼具学习和测试功能的学习系统。付出相当努力才建成的题库，不仅可以用于测试，也可以同时用于学习、辅导和培训。基于题库，可以建设一个因材施教、循序渐进的学习辅导系统，既可以是基于计算机的网络学习系统，也可以是基于手机的APP。这个系统将帮助学习者锻炼和提高自己的思维品质。&几点注意事项&在《思维品质测试》的开发中，需要注意以下几点：&1、《思维品质测试》具有可观的市场前景。提升思维品质的问题已经引起了许多教育工作者和教育行政管理者的注意。每一所中小学，每一个学区，每一个县，每一个市，都是这项测试的潜在用户。开发出基本可用的产品后，就可以开始一所一所学校，一个一个学区，一个一个县地进行推广。全国几十万所中小学，上万个学区，近三千个县，市场非常广阔。目前，各级政府都很注意教育投入，教育经费相对宽松，这项测试产品完全可能成为政府所购买的公共服务。2、项目需要有一个责任明确的负责人，此人至少需要投入60%以上的精力。3、研究团队需要包含三方面的专业人员：熟悉测试对象的命题和审题人员、教育测量专业人员和计算机技术人员。至少需要有一名教育测量方面的专业人员参加。三方面人员的各自职责是：a)&&&&命题、审题人员：命题，审题，组卷。b)&&&&教育测量人员：根据测试数据进行题目分析和试卷分析，根据数据分析结果论证测验的效度、信度、分数的可比性、公平性，应用条件，应用范围，等等。c)&&&&计算机技术人员：开发命题、审题管理系统，题库系统，测试系统，评分系统和试卷统计分析系统。4、组建高水平的命题和审题人员队伍。思维测试，很大程度上是以命题和审题人的思维品质作为“标准（criterion）”对学生进行测试，很大程度上是考查学生与命题、审题人思维方式的一致性。命题和审题人不具有较好的思维品质，不可能编制出好的测试。因此，命题和审题人在思维品质、天赋、知识积累、文化背景等方面都需要达到较高水准。5、在命题人员中需要包括一些一线教师，需要包括那些了解考试对象的人员。好的试题，最好是来自小学生、中学生的实际生活，最好是对学生实际生活中真实涌现的语料、案例的提升整理。目前我编制的小学生和初中生样卷的最大问题在于，由于我本人缺乏中、小学的教学生活，试题语料不是来自小学、中学的实际生活，而是我闭门造车编写的。这两份样卷最重要缺陷就在这方面。6、项目开发的成败关键在于吸引人才，尤其是吸引高水平的命题、审题人员和教育测量人才。吸引人才时所面临的基本矛盾是：有能力的人未必有时间精力；有时间精力的人未必具备必要的能力。7、循序渐进，逐渐完善，不寻求“毕其功于一役”。先编制出大致可用的测试，在测试实践中不断改进，不断完善，不断积累常模资料，不断积累效性证据。根据逐步丰富的测试数据和常模资料，不断增强对测试分数的解释效力和丰富对测验分数的解释内容。在测验开发中，理论上合理的（reasonable）“观察——归纳”思路实际上行不通，需要采用“猜测——反驳”的思路。可以参看附录《谈语言测验开发的路线图》一文。&&附录：谈语言能力测验开发的路线图（刊于《考试研究》2010年第1期）&摘要：本文结合“汉字应用水平测试（HZC）”的开发实践讨论了语言能力测验开发的路线图。本文认为，在语言能力测验的开发中，在许多涉及复杂心理特征的能力测验和职业测验的开发中，理论上似乎合理的“观察——归纳”路线图，在实践中是行不通的。在这些测验的开发中，我们往往需要采用“猜测——反驳”的路线图。&按照通常的观点，在开发一个语言能力测验之前，首先需要对语言活动进行调查，界定测验所要测量的“构念（construct）”，回答“考什么”的问题。之后，对具有不同语言水平的考生的行为表现进行描述，制定出基于“能做（can do）”的语言能力等级标准，并给出必要的任务举例。例如，教育部和国家语言文字工作委员会2006年联合颁布的《汉字应用水平等级及测试大纲》（以下简称《测试大纲》）中，对各个等级的标准进行了能力描述。在国家汉语国际推广领导小组办公室2007年公布的《国际汉语能力标准》中，不仅对各个等级的标准进行了能力描述，还给出了各个等级标准的任务举例。理论上，《测试大纲》是语言能力测验开发的依据，测验编制应以这些关于各个级别的能力描述为依据。经过多年的语言测试实践，我发现，这种“行为分析——构念界定——能力描述——测验编制”的路线图是行不通的。&我们以教育部和国家语言文字工作委员会主持开发的“汉字应用水平测试（HZC）”为例来进行讨论。在《测试大纲》中，对汉字应用水平从三个方面进行了能力描述：第一，所掌握字量；第二，对字形、字音、字义的辨识能力和使用水平；第三，阅读和书写水平。关于字量，大纲的编写者认为：“3500 常用字是……中等偏下文化水平人群的识字量……根据我们的实际测查，具有高中文化程度的人群一般识字量为4000 字左右……具有大学文化程度的人群一般识字量为4500 字左右……具有大学以上文化水平、从事文字工作、且具有较高汉字应用水平的人群的识字量为5500 字左右。”这一研究结果可以受到质疑。根据大纲编写者提供的资料，李白994 首7.7万字的诗文用字3560 个，杜甫1500 余首诗用字4350 个，白居易3000 余首诗共18万字，用字4600 个。66 万字的《毛泽东选集》1 —4卷的用字量为2891 个,毛泽东公开出版的全部著作也仅用单字3136 个。按照“高中生识字4000字”的观点，高中生读毛泽东的著作应几乎不会遇到不认识的字，读李白的诗应基本不会遇到不认识的字。按照“大学生识字4500字”的观点，大学生读杜甫和白居易的诗应基本不会遇到不认识的字。这可能与实际情况有很大距离。我与多位毕生从事语言文字研究工作的我国顶级语言学家们讨论过识字量的问题，多数专家认为普通人的识字量在3000左右。在由教育部颁布的基础教育新课程改革的指导性文件《全日制义务教育语文课程标准》中，要求初中毕业生认识常用汉字3500个，其中3000个左右会写。 在《普通高中语文课程标准》中，并没有再提出字量方面更高的要求。我认为，高中语文课程标准的制定者们没有在识字量方面提出更高的要求是非常正确的。这样规定，遵循了语言能力发展的规律，符合汉语的特点，符合实际情况。事实上，对于已经完成高中教育的人群来说。他们“汉字应用水平”的差异主要不是体现在掌握字量的多少上，而是体现在对有限数量的汉字的应用上，体现在对汉字义项掌握的多寡上，体现在根据一定的语境选用适当的汉字上，体现在汉语表达的准确、得体和优雅上，体现在与汉字应用有关的语感上。在《测试大纲》中包含有《汉字应用水平测试字表》，总字量为5500字，分甲、乙、丙三个子表，甲表为4000字，乙表为500字，丙表为1000字。字表按字形来计算汉字数量。实际上，许多具有相同字形的汉字具有多个不同的读音，具有多个不同的义项，同一个字，不同的读音，不同的义项之间难度差异很大。具有不同汉字应用水平的人在汉字读音和汉字义项的掌握上，差异很大。例如，“数”字有shǔ、shù、shuò 三个不同的读音，不同的读音之间具有明显的难度差别。又如“马前卒”中的“卒”，“生卒”中的“卒”，“卒业”中的“卒”，“卒中（读cùzhòng，一种疾病名称）”中的“卒”，具有不同的含义，不同的含义之间具有明显的难度差别。从理论上说，可以通过调查来了解不同人群的识字量，在此基础上确定HZC不同级别的识字量标准。根据标准，编制汉字应用水平测验。《测试大纲》编写者的思路是：对高中毕业生、大学毕业生、从事语言文字工作的专业人员这三个群体进行调查，了解他们的平均识字量，以“观察——归纳”方式得到各个群体的平均识字量，以此作为三级、二级和一级的标准。实际上，这种“观察——归纳”的路线图是行不通的。不用说了解特定人群的平均识字量，就是仅仅了解一个人的识字量，了解一个人从字音、字形、字义、书写等几个方面可以掌握的汉字数量，也是很困难的。关于“识字”的标准就很难把握。何谓“识字”？可以是能认能写，也可以是能认不能写；可以是掌握多音字的一种发音，也可以是掌握多音字的多种发音；可以是掌握多义字的一种义项，也可以是掌握多义字的多种义项；可以是仅仅正确地认读和书写“辩”和“辨”字，也可以是准确地把握“分辨（分辨方向）”和“分辩（不容分辩）”之间的微妙使用差异。为了了解一个人或一群人的识字量，首先需要有一个可靠、有效的测量工具。如果我们已经具备了这样的一个测量工具，就没有必要再去开发HZC，再去为HZC确定各个标准的达标分数线。这里，陷入了逻辑循环。正是由于所采用的测量方法缺乏可靠性，正是由于所采用的识字量测量工具缺乏效度和信度，《测试大纲》编写者关于“具有大学文化程度的人群一般识字量为4500 字左右”的结论是不可信的。&就科学研究的一般方法而言，通常有两种思路：一种是“观察——归纳”的思路，即不带偏见地对所有可能的相关因素进行客观观察，在全面、客观地掌握有关事实的基础之上归纳出规律性的结论；另一种是“猜测——反驳”的思路，根据研究者对所研究问题的已有理解和经验知觉，大胆地提出假设，设计试验条件对这种假设进行检验（反驳），在检验过程中对假设进行修正或放弃。研究相对比较简单、影响因素有限的问题时，“观察——归纳”的方法可能是有效的。但是，在研究相对比较复杂、影响因素很多的问题时，则往往需要采用“猜测——反驳”的方法。即使是在物理学研究中，“观察——归纳”的方法的应用范围也是很有限的，也只能应用于有限的中观物理现象研究，在关于微观和宇观的物理学研究中，也常常是行不通的。早在19世纪，天才的思想家恩格斯就已经认识到这种“观察——归纳”方法的局限性。他说：“按照归纳派的意见，归纳法是不会错误的方法，但事实上它是很不中用的，甚至它的似乎最可靠的结果，每天都被新的发现所推翻。”为“汉字应用水平”这样较复杂的心理属性建立标准，曾经在物理学研究中取得过一些成绩的“观察——归纳”方法在这里是行不通的。此时，“观察——归纳”方法面临逻辑悖论：测量标准（量表）的建立首先需要有测量工具，而测量工具的研制又需要以建立测量标准（量表）为前提。实际上，为了建立“汉字应用水平”的等级标准，我们需要另一种路线图，即“猜测——反驳（检验）”的路线图。我们需要首先从我们关于汉字应用的经验出发，根据我们关于汉字应用水平的直觉，编制出一个汉字应用水平测验，开发出一个测量工具。我们大胆猜测这是一个有效的工具。之后，我们小心翼翼地对这一工具进行检验，广泛收集效度资料，比较不同学历、不同职业、不同专业、不同性别、不同地区、不同年龄、不同类别的学校（211、一本、二本、高专、高职等）的应考者的成绩，根据收集到的效度资料不断对测验进行修订，删除那些效度不好的题目。在获得了一个比较好的测量工具以后，根据这一测验的分数来建立标准，例如，达到200分为三级，达到400分为二级，达到600分为一级。这就是年HZC试测和分数报告的实际过程，这就是根据2008年的HZC试测结果建立HZC分数体系和等级标准的实际过程。在建立了量表之后,我们可以为根据效度资料对分数做出更丰富的解释，例如，高中毕业生的平均水平为500分，大学毕业生的平均水平是600分，中学教师的平均水平是650分，而中学语文教师的平均水平是700分，等等。&与HZC相似，在许多能力测验和职业测验的开发中，工作分析的思路也是行不通的。例如，当笔者1988年着手开发用于公务员录用考试的“行政职业能力测验”的时候，我们曾经有一个清楚的“观察——归纳”的路线图：对政府工作人员进行工作分析——归纳政府工作人员需要的知识和能力——根据工作分析结果编制测验。事实上，我们曾经在当时的国家建材局进行了比较规范的工作分析研究。其后，我们也多次进行关于政府工作人员的工作分析。经过多次尝试，我们逐渐认识到，由于政府工作的复杂性，虽然我们可以通过工作分析得到一些关于政府工作人员所从事活动的描述，可以得到一些关于从事政府工作所需要的知识、能力、心理特点的资料，但是，这些工作分析结果很难与测验编制挂钩，在工作分析结果和测验题目之间存在着难于跨越的鸿沟。在用于公务员录用考试的“行政职业能力测验”的开发中，我们实际采用的是一条“猜测——反驳”的路线图：根据关于政府工作人员所需要能力的经验直觉尝试性编制测验——在测验的施测过程中不断收集效度资料——根据收集到的效度资料来对测验进行改进和调整。又如，当笔者受原人事部人事考试中心（现为人力资源和社会保障部人事考试中心）委托开发用于企业管理人员选拔的“企业管理职业能力倾向测验”的时候，也曾试图按照“工作分析——测验编制”的路线图进行测验开发工作，曾经采用了世界上权威的《工作分析问卷（PAQ）》和《专业和管理职位分析问卷（PMPQ）》进行工作分析。在进行了一系列的工作分析尝试之后，最终发现，由于企业管理人员工作性质的复杂，很难将工作分析的结果与测验的编制相联系。另一方面，关于测验的效度研究却为测验的改进和完善提供了许多实证依据。针对不同测验内容，针对所考察的不同能力，针对不同的题型，我们通过多种渠道收集效度资料。我们将测验分别施测于企业中的管理人员和非管理人员，分别施测于企业中较成功的管理人员和不太成功的管理人员，分别施测于企业中的管理人员和其他组织（机关、学校）的管理人员，对施测结果进行分析，考察不同分测验、不同测验内容、不同题型的效度。在受原人事部人事考试中心委托进行的关于经济师、经济员任职资格考试的研究中，我们也感受到基于工作分析的“观察——归纳”路线图的局限性。&综上所述，在语言能力测验的开发中，在许多涉及复杂心理特征的能力测验和职业测验的开发中，理论上似乎合理的“观察——归纳”路线图在实践中是行不通的。在这些测验的开发中，我们往往需要采用“猜测——反驳”的路线图。&(原载于《考试研究》2010年第1期)&*************************&扫描或长按下面的二维码可以开始测试《小学生思维品质测试》&也可以通过下面的网址开始测试：http://www./home/ct/8341.html&扫描或长按下面的二维码可以开始测试《初中生思维品质测试》&也可以通过下面的网址开始测试：http://www./home/ct/15427.html&扫描或长按下面的二维码可以开始测试：《成人思维品质测试》：&也可以通过下面的网址开始测试：http://www./home/ct/13551.html如果您有什么意见、建议、感想，您可以通过公众号首页下面的对话栏告诉我们。这里可以找到本号以往推出的文章：/xiexq_/blog/#m=0&t=1&c=fks_或者这里：http://mp./s?__biz=MzA5OTY1MTgyMw==&mid=&idx=1&sn=feea2a9cd650c如果哪位网友对某个题目感兴趣，可以在公众号首页下面的对话栏中以“001”、“011”或“123”的格式回复相应的期号，我将向您发送您需要的一期。例如，如果您对第1期感兴趣，您可以回复“001”；如果您对第11期感兴趣，您可以回复“011”；如果您对第113期感兴趣，您可以回复“113”。怎样为孩子的审辩式思维发展创造更好的环境？请长按或扫一扫下面的二维码：
点击展开全文
悄悄告诉你
更多同类文章
还可知道有多少人阅读过此篇文章哦
阅读原文和更多同类文章
可微信扫描右侧二维码关注后
还可知道有多少人阅读过此篇文章哦
审辩式思维是创新型人才的特征。为什么我国培养不出诺贝尔科学奖的获得者？培养不出杰出人才？原因在我国教育的“短板”——不注意发展学生的审辩式思维。我们将致力于发展青少年的审辩式思维，促进青少年创造力的发展。
您的【关注和订阅】是作者不断前行的动力
本站文章来自网友的提交收录，如需删除可进入
删除，或发送邮件到 bang＠ 联系我们，
(C)2014&&版权所有&&&|&&&
京ICP备号-2&&&&京公网安备34