梁正 张辉:构建平衡包容的人工智能治理体系-米乐m6平台

梁正 张辉:构建平衡包容的人工智能治理体系

选择字号:   本文共阅读 496 次 更新时间:2023-02-28 21:28

进入专题: 人工智能  

梁正   张辉  


近年来,随着我国新型基础设施建设提速,经济实现高质量发展的动能更加强劲。人工智能作为新基建的重要组成部分,是新一轮科技革命和产业变革的核心驱动因素,也是支撑新旧动能转换的重要力量。稳经济大盘背景下,人工智能如何更好地发挥其作用,助力经济社会实现高质量发展,并在此过程中,为人工智能发展把锚定向的人工智能治理,又将构建怎样的体系,发挥怎样的作用,成为一项必须关注的前沿议题。

党的十八大以来,伴随国家治理体系和治理能力现代化持续推进,以人工智能治理为代表的新兴科技治理进入了一个新的发展阶段。全球范围内,各主要国家或代表性地区先后发布了人工智能相关战略、规划或重大计划,以期在新一轮科技革命中取得竞争优势。人工智能应用不仅极大提高了交通、医疗、金融、教育、制造和农业等传统经济社会部门的生产效率,也提升了法治社会、政府管理、公共安全、危机应对等多方面的现代化治理水平。与之相伴的是,全球范围内,对人工智能带来的伦理风险、隐私侵犯、就业替代和技术安全等各方面的诸多争议不绝于耳;世界诸国或地区渐有从“人工智能技术创新竞赛”向“人工智能技术规制竞赛”转变之势。构建符合我国国家治理现代化需要的人工智能治理体系,势在必行。

国家人工智能治理面临的治理困境

人工智能作为新兴科技的集大成者,本身就存在技术、社会、经济、政治等多方面的不确定性。世界诸国面对人工智能的态度各异,但是治理措施存在着一定的一致性。一方面,世界诸国都在积极发展人工智能技术、制定人工智能产业规划,大力促进人工智能的技术创新、发展与应用;另一方面,世界诸国又通过立法、议案、规范等制度性约束,限制他国的人工智能企业或产业发展。因此,国家人工智能治理面临来自国际和国内的多重挑战与治理困境。

在国际范围内,散落在世界各国或主要地区的治理原则与实践经验,还无法跟上人工智能发展的步伐,人工智能治理问题随着快速的技术创新与广泛的社会嵌入而日益突出。目前,国内外人工智能治理的研究处于刚刚起步的阶段,来自哲学、经济学、社会学、管理学、法学以及计算机、电子电气等学科的学者都从各自领域进行了一定的探讨,但世界诸国对于什么是人工智能治理、什么是人工智能伦理、为什么进行治理以及如何治理等还没有形成深刻的成果与共识,从而制约了人工智能治理的发展。

而在国内,人工智能技术的复杂系统特征和技术不确定性特征,使得国内技术创新面临着“高端产业低端化”的实践倾向,产业促进政策和技术治理措施往往难以落地。人工智能治理的国内难题一方面来自于国际竞争,另一方面在于地方政府竞争格局导致的产业竞争问题。前者关注人工智能技术体系的发展及其规制问题,重点在于国家整体的技术实力的提升。后者侧重于通过地方标准、规范或地方立法等制度性约束单方面促进人工智能的技术创新,而忽视了人工智能负外部性的规制议题。

人工智能的特征与风险

关于人工智能的定义本身就存在以偏概全的风险。对人工智能的本质的哲学讨论是人工智能技术创新和人工智能治理的基础,但由于技术哲学流派众多,定义“人工智能”几乎是一件不可能的事情。在1950年,图灵的文章《计算机与智能》建议通过“行为”来界定“思维”和“智能”,就此拉开了人工智能的序幕。其后几十年,各路人物轮番登台,但至今这场大戏的主题尚欠共识。据统计,世界范围内对“人工智能”存在着不下百种定义。从技术工程实现的角度来看,人工智能不是某种单一技术,而是包含一系列技术(如语音识别与计算机视觉)与分支学科(如生物学与心理学)的概念组合,但边界模糊不清。从发展水平看,人工智能可分为“弱人工智能”和“强人工智能”。弱人工智能(wai)只能在一些具体的单项领域表现出一定的超出人类智能的水平,而强人工智能(agi,也被称为“通用人工智能”)可以举一反三,具有接近人类的通用性智能,目前一般只有在科幻作品中才能看到。当前阶段,人工智能主要是指,由大量依赖标注数据驱动的、基于反向传播算法基础上的一系列神经网络算法,来模拟人类专项智能的人工程序及其系统。

(一)新一代人工智能发轫于深度学习

考虑到人工智能技术对政治、经济、社会、法律、历史、心理、环境等方面存在广泛影响,对人工智能的特征与风险的认识,有助于后续开展人工智能治理的相关工作。当前阶段,人工智能的技术特征的本质来源于以“神经网络”为技术实现的“智慧即网络”技术模拟理念。神经网络算法的本质在于从构造结构上模拟人类大脑产生智能的过程——神经元之间的联结过程决定着人类认知的发起和人类智慧的产生。此技术理念的缺点在于误解有效解释该神经元联结过程中的逻辑关系,无论是人类神经元,还是“机器神经元”。实际上,机器神经元之间的决策权重关系的生成过程本质上与人类神经元的链接过程已经存在诸多差异。以神经网络为基础的机器学习算法和深度学习算法,对神经元权重关系的设置过程,更多的是一种根据预测目的或结果的精确度、拟合度等性能指标需求拉动的反向作用的迭代过程。

(二)大数据是人工智能的基础驱动因素

驱动前述迭代过程的基础要素是大数据。通过在大数据中提取实体的特征向量和特征值,并分析实体之间的关联关系,决定着当前人工智能的技术性能。利用概率统计和模式匹配的方法,从海量数据中将实体之间的关联关系进一步提炼为相关规则,产生最终预测、决策和执行的依据。在此过程中可以看出,用于最终预测和决策的依据并不由人类外部给定,而是由人工智能系统在数据海洋中不断进行迭代训练,并由相关模型来决定,其决策逻辑更多基于概率统计与模型匹配,而非因果关系。基于此,人工智能技术被视为具有显著的不可解释性,即“技术黑箱”特征。因此,外部观察者虽然了解其算法及其系统的基础运行原理,但是却很难理解算法的决策过程,即使对技术专家而言,也是如此。这种技术不确定性嵌入在“输入—算法—输出”各个环节之中,如数据质量的偏差,算法参数的随机,以及难以避免的人为因素(如算法开发人员的价值观),使得追踪决策结果的影响根源,在技术原理层面上,显得十分困难。因此,人工智能虽然大概率上能够高效地解决很多预测类问题,但是技术的非因果性和不可解释性,将是悬在人工智能系统使用者头上的“达摩克利斯之剑”。一旦出现决策偏差,将对个人生命安全、健康或财产,或者组织甚至社会的安全带来十分严重的不利影响。

(三)技术内生性不确定性

在技术不确定性的基础上,人工智能的社会应用及其与人类的互动将会带来更大的不确定性。人工智能就如电力一样,是一种通用目的技术,可以被国民经济的多种行业部门和生产生活环节使用。然而,人类行为自身也同样存在非常高的复杂性和不确定性,如何使用、何时使用、在哪使用、谁来使用等问题始终伴随着人工智能技术与社会的互动过程。换言之,社会不确定性与人工智能技术不确定性的交织混合,导致人工智能应用结果的不确定性以更大的指数级上升,利益相关方更加难以追踪和掌控。尤其是在法律、医疗、安全和教育等领域,人工智能应用的某些不确定性,可能为社会带来非常大的风险。

除了不可解释性的隐忧,人工智能的技术内核——数据驱动型算法还可能引致技术系统“自我强化”困境和“主体性”的难题。一方面,机器学习的原理在于对训练数据——历史数据集的高度依赖,从而使得人工智能使用者获得的参数模型最大程度地集成训练数据的统计性特征,继而使得后续的测试集和新生成的数据中不符合其特征分布的数据被视为异常值而被忽视。久而久之,人工智能技术使用者会就陷入“回音壁效应”,形成自我强化的心理困境。人工智能的核心优势就是基于个性化大数据训练出来的“精准”算法与模型,但是其风险也恰来源于算法和模型的“精准”,因为人工智能算法能够最大程度上满足个体特征和喜好,而这恰恰限制了使用者接触集合外的其他多元信息和新奇信息的机会,从而造成不断追求信息却又难以超越自我的平庸的内卷化状态。另一方面,人工智能广泛而深入地应用与扩散,势必使得人与机器的分工界限越来越模糊,从而形成人工智能的“主体性”难题。根植于传统制造业或农业领域的社会化大生产,在强调技术工具在生产力的根本性构成作用的同时,也将之与技术使用者——人类进行了清晰的划分。但是,随着人工智能技术广泛而深入地渗透到社会之中,技术的权利、责任与义务的承担主体在人与机器之间难以进行清晰准确的划分,这在人工智能程序生产的文学作品的著作权界定、自动驾驶引致的交通事故的责任认定等关涉人的权利权益的应用场景中表现尤为明显;其直接结果是权利界定、利益分配、过失惩罚等传统意义上的奖惩机制的失效。

(四)人工智能的应用性隐忧

人工智能技术深度嵌入经济社会生活,将会深刻地改变社会主体之间的权利关系,造成强者越强、弱者越弱的极化效应。人工智能技术集合涵盖了云计算、大数据等技术偏向性非常明显的子技术系统,使得本就已经在经济社会中处于支配地位的技术拥有者和使用者,能够通过人工智能技术更进一步地巩固、扩张或垄断权力工具。在人工智能时代,数据成为国民经济社会中的新型“石油”。数据不仅在价值生产中起到越来越重要的作用,在知识生产和公共管理过程中的作用也越来越关键。在微观企业层面,拥有人工智能技术、数据和资本的平台型企业在社会经济发展过程中拥有越来越大的权力;平台企业掌握大量用户数据,包括其具象化的双边或多边市场中的多方技术使用者的状态数据和行为数据;平台企业可以利用人工智能技术分化用户群体,分割用户权益而不容易被监管部门和社会公众觉察(梁正等,2020)。与此同时,公共部门能够使用人工智能技术提高公共服务效率,但这一过程也强化了政府部门管理个体公民的工具。在宏观层面,以政府为代表的公共部门,往往难以及时跟进人工智能技术和知识快速增长的需求,而人工智能企业和平台将在公共政策甚至非正式制度改变中拥有越来越多的影响力。在此情景下,政府等公共部门和普通公民的话语权都将受到侵蚀,政府组织能力也会被平台组织稀释。一方面,公共部门和普通公民都可能成为经济组织廉价攫取数据燃料的供给者,却难以分享相应的收益;另一方面,他们可能在被动使用人工智能技术的过程中,不断单向度演化,造成内卷化的风险。更值得担忧的是,如果人工智能被武器化和军用化,其精确度和自动化响应速度非传统武器所能比,而这将导致国际社会形成更加激烈的自动武器军备竞赛,给整个人类安全带来严重威胁。

人工智能治理的定义

治理是各种公共的或私人的机构和个人管理其共同事务的诸多方式的总和。治理过程是使相互冲突的或不同的利益得以调和,并且采取联合行动的持续过程。保障该过程得以顺利执行的关键在于制度建构,既包括需要人们服从的正式制度和规则,也包括各种人们同意或以为符合其利益的非正式的制度安排。治理(governance)与传统的统治(government)存在很大的区别。在传统的统治中,政府是唯一权威,而治理需要公私合作;在传统的统治中,政府权力运行一般采用自上而下的执行过程,而治理一般需要多个相关利益主体通过互动的过程来有限度地运用各自的权力;统治一般以国家为边界,而治理一般超越国家;统治权威一般源自法规命令,而治理权威依赖社会共识。

“治理”的概念和理念已经应用到很多新兴技术领域,人工智能治理这个概念还处于定义之中,而人工智能定义的混乱使得人工智能治理的定义和内涵分析也面临更多的挑战。第一,人工智能本身存在着诸多流派,如符号主义、联结主义和行为主义;且流派之间的定义在特定的技术发展阶段,因技术实现条件而存在诸多冲突之处。人工智能的内涵界定同样非常模糊;同时,作为通用目的技术,人工智能与多个学科领域存在交叉现象,也导致人工智能的概念边界存在诸多模糊之处。第二,人工智能内部运行的算法逻辑难以厘清,其可能造成的经济社会影响很难判断,对人工智能治理的对象存在“无的放矢”和“自说自话”的现象。第三,人工智能治理因为人工智能技术而不可避免地涉及多元治理主体,但是,不同领域的相关利益主体对人工智能治理的内涵存在不同的认知和理解。从微观的技术视角来看,相关利益主体主要包括各种类型的人工智能技术设计者和产品设计者,人工智能治理被视为“运用技术实现的手段让人工智能透明化、可解释性更强、或者合乎技术伦理的过程与安排”。从中观的组织视角来看,利益相关主体主要包括掌握人工智能和应用人工智能的各类组织,而人工智能治理一般被定义为在运用一系列工具、方案和手段来降低人工智能安全风险的基础上充分开发利用人工智能的技术潜力。而从更加宏观的视角出发,利益相关主体主要包括国家、政府和人类社会整体,人工智能治理则被认为是为了确保人工智能的负责任创新和可持续发展而设计的标准、法律、规范、政策等一系列制度。

一般而言,人工智能治理包括两类过程。其一,各技术利益相关主体利用人工智能技术优化国家治理、社会治理或技术治理等治理体系的结构,并利用人工智能技术提高其治理的效率和效能,即“用人工智能进行治理(aiforgovernance)”。其二,人工智能的相关利益主体在一定的制度环境中对人工智能的技术风险进行有效预测并制定相应的治理方案,对已经出现的消极影响加以控制,即“对人工智能进行治理(governanceofai)”。然而,人工智能治理过程的阶段性还需要考虑技术相关利益主体的参与和退出。理论上,人工智能治理体系需要考虑治理的核心价值(如发展、安全与人类自主性),多方治理主体的治理诉求和利益协调,以及相应的治理机制和制度保障。因此,笔者认为,人工智能治理是指政府、社会、市场等领域的利益相关主体通过正式或非正式的制度安排,共同推动人工智能体系的创新、科研、生产及应用,并利用人工智能提升人类福利;同时,识别、预防和应对人工智能技术创新和应用引致的政治经济社会风险与不良影响。

人工智能的综合性治理框架

总体上,目前人工智能治理的定义和边界还比较宽泛,缺乏一个广受国际社会认可的界定。人工智能治理的研究散落于各个具体的应用领域和层面,较少从社会经济系统的整体层面进行探索。

从治理的要素来看,现有研究对于治理的价值(目标)、机制和对象的研究明显不足。现有研究主要关注人工智能治理的现状、问题以及对策,但是对为什么进行治理还没有较多的讨论和共识。

从治理对象来看,现有研究多只是把人工智能作为一个笼统的对象,或者关注某个具体算法或应用领域,而较少从整体上考察数据、算法以及应用之间的关系。实际上,数据、算法和场景具有不同的应用范围,需要分层次进行治理。例如,数据虽然是人工智能发展的基础,但也是其他数字技术和商业模式的重要投入,是第四次工业革命背景下的基础市场要素,因而是一个需要社会进行整体治理的对象,而不仅仅是针对人工智能。

具体到应用领域,虽然都体现人工智能技术的共性特征,但是场景特征与风险千差万别,治理问题与挑战各有不同,需要对技术和场景做出分类,才能精准治理。此外,人工智能技术应用不可避免地带来一些负外部性问题,这也需要纳入人工智能治理对象中。从治理机制来看,虽然不少主体都提出了各自的治理理念,尤其是组织层面的治理实践已经开始,但是尚未形成政府、产业和社会等多主体之间的协调互动机制。未来研究需要更多结合相关政策和应用场景,深入研究政府、市场和社会的合作分工互动机制,既需要归纳普遍性的治理原则,也需要因地、因时、因业制宜的具体治理策略。

人工智能的综合性治理分析框架在于综合考虑多元化的治理主体、多层级的治理对象、主体之间的价值共识、科学合理的治理过程和治理方式等与人工智能治理密切相关的治理要素。对于人工智能而言,广义上的治理主体包括每一个被人工智能技术覆盖的社会主体,包括社会公众、市场组织、非营利机构、政府部门等。虽然多元治理主体参与治理的合法性地位毋庸置疑,但是每一类治理主体因其概念化、判断、分析、综合、比较、推理、计算等方面的能力存在不同程度的差异,而展现出不同的治理能力。因此,人工智能治理需要在综合理性思维的基础上,兼顾相关治理主体的治理能力。

对于人工智能技术及其治理的利益相关方而言,无论是组织,还是个人,有限理性同样决定了其作为治理主体的理性维度的选择。而人工智能治理主体作为决策主体参与治理的过程中,实际上存在各自独有的理性维度的权重序列。同时,在参与治理的过程中,差异化的治理能力分化了平台利益相关方,由此形成治理实践中不同利益相关方的参与程度各有不同。因此,为了兼顾人工智能的治理成本和治理效率,围绕人工智能技术提供者和使用者,势必需要将相关利益方分类为人工智能治理的核心治理主体与外围治理主体;其中,人工智能技术的核心治理主体主要是指直接参与人工智能技术提供和使用的利益相关方,人工智能技术的外围治理主体主要是指间接参与人工智能技术应用的利益相关方。在此基础上探索构建人工智能的综合性治理框架,以指导后续多主体协同的治理体系与互动治理机制的构建。

运用综合理性分析框架在于明确人工智能的理性内涵,有助于为后续人工智能治理提供治理抓手。在多元治理主体理性偏好与治理能力分析的基础上,将理性维度和主体维度加以整合,从而构建人工智能治理所需的全景式治理分析框架。因此,人工智能治理的综合性治理分析框架应当包括治理主体的专业化选择、多理性维度、治理能力(包括治理工具、治理手段等)的三维治理体系。综合性治理框架为人工智能治理提供了“理性坐标系”,通过精准定位治理主体和理性维度,能够为“和谐友好、公平公正、包容共享、尊重隐私、安全可控、共担责任、开放协作、敏捷治理”等治理原则和理念提供足够的执行空间,有助于明确多元治理主体之间的分工与合作机制,有助于确立人工智能治理的治理对象、治理方向和治理路径,为构建人工智能治理的协同治理体系提供分析框架。

人工智能治理实践建议

依托人工智能治理的综合性分析框架,人工智能治理实践需要重视价值导向、囊括多元治理主体、厘清治理对象、明确治理机制,并运用多尺度的治理工具。

(一)重视价值导向

首要考虑是保证人们生产生活的安全,在此基础上赋能经济发展,而更高层次的目标是助力解决当前人类社会面临的可持续发展挑战。就人工智能领域而言,一方面要对人工智能的发展保持支持和鼓励的基本态度,另一方面也要对人工智能发展的不确定性、潜在风险和负面影响给予充分的关注,在确保人工智能有序发展和安全可控的同时,着力防止人工智能的滥用。因此,对人工智能的发展应该保持包容审慎的基本态度,在确保人工智能安全和平等的底线基础上,破除限制人工智能产业发展的制度束缚,利用人工智能赋能经济,以及服务社会可持续发展的目标。

保证人工智能技术安全,是人工智能治理的底线目标。在保证人类身体和财产安全的基础上,人工智能治理需要维护公民精神上的尊严与平等。人工智能治理的一个现实目标是减少阻碍人工智能技术发展的不利因素,推动技术的广泛利用,使得更多生产部门和人口可以享受技术带来的红利。在更高层面上,人工智能技术对于应对人类的重大挑战如气候变化、环境污染、传染病扩散等方面具有巨大的潜力。

(二)囊括多元治理主体

人工智能技术研发、应用与扩散涉及多个异质主体的权利与责任。因此,围绕着人工智能治理议题,笔者梳理其核心治理主体和外围治理主体,并明确各个治理主体的定位与治理职责。多元治理主体在人工智能社会技术系统中拥有不同的权限、资源、利益与限制,通过各种正式与非正式渠道不断博弈平衡,构成治理机制复合体。

人工智能正推动着不同治理主体角色的转变。例如,数据隐私保护条例的出台涉及数据生成者(用户)、数据聚合者(使用人工智能的平台企业)、数据使用者(研发机构)和数据监管者(政府及其他)等多方利益主体之间的博弈和互动,各方都应当具有人工智能治理的知识合法性或参与合法性。上述技术发展路径和商业模式,同样决定了人工智能治理与传统技术治理框架存在诸多不同。政府通常是治理的核心,保有对社会(即各类非政府主体)的引导控制能力。因此,人工智能治理应该构建由人工智能企业(技术提供者或技术使用者)、公众(技术使用者)、高校、科研机构、政府部门、社会团体等共同组成的治理主体集合,明确权责的归属,有效地实现不同治理主体之间的灵活互动和敏捷沟通,从而更加高效地应对人工智能带来的多重治理挑战。

(三)厘清多重治理对象

人工智能是个笼统的概念,包含众多要素、技术和场景,若不加区别地把整个人工智能作为治理对象,将会造成治理问题的失焦。在人工智能技术的研发、生产、应用和产生影响的过程中,既涉及人工智能算法和应用的特殊性问题,也包括普遍性的基础问题,如数据治理和个人信息保护,它们不仅是人工智能发展中面临的问题,也是许多其他数字技术和商业模式发展所需解决的问题。因此,人工智能治理的对象需要有一个从普遍到特殊的分层治理过程,需要社会对共性的基础问题达成共识,在人工智能的具体领域形成分场景、分级别的治理措施。对共性的数据和算法问题形成共性的底线约束,对应用场景的个性化问题形成专门治理规则。

遵循分而治之的原则,从专项治理入手,为人工智能治理提供有效的抓手。可以将人工智能治理拆解为数据治理、信息治理、算法治理、算力治理、场景治理和外部环境治理等分项治理。继而,在分项治理的基础上,捋清各个分项领域的耦合关系和治理协同机制,进行整体性治理。

(四)推进多条治理机制

除了传统技术治理强调政府联合第三方组织规制人工智能服务提供商的经济行为之外,人工智能综合性治理框架强调,治理不仅仅需要政府、人工智能组织和第三方组织积极参与,还需要将广大的人工智能技术利益相关方纳入治理过程中来。在确立人工智能治理价值共识的基础上,梳理不同人工智能治理主体的价值分工,结合人工智能治理主体的治理能力,选择与之契合的治理方式和治理工具,最终形成有针对性的人工智能的合作协同治理机制。

首先,针对人工智能治理,需要多元治理主体形成价值共识,这是多元治理主体进行合作和协同治理的根基所在,也是全景式治理框架的内在要求之一,应当全方位科学看待人工智能治理。其次,梳理人工智能治理主体的价值分工,治理主体之间取长补短,相互促进,充分发挥治理主体各自的治理优势,最终形成治理合力。最后,人工智能治理主体之间形成动态互动的协同共治机制,并根据人工智能技术创新发展与治理的适时需求,创新治理方式和治理工具。

(五)运用多尺度的治理工具

治理工具是治理主体用来解决治理问题的途径、方法和手段。不同的工具有不同的优势和局限,在不同尺度、场景中发挥不同的作用。法律是治理最有强制力的工具,但法律制定一般无法跟上人工智能迅速变化的节奏,普适性和原则性较强的法律条款也难以满足人工智能许多个性化应用场景的需求。治理宣言、技术标准、行为规范、国际倡议等也逐渐被纳入人工智能治理工具的范畴,并根据具体的治理问题和治理需求加以利用,实现治理工具的多样化。因此,人工智能治理需要形成一个有层次的工具体系,各种工具各施所长,形成人工智能治理的合力。

在宏观尺度上,国家政策是引导人工智能发展方向的重要工具,是一个国家体现人工智能治理价值的重要载体,不仅要规划技术和产业发展的目标和进程,也需对如何负责任开发与应用提出要求。在中观尺度上,社会实验是一种有效的尝试。在微观尺度,则需要拥有更多的工具组合,主要包括技术标准、组织内部治理规范和监管科技。


作者: 清华大学公共管理学院、上海人工智能实验室治理研究中心 梁正;清华大学人工智能国际治理研究院 张辉  来源: 《中国发展观察》2022年第12期



    进入专题: 人工智能  

本文责编:admin
发信站:爱思想(https://www.aisixiang.com)
栏目: > 科学评论
本文链接:https://www.aisixiang.com/data/141078.html

爱思想(aisixiang.com)网站为公益纯学术网站,旨在推动学术繁荣、塑造社会精神。
凡本网首发及经作者授权但非首发的所有作品,米乐m6平台的版权归作者本人所有。网络转载请注明作者、出处并保持完整,纸媒转载请经本网或作者本人书面授权。
凡本网注明“来源:xxx(非爱思想网)”的作品,均转载自其它媒体,转载目的在于分享信息、助推思想传播,并不代表本网赞同其观点和对其真实性负责。若作者或米乐m6平台的版权人不愿被使用,请来函指出,本网即予改正。

|||

powered by aisixiang.com 米6米乐体育app官网 copyright © 2023 by aisixiang.com all rights reserved 爱思想 京icp备12007865号-1 京公网安备11010602120014号.
网站地图