清华大学开源镜像站不会被关停

有消息称该事件正在向好的方向发展,本站将继续予以关注。

——————————————

概述

为广大清华师生提供科研支持的清华大学开源镜像站 mirrors.tuna.tsinghua.edu.cn 即将被清华大学网络中心关停。

开源镜像站对于科研提供了巨大的支持,国外优秀的软件项目大多以开放源代码(开源 Open Source)的形式放出。使用开源软件,一方面不需交纳任何费用,另一方面也不存在使用盗版商业软件的道德和法律问题。

而开源镜像站则是将世界上优秀的开源项目收集到一起,方便同学和老师们高速地安装、更新、使用。并且国外许多优秀的理工类院校都有架设开源镜像站的传统。 从清华大学开源镜像站安装开源软件,下载速率为10MB/s量级,而从开源项目的官方网站下载,速率约为50KB-500KB/s,不旦浪费网络流量而且 加重校园网出口负担。按照统计数据估算,平均每月可为科研节约出校流量约5000GB。简而言之,开源镜像站是科研工作者的“软件管家”,拥有一个校内的 开源镜像站更是能让借助计算机完成的科研工作如虎添翼。

清华大学开源镜像站于2011年创立,在短短几年的时间内迅速聚集了一批热心且技术水平过硬的同学维护,目前已经在国际、国内有广泛的影响,多次被IT业 界新闻网站报道。目前已经收录44种开源项目镜像共计约5000GB,其中12种开源项目镜像已经被官方认可,官方服务器将来自中国甚至亚洲的访问请求直 接定向到清华大学、使用官方的子域名直接解析到清华大学、或者在官方网站显著处写明地址和学校名称,这对于开源镜像站以及清华大学是非常大的荣誉和肯定。

由于一直无法获得网络中心的正式支持,开源镜像站只能“四海为家”,经常被断网、断电、下架。每次搬迁都会导致服务长时间不可用,经常会因此收到国内用户以及国外开源组织的来信询问。

不久前,我们接到最后通知,清华大学开源镜像站将被限期下线并搬迁出校园网机房,届时,使用开源软件的同学和老师将不得不使用其它兄弟院校提供的镜像站或 者直接从软件项目的官方网站以较慢的速度下载、更新,不仅低效而且加重校园网出口负担。我们不希望这样的结果发生,期望得到大家的帮助使得这一决定被改 变。

 

如何帮助我们

请通过可能的一切途经分享我们的日志,并且参加联署来支持我们。

开源软件与开源镜像

开源软件

 

 

开源软件是由全世界各行各业的人共同开发,全世界的高水平程序员将他们自己的成果开放出来,供世界上任何人在相应的开源代码许可证的规范下自由地使用。开源软件是IT业界保持旺盛的生命力的重要组成部分。

 

开源软件镜像

很多成功的开源软件都采用灵活的“包”管理机制,将软件分成许多独立的功能模块,打包放在服务器上,方便用户下载使用。比如,在很多Linux发行版中,大部分应用都以“包”的形式发布,用户可以直接连接提供“包”的服务器来获取软件以及更新。

 

 

由于“包”的使用量很大,仅凭少数几个官方服务器完全无法满足世界各地开源软件使用者的需求。而且,这些服务器往往位于国外,清华师生如果想要访问,就会在校园网出口和国际出口上产生大量流量,不仅速度慢,还挤占了有限的网络资源。

 

解决这一问题的行之有效的方法是在离使用者更近的地方架设一些服务器,提供时刻维持与官方服务器一致的“包”。这些服务器就是一个开源镜像站的基础。有了开源镜像站的“中转”作用,用户就可以更快速、更便捷地获得研究、开发所需要的“包”资源。

 

全球的开源镜像站点

 

国内高校的开源镜像站

  1. 中国科学技术大学(debian.ustc.edu.cn)
  2. 上海交通大学(ftp.stju.edu.cn)
  3. 大连理工大学(mirror.dlut.edu.cn)
  4. 北京交通大学(mirror.bjtu.edu.cn)
  5. 北京理工大学(mirror.bit.edu.cn)
  6. 东北大学(mirror.neu.edu.cn)
  7. 厦门大学(mirrors.xmu.edu.cn)
  8. 兰州大学(mirror.lzu.edu.cn)
  9. 西安电子科技大学(linux.xidian.edu.cn)
  10. 哈尔滨工业大学(run.hit.edu.cn)
  11. 天津大学(mirror.tju.edu.cn)
  12. 东软信息学院(mirrors.neusoft.edu.cn)
  13. 电子科技大学(mirrors.stuhome.net)

国内其他机构的开源镜像站

  1. 中国互联网信息中心(mirrors.cnnic.cn)  只提供了Apache镜像
  2. 网易开源镜像站(mirrors.163.com)
  3. 搜狐(mirrors.sohu.com)
  4. 淘宝(ruby.taobao.org)
  5. 猫扑(labs.mop.com/apache-mirror) 只提供了Apache镜像

日本各大学的镜像站

  1. 北陆先端科学技术大学院大学JAIST(http://ftp.jaist.ac.jp/pub/)

美国各大学的镜像站

  1. 卡内基梅隆大学CMU(http://www.club.cc.cmu.edu/pub)
  2. 麻省理工学院MIT(http://mirrors.mit.edu/)
  3. 哥伦比亚大学(http://mirror.cc.columbia.edu/)
  4. 俄勒冈州立大学(http://ftp.osuosl.org/pub)
  5. 伊利诺伊大学厄巴纳-香槟分校(http://cosmos.cites.illinois.edu/)
  6. 杜克大学(http://archive.linux.duke.edu/)
  7. 约翰·霍普金斯大学 http://mirrors.acm.jhu.edu/

 

 

从 2009 年起,在 ftp3.tsinghua.edu.cn 系统得不到有效维护和更新之后,清华大学没有对外提供的稳定可靠的开源镜像服务。

 

清华大学开源镜像站简介

起源

2011年4月, 在原有的清华大学镜像站 ftp3.tsinghua.edu.cn 很久没有更新的情况下, 由一些热爱开源、热爱技术的同学们一起在 ftp3 的基础上组建了开源镜像站。

遇到阻力

由于来自网络中心内部的支持力量远远小于网络中心内部的反对力量,整个开源镜像站随时都有被关停的危险。这不是我们第一次遇到这样的阻力:长期以来,清华 大学开源镜像站一直与服务器被关机、被断电、被断网、被下架作斗争,不得不打一枪换一个地方。这无谓地损耗了我们大量的精力,而最终结果是给广大热爱开源技术的同学们造成极大的不便。

被迫迁移,四海为家

随着服务器得到越来越多的关注, 我们的 CERNET 出口仅有的 100Mbps 不堪重负.

 

 

2012 年 7 月,由于原所在网段丢包严重,带宽有限, 服务器被迁移到 DragonLab  中的一个虚拟机中. 虽然有了理论上的 1Gbps 的接入, 但是 CERNET 的网关出口一直不稳定, 处于疑似被封禁的状态.  TUNET 的出口则被限速到 2Mbps。

 

2012 年 9 月,我们的 4TB nfs 存储服务器被强行搬出机房,前端服务器与存储服务器的通信链路非常不稳定,导致大量软件源失效。

 

2013 年 1 月,我们的前端服务器被迫迁出 DragonLab 放至原来所在旧镜像站(ftp3.tsinghua.edu.cn)的机房,前端服务器 与 nfs 存储之间的带宽进一步下降,导致很多源(如 debian, ubuntu, fedora, arch等等)陆续崩溃。

 

2013 年 3 月,开源镜像站正式被下达限期下线迁移的通知。

我们的成果

校内校外以及国际访问概况

 

 

下图为最近6个月内HTTP流量统计。

原始数据: http://mirror.tuna.tsinghua.edu.cn/webalizer/

 

国内兄弟院校以清华站为上游同步站点

服务稳定时期每个月流量可达近10TB。地质大学和浙大均以我校镜像作为上游做初始同步,促进了整个教育网的开源事业发展。

 

 

中国地质大学与我们的联系邮件

 

 

From: Zhang Jiaqi <[email protected]> Wed, Jun 13, 2012 at 1:53 AM

To: [email protected]

 

您好,我们正在筹建中国地质大学(北京)的开源镜像站,

http://[2001:da8:214:1111:21b:11ff:fe0f:4d1f]/。

如果您能看到这封邮件,希望您能够回复一下,我们想请教您几个问题。

 

https://groups.google.com/d/msg/thu-opensource-mirror-admin/wiMwpVh_xng/TE-3FLeWF5AJ

 

浙江大学与我们的联系邮件

 

 

在 2012年10月30日 下午6:13,Hexcles Ma <bob…@gmail.com> 写道:

> 清华大学学生网管会:

>

> 你们好!

>

> 我是浙江大学Linux User Group的负责人马宏菩(Hexcles Ma)。

>

> 首先感谢你们一直以来提供的稳定、齐全、高质量的开源镜像服务,我本人长期使用你们的服务,受益颇多!

>

> 浙江大学乃至整个浙江的高校至今为止一直没有自己的开源镜像。今年,随着我们浙大LUG(临时首页:http://lug.zjustu.org/)的成立,我们计划搭建并维护浙大自己的开源镜像。目前,我们已经向学校申请到了服务器资源。

>

> 由于校网中心的限制,我们的服务器目前只能使用IPV6连接外网(IPV4连接教育网也不行)。经过测试,IPV6连接清华镜像的速度是最快的,可以达到 平均8MB/S以上(远远超过中科大、北交等平均1MB/S的速度),而且清华镜像齐全、更新迅速,所以我们希望能够从清华镜像同步数据。不知可否?

>

> 如能同意,不胜感激!

>

> 当然,如果流量压力太大,我们也可以在同步时进行必要的限速。首次同步时暂定包括Debian、Ubuntu、CentOS三大发行版,数据量巨大,故如果能够从贵校同步,也可沟通一下首次同步时间,以免给你们的正常服务造成影响。

>

我已经把 rsyncd 限速在了 64Mbps,你们同步对我们应该不会造成大的影响。不过为了

尽量减小对用户的影响,建议选在用户较少的 3:00am~6:00am 时段进行同步。

> | 我们的IP:2001:da8:e000:1410:216:3eff:fe75:6c73

> | (域名正在申请中)

>

> 不论是否能够合作成功,都在此再次感谢你们对开源运动的无私贡献!

>

不客气。

> 祝好!

>

 

https://groups.google.com/d/msg/thu-opensource-mirror-admin/ZkSAwD7QxB0/Ky_IpZZOfoYJ

From: Hexcles Ma (2012/11/20)

To: 清华大学开源镜像维护组

你们好!

浙大开源镜像已经完成了首次同步,目前正在试运行。

为了能够更快地跟上上游更新,想要了解一下清华镜像各发行版的同步开始时间及大概完成时间(尤其是 Debian Ubuntu CentOS Fedora Archlinux等热门发行版)。

谢谢!

[… snip …]

如题,从23:00开始,

浙大源通过ipv6线路从贵校镜像初始同步OpenSuSE(200GB+)。

 

社会上的反响

 

  1.  {http://www.cnbeta.com/articles/194758.htm retrived on 2013-03-11}

“如果您是教育网用户,若果本校没有源,请选择清华大学源来进行配置。毕竟教育网骨干在此。”

 

 

  1.  {http://bbs.51osos.com/thread-10549-1-1.html retrived on 2013-03-11}

“公司用的是移动的光纤,想下载一个Linux Mint iso,在科技大的源只能跑到60几K.

 

无奈到官网下,看到了一个中国的镜像:http://mirrors.tuna.tsinghua.edu.cn/

 

 

  1. {http://m.byr.cn/article/Linux/118738 retrived on 2013-03-11}

“最近bjtu的开源镜像挂掉了,于是就一直在寻找替代的镜像,然后发现T大的镜像速度很快,支持IPv6/IPv4,亲测在校园网使用IPv6速度能达到7MB/s以上~”

 

  1. {http://ruby-china.org/topics/6520 retrived on 2013-03-11}

今天试用了下,速度相当不错!赞楼主一个!

 

 

国际上的影响力

清华大学开源镜像站是

  1. 亚洲唯一的pypi官方镜像(e.pypi.python.org)
  2. 中国大陆唯一的raspbian,npm, archlinuxarm(cn.mirror.archlinuxarm.org), gentoo-portage-prefix  (rsync.cn.prefix.freens.org)镜像站点
  3. 国内高校唯一的rubygems镜像站点

与国际开源组织往来的邮件

linuxmint因为nfs失效导致404

Date: Sat, 23 Feb 2013 14:20:27 +0000

 

Subject: Notice: Mirror moved to secondary mirror list

From: Clement Lefebvre <[email protected]>

Hi,

Your mirror was moved from our primary list to our secondary list because it was missing ISO files at the time of a release:

 

http://linuxmint.com/mirrors.php

 

Note that this isn’t an important problem. All mirrors are checked prior to every release, only fully up to date mirrors are kept in the primary list to ensure users aren’t faced with 404 errors when trying to download an ISO.

 

If your server is up to date prior to the next release it will automatically go back to our primary list. To ensure that this is the case you can check the frequency with which your mirror syncs with our archives and eventually make it sync more frequently.

 

Regards,

 

Clement Lefebvre

Linux Mint

 

 

 

hirensbootcd主动联系我们请求镜像

From: meto <[email protected]>

 

Date: Wed, 6 Mar 2013 18:04:35 +0200

 

Hello,

 

We need bandwidth support for China region.

 

If you can mirror our files, we will be so pleased for that.

 

If you can accept mirroring, our rsync path is rsync://rsync.hirensbootcd.org/mirror and 4 hours synchronization frequency (or any other appropriate frequency for you) is appropriate for us.

 

We will be so pleased for adding your link to our website.

 

Thank you very much for your support.

 

Best regards,

 

Meto Serdar

http://www.hirensbootcd.org/

 

没有稳定的网络环境, IP地址一直在变化, 经常要联系上游更改

 

 

From: [email protected]

Subject: Re: rsync7 address change

To: [email protected]

Cc: [email protected], [email protected]

Date: Tue, 3 Jul 2012 09:44:21 +0200 (35 weeks, 5 days, 20 hours ago)

User-Agent: Mutt/1.5.21 (Darwin 11.4.0, VIM – Vi IMproved 7.3)

 

On 03-07-2012 12:57:29 +0900, [email protected] wrote:

> Dear grobian,

>

> The rsync7 server from Tsinghua University in China has upgraded to dual

> 1Gbps, with new ips:

 

Ah, shame, I’m just back from Beijing!

 

>       v6  2001:da8:ff:1:250:56ff:febf:5be6

>       v4  166.111.9.148

>       v4(not used currently) 219.243.209.173

>

> Please change from (rsync7.prefix.freens.org)

>

>       2402:f000:1:8a1:2e0:81ff:febc:5016

>

> to the new ip. We will pull from rsync1 with ipv6 as usual.

 

I changed rsync7 into your mirror.tuna.tsinghua.edu.cn.

 

> BTW, as the bandwidth is enough, you can consider adding rsync7 into dns

> rotation.

 

It doesn’t do anything for me (remains “loading”), so perhaps it only

works for Chinese users?  In that case adding it to the general one

is not desirable.  We can add a rsync.cn.prefix.freens.org though.

 

Fabian

 

 

镜像列表

 

 

在清华大学开源镜像站全体成员的努力下,我们提供了丰富的开源软件资源,共44种,其中12种已经被认为官方源。下面是目前我们积极维护的开源镜像列表。

 

[已被认为官方源]:官方服务器将来自中国甚至亚洲的访问请求直接定向到清华大学、使用官方的子域名直接解析到清华大学、或者在官方网站显著处写明地址和学校名称,这对于软件镜像站是非常大的荣誉和肯定。

 

apache [已被认为官方源]  apache software foundation的软件
archlinux  [已被认为官方源]  滚动更新的 Linux 发行版,极简主义哲学。
archlinuxarm[已被认为官方源;第二批官方源,亚太地区唯一]  Archlinux ARM port.
centos  [已被认为官方源]  由社区维护的与 RHEL 完全兼容的发行版。
chakra  基于 KDE SC、无 Gtk 的桌面环境。前身是 Archlinux 的 [kde-mod]。
CPAN  Comprehensive Perl Archive Network
CRAN  The Comprehensive R Archive Network
CTAN  Comprehensive TeX Archive Network
cygwin  Windows 平台下的类 Unix环境.
debian  一个完全由社区维护的 Linux 发行版。
debian-backports  Debian Stable 上用的 Testing/Unstable 扩展包。
debian-cd  Debian CD 镜像。
debian-firmware  Debian 的闭源 firmware 和含有闭源 firmware 的 netinst CD。
debian-multimedia  Debian 非官方多媒体套件。
debian-security  Debian 安全情报
debian-weekly-builds  Debian CD 镜像每周构建。
deepin  [已被认为官方源]  基于 Ubuntu 的面向中文桌面用户的发行版。
deepin-releases[已被认为官方源]  Deepin 稳定版的 CD 镜像。
elrepo  RHEL 及其衍生版的一个社区仓库,软件包主要和硬件相关。
epel  Fedora 社区为 RHEL 等提供的额外软件包。
fedora  自由友爱杰出前卫的 Linux 发行版,Red Hat 公司赞助的社区项目。
freebsd  拥有辉煌历史的 BSD 的一个重要分支。
gentoo  一个快速的元发行版,软件包系统使用源代码。
gentoo-portage  Gentoo 的 ports collection。
gentoo-portage-prefix[已被认为官方源]  Gentoo on a different level
gnu  GNU/Linux 的基础软件。
hirensbootcd  Hirens Boot CD 系统维护工具盘
kernel  Linux 内核。
linuxmint  基于Ubuntu的发行版
linuxmint-cd  LinuxMint的CD/DVD镜像
macports  Mac OS X 与 Darwin 的包管理软件,GUI与CLI的结合。
npm  Node Packaged Modules
opensuse  由 Novell 支持的 Linux 发行版。
pypi [已被认为官方源;亚洲唯一]  Python Package Index
raspbian   [已被认为官方源;中国唯一]  raspberry-pi debian镜像 剑桥大学发起的25美元的微小型廉价电脑
rpmfusion  一个用于 Fedora 和 RHEL 等的第三方软件仓库。
rubygems  Ruby Gems的仓库
sagemath   [已被认为官方源]  一个整合了多个开源数学工具的开源数学工具。
scientific  由美国费米实验室维护的与 RHEL 兼容的发行版。
slackware  最有资历的 Linux 发行版。
tldp  The Linux Documentation Project 镜像
ubuntu   [已被认为官方源]  基于 Debian 的以桌面应用为主的 Linux 发行版。
ubuntu-ppa  Ubuntu PPA 精选镜像
ubuntu-releases  [已被认为官方源]  Ubuntu CD 镜像。

 

原文发表在 http://mirrors.tuna.tsinghua.edu.cn/files/petition.html

 

Now have 3 Responses to “清华大学开源镜像站不会被关停”

  1. jiangtao9999 2013-03-12 10:29 says: 回复

    以前一直用 JAIST 的。这货竟然连 sf.net 也有同步,不过我的 ADSL 速度升级后,跨国速度很慢感觉出来了。
    之后我就去用 163 和 sohu 的。
    不过这两个东西不是很多。现在速度也不如以前快了。
    现在主要靠 ustc 的镜像。

    话说中国大学你们还是早早的灭掉所有的抵抗力量,乖乖的臣服在微软的脚下吧。

  2. jiangtao9999 2014-04-16 10:27 says: 回复

    今天下载 QT4 意外用了清华的镜像,好慢啊……
    换了北理的才舒服。

  3. Bootingman 2014-11-26 15:55 says: 回复

    清華鏡像的速度確實不錯,不過穩定性比中科大差不少

回复 jiangtao9999